↓Skip to main content

推理吞吐量

Selfcp: 通过冻结的大型语言模型自身压缩超限提示
·4911 words·10 mins
SelfCP 利用冻结的大型语言模型自身压缩超长提示，显著降低内存成本并提升推理效率。