标签:高效推理

AI赚钱副业~AI生成影视解说,半个月涨粉变现3.5W+!

这两年大家都在感叹生活不易,然而我想说的是,机会还是有的,但问题不在于有没有,而在于你是否能够认准机会,然后抓住它。 接触过很多咨询项目的人,发现...

开源推理模型阿里Marco-o1技术细节全面解读

OpenAI O1模型引发业界对大规模推理模型(large reasoning models ,LRM)研究的热潮。前文评测结果显示开源的Marco-o1效果不错,甚至超越部分闭源产品。今天这...
阅读原文

我与vLLM的2024:清华大佬的vLLM开发之路

也许二十年后再回首,我们会发现,现在我们就站在下一个“互联网级奇迹”的起点上。
阅读原文

什么是模型压缩(Model Compression)

模型压缩(Model Compression)是指通过各种技术减小深度学习模型的大小和复杂度,便于在资源受限的设备上高效部署和运行。模型压缩包括权重量化、剪枝、知识...
阅读原文