1-2B参数规模大模型使用心得及模型汇总

AIGC动态欢迎阅读

原标题：1-2B参数规模大模型使用心得及模型汇总
关键字：模型,数据,维度,参数,版本
文章来源：算法邦
内容字数：8292字

内容摘要：

直播预告 |12月26日晚7点，「AI新青年讲座」232讲正式开讲，清华大学在读博士刘世隆主讲《LLaVA-Plus：学习使用视觉工具插件的多模态智能体》，欢迎扫码报名。大模型时代，根据大模型缩放定律，大家通常都在追求模型的参数规模更大、训练的数据更多，从而使得大模型涌现出更多的智能。但是，模型参数越大部署压力就越大。即使有gptq、fastllm、vllm等推理加速方法，但如果GPU资源不够也很难保证高并发。
那么如何在模型变小的同时，模型效果不明显下降，在指定任务上也可以媲美大模型的效果呢？
Google前几天发布的Gemini，在移动端采用1.8B参数模型面向低端手机，3.25B参数模型面向高端手机。
An overview of the Gemini 1.0 model family
而微软最近也是推出了2.7B的Phi-2模型，评测效果绝群。
Averaged performance on grouped benchmarks compared to popular open-source SLMs
Comparison between Phi-2 and Gemini Na

原文链接：1-2B参数规模大模型使用心得及模型汇总

联系作者

文章来源：算法邦
作者微信：allplusai
作者简介：「算法邦」，隶属于智猩猩，关注大模型、生成式AI、计算机视觉三大领域的研究与开发，提供技术文章、讲座、在线研讨会。