SmolLM2

SmolLM2是一款由Hugging Face推出的紧凑型大型语言模型，专为设备端应用而设计。该模型提供1.7B、360M和135M三种不同参数设置，满足各种应用需求和资源限制。SmolLM2在理解和执行指令、知识推理以及数学问题解决方面展现了显著的能力提升。

SmolLM2是什么

SmolLM2是Hugging Face推出的紧凑型大型语言模型，旨在优化设备端应用，提供1.7B、360M和135M三种参数选择，以应对不同的应用场景和资源条件。该模型在理解和执行复杂指令、进行知识推理及解决数学题目方面表现突出。通过采用监督微调和超反馈优化技术，SmolLM2能够更精确地理解和响应复杂的指令，并在文本重写、摘要生成和函数调用等任务中展现出强大的性能。这使得SmolLM2特别适合用作智能助手、聊天机器人及其他需要自然语言理解的设备端服务。

SmolLM2

SmolLM2的主要功能

文本重写：SmolLM2可以对文本进行优化重写，使其更加简洁或符合特定风格与要求。
摘要生成：模型能够从长文中提炼出关键内容，以生成简明扼要的摘要。
函数调用：SmolLM2支持函数调用，特别适用于自动编码助手或需要与现有软件无缝集成的个人AI应用。
设备端运行：SmolLM2可在本地设备上运行，无需依赖云服务，适合对延迟、隐私和硬件限制有高要求的应用场景。
多任务处理：该模型针对多种自然语言处理任务进行了优化，适合各种应用程序，尤其是在与云服务连接受限的环境下。

SmolLM2的技术原理

后训练技术：SmolLM2系列采用先进的后训练技术，包括监督微调（SFT）和直接偏好优化（DPO），增强了模型处理复杂指令和提供准确响应的能力。
框架兼容性：SmolLM2与llama.cpp和Transformers.js等框架兼容，能够在设备上高效运行，包括在本地CPU和浏览器环境中，无需专门的GPU支持。
数据集训练：SmolLM2的训练使用了来自FineWeb-Edu、DCLM和Stack等数据集的11万亿个标记，覆盖了广泛的内容，主要集中在英语文本。
模型结构：SmolLM2的135M和360M模型采用了类似MobileLLM的设计，结合了Grouped-Query Attention结构，而1.7B模型则使用相对传统的设计。所有模型均采用了embedding tying，并且支持2048个token的上下文长度。