标签：权重
TensorRT-LLM保姆级教程（二）-离线环境搭建、模型量化及推理
开讲预约随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型的推理成本急剧增加。因此，市面...
100B 的「跨级」跃升！元象发布最大 MoE 开源大模型，「高性能全家桶」系列全部免费
作者 | 华卫 9 月 13 日，元象 XVERSE 发布中国最大 MoE 开源模型：XVERSE-MoE-A36B。该模型总参数 255B，激活参数 36B，能 达到 100B 模型的性能「跨级」跃...
中国最大开源MoE模型，255B参数无条件免费商用，元象发布
允中 发自 凹非寺量子位 | 公众号 QbitAI元象XVERSE发布中国最大MoE开源模型： XVERSE-MoE-A36B，该模型总参数255B，激活参数36B，达到100B模型性能的「跨级...
TensorRT-LLM保姆级教程（一）-快速入门
随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型的推理成本急剧增加。因此，市面上也出现...
【万字访谈】AI教父Hinton：招募Ilya、安利黄仁勋、谈大模型的理解、推理、时间尺度、多模态、算法
Geoffrey Hinton接受Sana Labs专访★内容导读：这段访谈中，Geoffrey Hinton 回顾了他漫长的研究生涯，并谈论了人工智能的未来。Hinton 认为： 深度学习的成功...
这就翻车了？Reflection 70B遭质疑基模为Llama 3，作者：重新训练
机器之心报道 编辑：杜伟最近，开源大模型社区再次「热闹」了起来，主角是 AI 写作初创公司 HyperWrite 开发的新模型 Reflection 70B。 它的底层模型建立在 M...
Llama-3不算真开源：今年10月，权威定义就要来了
机器之心报道 编辑：泽南、佳琪你给翻译翻译，什么是开源？开源大模型的标杆 Llama 3，居然都「被闭源」了。今天，开源再次成为了人们讨论的话题。 如今，开...
大模型量化技术原理：FP8
生成式AI时代最火AI芯片峰会下月来袭！9月6-7日，智猩猩发起主办的2024全球AI芯片峰会将在北京盛大举行。峰会设有开幕式、数据中心AI芯片专场、边缘/端侧AI...
外网玩疯了，NSFW、毫无底线，FLUX 成为图片生成新王者
昨天马斯克的 Grok-2 发布，加入了 FLUX 模型提供的文生图能力。一夜之间，FLUX 毫无底线的图片血洗 X（推特）。 自从 Google 把美国开国总统和印第安人都画...
CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
新智元报道编辑：LRST 好困 【新智元导读】T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重...
70倍极致压缩！大模型的检查点再多也不怕
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...
万字技术干货！LLM工程师必读量化指南，可视化图解揭秘大模型如何压缩
新智元报道编辑：编辑部 【新智元导读】面对LLM逐渐膨胀的参数规模，没有H100的开发者和研究人员们想出了很多弥补方法，「量化」技术就是其中的一种。这篇可...
OpenAI掀小模型血战！苹果DCLM强势登场，碾压Mistral 7B全开源
新智元报道编辑：桃子 乔杨 【新智元导读】小模型时代来了？OpenAI带着GPT-4o mini首次入局小模型战场，Mistral AI、HuggingFace本周接连发布了小模型。如今...
仅微调0.02%参数，性能接近全量微调！上交大推出高效微调统一新范式
ChouJay 投稿量子位 | 公众号 QbitAIScaling Laws当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。 为了减轻训练负担，Ad...
假开源真噱头？Meta再陷「开源」争议，LeCun被炮轰Meta只是开放模型
新智元报道编辑：耳朵 【新智元导读】大模型开源的热潮下，隐藏着诸多问题，从定义的模糊到实际开放内容的局限性，Lecun再陷Meta大模型是否真开源的质疑风波...
粤公网安备 44011502001135号