标签:实例

LLM 推理框架之上:10 种常见 LLM 推理系统总结

9月6-7日,智猩猩发起主办的2024全球AI芯片峰会将在北京辽宁大厦盛大举行。峰会设有开幕式、数据中心AI芯片专场、AI芯片架构创新专场、边缘/端侧AI芯片专场、...
阅读原文

大模型时代的蓝海任务,GPT4V准确率不足10%,港科大发布指代理解基准RefCOCO

夕小瑶科技说 原创作者 | 谢年年谈到多模态大模型的应用场景,除了生成任务以外,应用最广泛的可能就是在图像和视频中进行目标检测。 目标检测要求从图像中识...
阅读原文

月之暗面Kimi引擎是怎么炼成的?底层推理系统方案深度揭秘(二)

直播预告 | 7月5日晚7点,「智猩猩机器人新青年讲座」第10讲正式开讲,北京通研院研究员贾宝雄博士主讲,主题为《具身智能视角下的三维场景理解、生成与交互...
阅读原文

月之暗面kimi底层推理系统方案揭秘

7月2日晚七点,「NVIDIA 机器人技术公开课」正式开讲,NVIDIA解决方案架构总监舒家明将以《NVIDIA Isaac 加速机器人3D视觉感知与机械臂轨迹规划》为主题进行...
阅读原文

大模型提示学习样本量有玄机,自适应调节方法好

夕小瑶科技说 原创作者 | 芒果 引言:探索文本分类中的个性化示例数量在自然语言处理(NLP)领域,预测模型已经从零开始训练演变为使用标记数据对预训练模型...
阅读原文

今日arXiv最热NLP大模型论文:大模型提示学习样本量有玄机,自适应调节方法好

夕小瑶科技说 原创作者 | 芒果 引言:探索文本分类中的个性化示例数量在自然语言处理(NLP)领域,预测模型已经从零开始训练演变为使用标记数据对预训练模型...
阅读原文

COLING24|自适应剪枝让多模态大模型加速2-3倍,哈工大等推出SmartTrim

机器之心专栏 机器之心编辑部基于 Transformer 结构的视觉语言大模型(VLM)在各种下游的视觉语言任务上取得了巨大成功,但由于其较长的输入序列和较多的参数...
阅读原文

华人CV宗师黄煦涛高徒离职特斯拉,加入OpenAI!专攻多模态模型研究

新智元报道编辑:桃子 好困 【新智元导读】华人科学家程博文官宣即将入职OpenAI,加入后训练团队参与多模态模型研究。值得一提的是,他还是著名华人计算机泰...
阅读原文

让CPU跑大模型该怎么做?阿里云交出答卷:AI推理速度飙升7倍

阿里云ECS g8i整机性能最高提升85%,可支撑720亿参数规模的大语言模型。 作者|程茜 编辑|漠影 AI应用落地加速,对推理的性能提出了更加苛刻的要求。 就在上周...
阅读原文

这个GPU云平台治好了我的算力焦虑!价格低不排队!羊毛薅不完

夕小瑶科技说 分享来源 | GpuMall智算云 我,一个搞算法的。求学之路,慢慢修远。每天最关心的无非是自己的实验进度,其中让我最头疼的就是算力—太贵了!之前...
阅读原文

AAAI 2024:大模型如何掌握复杂工具?看孔子框架的教学之道

夕小瑶科技说 原创作者 | 智商掉了一地、Python 如今,大型语言模型(LLM)发展飞速,在文本和图像生成方面表现都很出色,但在我们的实际生活中,要理解和正...
阅读原文

一代更比一代强,AI 时代的至强如何为云服务保驾护航?

作者 | 郑思宇 2023 年,生成式 AI 研究和应用的爆发给云计算产业带来了全新的机遇和挑战:大模型需要庞大的算力支持,用户普遍需要向云计算厂商购买算力服务...
阅读原文

AWS和英伟达打造了一台16,384个超级芯片的超级计算机

点击上方蓝字关注我们“ 亚马逊网络服务(AWS)与Nvidia达成战略合作,提供基于Nvidia GPU的生成AI基础设施,包括Ceiba项目创建的AI超级计算机,Nvidia DGX Cl...
阅读原文