标签:步骤

8x7B MoE与Flash Attention 2结合,不到10行代码实现快速推理

机器之心报道 编辑:陈萍感兴趣的小伙伴,可以跟着操作过程试一试。前段时间,Mistral AI 公布的 Mixtral 8x7B 模型爆火整个开源社区,其架构与 GPT-4 非常相...
阅读原文

OpenAI 官方 Prompt 工程指南:写好 Prompt 的六个策略

其实一直有很多人问我,Prompt 要怎么写效果才好,有没有模板。 我每次都会说,能清晰的表达你的想法,才是最重要的,各种技巧都是其次。但是,我还是希望发...
阅读原文

大模型+多模态的3种实现方法|文末赠书

我们知道,预训练LLM已经取得了诸多惊人的成就, 然而其明显的劣势是不支持其他模态(包括图像、语音、视频模态)的输入和输出,那么如何在预训练LLM的基础上...
阅读原文

Meta教你5步学会用Llama2:我见过最简单的大模型教学

机器之心报道编辑:赵阳本文是 Meta 官网推出的 Llama2 使用教学博客,简单 5 步教会你如何使用 Llama2。在这篇博客中,Meta 探讨了使用 Llama 2 的五个步骤...
阅读原文

GPT-4惨遭削弱,偷懒摸鱼绝不多写一行代码,OpenAI已介入调查

西风 发自 凹非寺量子位 | 公众号 QbitAIGPT-4再次遭网友“群攻”,原因是“懒”得离谱!有网友想在Android系统开发一个能够与OpenAI API实时交互的应用。于是把...
阅读原文

预测token速度翻番!Transformer新解码算法火了,来自小羊驼团队|代码已开源

丰色 发自 凹非寺量子位 | 公众号QbitAI小羊驼团队的新研究火了。他们开发了一种新的解码算法,可以让模型预测100个token数的速度提高1.5-2.3倍,进而加速LLM...
阅读原文
123