专治大模型说胡话，精确率100%！华科等提出首个「故障token」检测/分类方法

AIGC动态欢迎阅读

原标题：专治大模型说胡话，精确率100%！华科等提出首个「故障token」检测/分类方法
关键字：故障,模型,报告,作者,数据
文章来源：新智元
内容字数：7183字

内容摘要：

新智元报道编辑：LRS
【新智元导读】针对大模型偶发脑回路故障难题，最新研究GlitchHunter收集了大量故障词元，并针对不同情况进行分类，极大改善了大模型的输出质量。如今，大型语言模型（LLM）已经成为了我们生活中的好帮手。
当用户使用大模型时，模型首先会将输入的内容拆分成一个个的词元（token），通过分析这些词元来生成答案，为我们解答疑惑、提供建议、翻译外语、撰写报告······但是，你能想象大模型也会出错吗？
想象一下，你正在使用最新款的智能手机，它快速、聪明、几乎可以做任何你想要的事情。
但偶尔，你发现手机的一两个按键不按常理出牌——比如说，你按下「S」，它偏偏跳出「E」，或者干脆点了没反应，那估计用的时候就只想砸手机了。
大模型中存在一些故障词元（glitch token），一个个本应协助模型流畅运行的小小词元，偏偏要搞点小破坏。针对这个情况，由华中科技大学、南洋理工大学等高校联合组成的研究团队近日发表了一项研究，该工作已经被软件工程领域国际顶级会议——FSE 2024接收。论文链接：https://arxiv.org/abs/2404.09894
项目链接：http

原文链接：专治大模型说胡话，精确率100%！华科等提出首个「故障token」检测/分类方法