ACL 2024: ChatGPT栽了！数据标注还得靠人类

AIGC动态欢迎阅读

原标题：ACL 2024: ChatGPT栽了！数据标注还得靠人类
关键字：谓词,基准,犹太人,犹太,句子
文章来源：夕小瑶科技说
内容字数：0字

内容摘要：

夕小瑶科技说 原创作者 | 谢年年
人工智能领域苦于数据标注久已，ChatGPT的出现似乎打破了这个僵局。
早在2023年,苏黎世大学一篇论文[1]发现，无论成本还是效率，ChatGPT吊打人类，成本上，ChatGPT平均每个标注成本低于0.003美元，比众包平台便宜20倍；效率上，在相关性、立场、主题等任务中，80%的任务都优于人类。
ChatGPT一出手，就知有没有！
但是，最近，来自ACL2024的一篇文章却表示：
我们强烈建议避免在评估LLMs的公平性基准创建中使用LLMs标注，并强调人类标注的重要性，特别是在敏感和高度依赖上下文的任务中。
是怎么回事呢？
众所周知，LLMs存在一些社会偏见，这通常通过一些偏见基准数据集来衡量。为了更好促进LLMs的公平性，这篇文章引入了一个新的偏见数据集基准——关于犹太社区和反犹主义。
由于人工标注数据费时费力，并且此类偏见数据存在大量暴利和仇恨的语言，对人类标注员的心理健康危害很大。因此作者尝试使用GPT辅助标注，但是结果却显示GPT标注的数据存在很大的质量问题，比如提取信息不完整、虚构用词等等，严重影响了下游任务对基准数据集的评测。一起来

原文链接：ACL 2024: ChatGPT栽了！数据标注还得靠人类

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189