复旦大学:没钱标数据的有福了!利用合成数据就能大幅提升大模型归纳推理能力

复旦大学:没钱标数据的有福了!利用合成数据就能大幅提升大模型归纳推理能力

AIGC动态欢迎阅读

原标题:复旦大学:没钱标数据的有福了!利用合成数据就能大幅提升大模型归纳推理能力
关键字:数据,归纳,代码,模型,函数
文章来源:夕小瑶科技说
内容字数:0字

内容摘要:


夕小瑶科技说 原创作者 | 谢年年推理,作为人类的基本认知过程,对于学习、问题解决和科学发现起着至关重要的作用。常见的推理方式包括演绎推理和归纳推理。
演绎推理就是从一般性的前提推导出个别或特殊情况的结论,而归纳推理则用于从具体实例中提炼出一般性的结论或规律。
研究学者一直试图增强大模型的推理能力,但大部分训练数据的指令都偏向演绎推理,比如“解释一下这个代码是什么意思”或者“写一个程序找出列表中最大和最小的数”。
相比之下,那些要求从几个例子中推断出通用规则或函数关系的归纳推理任务,数据就稀缺多了。比如:“假设有:func(1) == 6 func(2) == 7 func(3) == 8 func(4) == 9给我解释一下这个函数”或者“给定输入与输出john Smith -> Smith, John;frank lee -> Lee, Frank;Laura Jane Jones -> Jones,Laura,请编写程序将输入转换为输出”。
这种数据不平衡让LLMs在归纳推理上学习困难,也缺乏有效评估其归纳能力的标准。为了填补这一空白,复旦大学发起了一项名为Case2Code的挑


原文链接:复旦大学:没钱标数据的有福了!利用合成数据就能大幅提升大模型归纳推理能力

联系作者

文章来源:夕小瑶科技说
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...