CAR

CAR – 字节联合复旦推出的自适应推理框架

CAR（基于确定性的自适应推理）是字节跳动与复旦大合开发的一种先进推理框架，旨在提升大型语言模型（LLM）和多模态大型语言模型（MLLM）在多种任务中的推理效率和准确性。该框架能够根据模型对答案的置信度动态切换短答案与长形式推理，从而优化计算资源和时间。

CAR是什么

CAR（Certainty-based Adaptive Reasoning）是一种自适应推理框架，由字节跳动与复旦大学合作推出，旨在提升大型语言模型（LLM）和多模态大型语言模型（MLLM）在不同任务中的推理效率与准确性。该框架的核心在于根据模型对答案的置信度（通过困惑度PPL进行衡量）动态选择短答案或长形式推理。当模型对短答案的置信度较低时，CAR会激活长形式推理，以提高答案的准确性；而在置信度较高的情况下，则直接输出短答案，从而节省计算资源和时间。CAR在视觉问答（VQA）和关键信息提取（KIE）等任务中表现尤为出色，并在数学等复杂推理任务中展现了优良的性能。

CAR的主要功能

• 智能推理切换：CAR能够在短答案与长形式推理之间灵活切换。对于简单问题，直接提供短答案以提高效率；而在面对复杂问题时，则激活长形式推理以确保准确性。
• 提高推理效率：通过显著减少生成的token数量，CAR降低了计算成本与推理时间，提升了模型在实际应用中的效率。
• 增强推理准确性：在需要进行详细推理的情况下，激活长形式推理，从而提升模型在复杂任务中的表现，确保推理结果的准确性。
• 广泛适用性：CAR适合于视觉问答（VQA）、关键信息提取（KIE）等任务，并能在数学推理、常识推理等复杂任务中发挥重要作用，展现出广泛的应用潜力。

CAR的技术原理

• 模型训练：通过包含短答案与长形式推理答案的训练数据对LLM或MLLM进行训练。在训练过程中，模型学习如何根据不同提示生成相应的短答案或长形式推理答案，优化目标为交叉熵损失，以最小化预测token概率分布与真实token分布之间的差异。
• PPL评估：在训练数据上进行短答案推理，并计算每个短答案的困惑度（PPL），这一指标用于衡量模型对答案的置信度。PPL越低，表示模型对答案的信心越强。
• 高斯分布建模：假设正确与错误短答案的PPL分数分别遵循高斯分布，基于训练数据估计分布参数，计算正确与错误答案的PPL均值与方差，从而构建两个高斯分布模型。
• 推理流程：在面对新的输入时，首先生成短答案并计算其PPL值，随后依据高斯分布模型计算该PPL值下答案正确的概率。

CAR的项目地址

• 技术论文：https://arxiv.org/pdf/2505.15154

CAR的应用场景

• 视觉问答（VQA）：在处理简单问题时，CAR能直接输出短答案以提高效率；而对于复杂问题，则会触发长形式推理，以确保结果的准确性。
• 关键信息提取（KIE）：根据置信度动态选择推理方式，减少token使用量，同时保持高准确率。
• 数学推理：在简单数学问题上直接给出答案，对于复杂问题进行详细推理，从而提升准确性和效率。
• 常识推理：针对简单常识问题直接提供答案，而在复杂问题上则进行长形式推理，减少token消耗。
• 多模态任务：结合文本与图像信息，动态选择推理方式，提升多模态任务的准确性与效率。

常见问题

• CAR的优势是什么？ CAR通过动态切换短答案和长形式推理，能够在保证准确性的前提下提高推理效率，减少计算资源的消耗。
• CAR适合哪些应用场景？ CAR广泛适用于视觉问答、关键信息提取、数学推理以及常识推理等多种任务，展现出良好的适用性。
• 如何评估CAR的性能？ CAR的性能可以通过困惑度（PPL）来评估，PPL值越低，表示模型对答案的置信度越高，从而推理结果更为准确。