赵晨旭：非标模态的多模态大语言模型如何模拟人类主观感受

中国品牌在全球化传播中，需要理解不同文化背景下不同群体的情感反应，并采用全球消费者可接受的方式讲述品牌故事和传播文化。

原标题：赵晨旭：非标模态的多模态大语言模型如何模拟人类主观感受
文章来源：AI前线
内容字数：9239字

明略科技：利用多模态大模型模拟人类主观感受

本文总结了明略科技在AICon全球人工智能开发与应用大会上关于“非标模态的多模态大语言模型如何模拟人类主观感受”的演讲内容。演讲的核心在于利用AI技术模拟人类主观感受，这对于全球化品牌传播至关重要，因为文化背景差异导致消费者对同一内容的情感反应各不相同。

1. 挑战与价值：模拟人类主观感受的难点

演讲首先指出，即使是参数众多的现有大语言模型也难以捕捉人类主观感受。目前的研究主要依靠侧面观察，存在局限性。真正理解人类主观感受需要从不同用户的视角出发，分析其自发的情绪反应，这面临着如何定义和获取主观感知指标、如何采集有效数据以及如何实现AI模拟主观感知能力等三大挑战。然而，成功模拟人类主观感受的价值巨大，它能更准确地理解和预测消费者对产品或内容的反应，从而提升品牌传播效果。

2. Video-SME数据集：构建主观多模态数据

为了解决现有数据集的局限性，明略科技构建了大规模视频主观多模态评估数据集Video-SME。该数据集通过收集脑电波和眼动追踪数据，分析受试者对视频内容的认知理解程度。它包含丰富的模态，并设计了主观任务（预测认知、情绪和眼动注视比例）和客观任务（开放性文本生成），以更准确地捕捉和分析主观感受。数据集还考虑了受众个体差异，例如性别和年龄。

3. 超图多模态大语言模型(HMLLM): 模拟主观感受的技术手段

明略科技自研的超图多模态大语言模型HMLLM，利用超图理论连接视频帧间的复杂关系，并通过训练和推理两个阶段，模拟人类主观感受。训练阶段分为客观部分（训练语言模型）和主观部分（超图学习模块，考虑观众信息）。推理阶段则根据提示直接给出答案，包括客观描述和主观描述（例如不同性别和年龄段观众的认知和情绪反应）。模型能够通过热力图展示观众注意力分布，揭示不同人群对同一画面内容的关注点差异。

4. 评测结果与应用场景：模型的有效性和应用前景

实验结果表明，HMLLM在Video-SME及其他数据集上均取得了优异的成绩，优于商用模型。该模型能够准确识别视频内容并预测不同人群的主观反应。明略科技基于此开发了产品Adeff，能够从主观和客观两个维度对广告内容进行评测，帮助品牌主理解广告元素对受众的影响，降低广告投放风险，提升广告效果。该技术在广告创意评测、消费者行为分析等领域具有广泛的应用前景。

5. 总结：未来展望

演讲总结指出，机器模拟人类主观感受具有重大意义，是AI技术发展的重要方向。HMLLM的成功为该领域提供了新的可能性，未来随着大模型的不断优化，AI在模拟人类主观感受方面将取得更多突破，为人工智能的发展开辟新的道路。明略科技已公开论文和代码，并对外开放数据集，以促进该领域的研究和发展。

联系作者

文章来源：AI前线
作者微信：
作者简介：面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。