HumanOmni

HumanOmni – 阿里通义等推出专注人类中心场景的多模态大模型

HumanOmni是一款专注于人类中心场景的多模态大模型，融合了视觉和听觉信息，旨在全面理解人类行为、情感和互动。该模型通过处理视频、音频或两者的结合输入，展现出卓越的情感识别、面部表情描述和语音理解能力。基于超过240万段视频和1400万条指令的预训练，HumanOmni采用动态权重调整机制，根据不同场景灵活整合视觉与听觉信息。

HumanOmni是什么

HumanOmni是一款专注于人类中心场景的多模态大模型，旨在融合视觉和听觉信息，通过处理视频、音频或两者的结合，全面理解人类的行为、情感与互动。该模型在超过240万段视频片段和1400万条指令的基础上进行了预训练，运用动态权重调整机制，灵活整合不同场景下的视觉和听觉信息。HumanOmni在情感识别、面部描述及语音识别等领域表现出色，适用于多种应用场景，如电影分析、特写视频解读及实拍视频理解。

HumanOmni

HumanOmni的主要功能

多模态融合：HumanOmni能够同时处理视觉（视频）、听觉（音频）及文本信息，利用指令驱动的动态权重调整机制，融合不同模态的特征，全面理解复杂场景。
人类中心场景理解：模型设有三个专门的分支，分别处理面部、身体和交互相关场景，根据用户指令自适应调整各分支的权重，以满足不同任务需求。
情感识别与面部表情描述：在动态面部情感识别和表情描述任务中，HumanOmni展现出卓越表现，超越现有的视频-语言多模态模型。
动作理解：通过身体相关分支，模型有效理解人体动作，适合动作识别和分析任务。
语音识别与理解：在语音识别任务中，HumanOmni通过音频处理模块（如Whisper-large-v3）实现高效的语音理解，支持特定说话人的识别。
跨模态交互：结合视觉和听觉信息，模型能更全面地理解场景，适用于电影片段分析、特写视频解读及实拍视频理解等任务。
灵活的微调支持：开发者可基于HumanOmni的预训练参数进行微调，以适应特定数据集或任务需求。

HumanOmni的技术原理

多模态融合架构：HumanOmni通过视觉、听觉和文本三种模态的融合，实现对复杂场景的全面理解。视觉部分设有三个分支，分别用于捕捉面部表情、身体动作和环境交互特征，利用指令驱动的融合模块动态调整权重，选择最适合任务的视觉特征。
动态权重调整机制：模型引入指令驱动的特征融合机制，通过BERT对用户指令编码，生成权重，动态调整不同分支的特征权重。在情感识别任务中，模型会更侧重面部相关分支的特征，而在交互场景中则优先考虑交互相关分支。
听觉与视觉的协同处理：在听觉方面，HumanOmni使用Whisper-large-v3音频预处理器和编码器处理音频数据，通过MLP2xGeLU将其映射到文本域。视觉和听觉特征在统一表示空间中结合，进一步输入到大语言模型的解码器中进行处理。
多阶段训练策略：HumanOmni的训练分为三个阶段：
- 第一阶段构建视觉能力，更新视觉映射器和指令融合模块的参数。
- 第二阶段发展听觉能力，仅更新音频映射器的参数。
- 第三阶段进行跨模态交互集成，提升模型处理多模态信息的能力。
数据驱动的优化：HumanOmni基于超过240万段视频片段和1400万条指令数据进行预训练，涵盖情感识别、面部描述和特定说话人语音识别等多个任务，模型在多种场景下表现出色。