大模型智能问答中的多模态信息融合技术研究

森达 张(北京中电普华信息技术有限公司，中国)
昕 崔(北京中电普华信息技术有限公司，中国)
延刚 曲(北京中电普华信息技术有限公司，中国)
博 刘(北京中电普华信息技术有限公司，中国)
健 孙(北京中电普华信息技术有限公司，中国)

摘要

阐述大模型基于大规模数据训练的原理，剖析Transformer架构自注意力和多头注意力机制的特点，同时介绍多模态信息融合在数据层、特征层的融合方法，以及文本、图像等多模态数据预处理技术。最后探讨了其在多个领域的应用，基于文本和图像的智能问答，辅助电力设备诊断识别；文本与语音融合的智能问答，以智能语音助手为例展示功能实现过程；多模态融合用于检修方案咨询等复杂问题回答，通过整合多模态信息为用户提供精准方案。

关键词

AI；大模型；语言模型；智能问答；多模态信息

参考

赵晓伟,王师晓,李情,等.苏格拉底式问题支架:促进学生向AI大模型提出高质量问题[J].现代远程教育研究,2025,37(01):102-112.

牟智佳,岳婷,朱陶.人机协同视域下基于认知智能大模型的个性化学习设计研究[J].电化教育研究,2025,46(02):80-87.

袁毓林.从三种复杂句看ChatGPT是不是随机鹦鹉?——语言大模型能不能理解语言意义的测试与讨论[J].语言教学与研究,2025,(01):35-49.

吴蔚.人工智能多模态通用大模型数据合规技术应用风险动态规制[J].科技与法律（中英文）,2024,(02):117-126.

赵朝阳,朱贵波,王金桥.ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路[J].数据分析与知识发现,2023,7(03):26-35.

DOI: http://dx.doi.org/10.12345/bdai.v6i3.28237