2024大模型行业可信应用框架研究报告

　　- 可控性■◆■■：决策需有科学严谨的方法和依据，大模型推理过程要可解释、可追溯，输出结果可被审核和干预◆◆■■■★。

　　- 真实性◆■★■■：对推理结果的真实性和准确性要求高，需基于真实数据，部分场景还要求实时性★■◆。

　　- 模型知识专业增强■★★：通过知识工程抽取领域专业知识，结合领域数据集和知识图谱，采用增量预训练★★◆◆、有监督微调等方法注入专业知识，并进行价值对齐，同时可提供模型描述文档提升透明度★★◆■◆◆。

　　- 加速落地激发可信需求：大模型技术发展迅速，为各产业带来升级可能性，其通用性和泛化性赋能众多应用场景■◆◆◆◆■。目前大模型落地应用集中在容错率高、任务简单的场景◆◆■★◆，向复杂容错率高的场景渗透时面临可信应用问题，行业亟需可信应用框架■■◆◆■。

　　- 可信内涵丰富：可信人工智能涵盖技术准确性、安全性、鲁棒性、可解释性◆◆■，以及伦理和社会影响等多方面◆★★■★★。不同视角关注侧重点不同，如功能视角关注准确性等，伦理道德视角关注公平性等◆◆★◆◆，应用交互视角关注可控性等。

　　《2024大模型行业可信应用框架研究报告》由蚂蚁集团和中国信息通信研究院联合发布，探讨了大模型在专业领域应用的可信需求、面临的挑战以及提出了相应的可信应用框架。

　　- 行业保障不完善：规模化可信应用需依赖技术升级★◆★◆★◆、健全的产业合作、统一标准体系和完善评估机制。目前行业合作框架需构建，标准和规范存在空白■★★，评测验证机制不完善。

　　- 安全保障缺乏：全生命周期面临风险，缺乏系统性安全分析与措施◆■★◆◆◆，如存在安全漏洞可能导致模型滥用和数据泄露。

　　- 新安全范式保障可信：针对大模型应用的新风险引入安全范式，如依托安全平行切面技术★◆◆★，通过原生安全范式引导建设基础底座安全保障◆■★◆■★，包括OVTP可溯范式和NbSP零越范式，确保访问可追溯和关键控制点不被绕过。

　　- 缺乏系统化解决方案：仅靠大模型自身难以满足专业领域要求★■，需结合其他技术■■，但目前行业缺乏全面系统的解决方案指南◆◆。

　　- 专业性：专业领域知识和业务流程复杂，大模型需准确理解术语内涵■★★、推理逻辑和操作流程等■◆■■■。

　　- 专业知识问题：学习和更新成本高，存在时滞性★■■★■，知识更新需重新训练或微调■■■，且专业场景逻辑推理和数值运算能力不足。

　　- 安全性◆■★■：涉及高价值数据，需确保自身安全■■★，符合业务合规性要求◆★■■◆◆，防止数据泄露和恶意攻击★◆★■★。

　　- 应用系统评测验证：构建全面评测体系对大模型进行评测，可采用■◆“模块化评测”+★■◆◆■“端到端评测”的思路

　　- 数据供给质量提升：数据分为通识通用数据、领域通用数据和领域专有数据。提升数据质量的方法包括增加多样性和丰富度、实现全面完善的数据处理方式以及建立持续的数据质量评估机制。

　　- 反馈迭代提升体系：建立高效反馈机制◆■★，结合持续集成等流程提升快速响应能力，通过体系建设提升过程管理能力◆■，包括数据和案例反馈◆◆■★、模型和领域数据集优化、评估和验证以及场景拓展和深化等环节。

　　- 智能体提升复杂任务处理可信◆★：智能体范式可拓展大模型应用范围，通过规划与推理、工具调用、任务执行等能力提升处理复杂任务的能力和推理可控性与透明性◆■★★★■，还可通过人机交互确保决策质量和安全，多智能体协同可进一步提升推理可信程度★★◆■。

　　- 推理过程不透明：内部推理过程是★◆■■“黑箱”，难以解释决策依据◆★■，无法直接应用于复杂推理任务，可控性不足★■★。

　　- 总体视图：包括提供高质量数据供给、增强模型专业能力◆★■◆★、提升内容生成可信、基于智能体提升复杂任务处理可信、实施安全措施保障、进行全面评测以及构建◆■★◆“反馈 - 迭代■★★★★■”循环体系等部分，以提升大模型在专业领域应用的可信度。

　　- 幻觉问题◆■★：会生成缺乏事实依据的虚假内容，难以自纠，可能导致专业领域应用出现严重错误◆■■★◆★。

　　- 内容生成可控可信：采用检索增强生成技术结合外部知识库提升内容生成质量，对大模型进行工具学习训练使其学会调用外部工具，利用围栏工具对输入和输出进行监控和审查。