Page 204 - 电子工程中智能化技术运用

Application of Intelligent Technology in Electronic Engineering
电子工程中智能化技术运用

数，典型如 LoRA 及其改进版。第四，无参数微调。将模型看作黑盒，通过外
部提示激发模型内部知识调整进而影响模型输出，而不显式调整模型的参数。
Xu 等归纳了近年来提出的参数高效微调方法，仅 2023 年以来新提出的有知名度

的微调算法就多达 20 余种，比如 QLoRA 和 LoRAP-nme 关注微调方法轻量化，
MoELoRA 使用专家模型提升微调效果等。
（2）对齐优化
大语言模型的对齐优化是为了使模型的输出对齐人类价值观，避免答案出现

违背人类社会价值观的情况。ChatGPT 的 RLHF 算法的痛点在于需要收集大量的
用户反馈。为了缓解这一问题，提出了由 AI 提供反馈的 RLAIF，以及 RRHF、
PRO 等方法，进一步提升对齐性能。2023 年 5 月，斯坦福研究人员提出直接偏
好优化（Direct Preference Optimization，DP0）算法，无须显性训练奖励模型，

进一步降低了训练难度。
此外，对齐的概念也延伸到模型内部已编码的知识与不断变化的外界信息之
间的及时对齐，但是由于大语言模型的重训练和微调成本仍然较高，因此，针对
大语言模型知识对齐的研究主要关注实践效率，即以低代价的方式对齐大语言模

型的知识。这个方面涌现出新兴研究课题，如知识探测（Knowledge Probing）、
知识编辑（Knowledge Editing）、知识遗忘（Knowledge Unlearning）、知识融
合（Knowledge Merging）等。知识编辑是一种知识高效更新方法，只需要少量
微调甚至无须微调模型参数，即可修正大模型中存储的错误或者过时知识。知识

遗忘是通过遗忘方法使大模型主动遗忘其已经学习的知识，从而删除模型中存储
的偏见信息或受版权保护信息等敏感内容，使大模型在使用中免于受到侵权指控
等法律风险。2023 年 12 月，《纽约时报》起诉 OpenAI 和微软未经授权使用该
报百万级新闻语料来训练 ChatGPT，要求其停止侵权并索赔。这表明，对大语言

模型知识进行精确高效地操控，比如使其主动遗忘这些未经授权的信息资料，相
关研究在未来十分必要。
（3）推理优化
在大语言模型应用中，一个重要任务是模型推理过程的优化。幻觉问题一直

是大模型推理过程中难以回避的痛点问题。幻觉一般分为输入冲突幻觉、语境冲
突幻觉和事实冲突幻觉。思维链（Chain-of-Thought）推理是解决模型幻觉问题
的重要方法，在它的基础上，思维树（Tree-of-Thought）和思维图（Graph-of-Thought）

192