Page 206 - 电子工程中智能化技术运用

Application of Intelligent Technology in Electronic Engineering
电子工程中智能化技术运用

但标注过程非常费时费力，需要很高的人力和时间成本。要实现少样本的信息抽
取，主要通过数据增强的方式来标注数据，以解决数据不足的问题。大语言模型
时代，在具备强大能力的大模型基础上，主要考虑设计更有效的 Prompt 策略来

进行信息抽取。同时，由于通用基础大模型的抽取效果可能不太稳定或者资源消
耗过大，相对较小但能满足抽取要求的高效定制模型有时也可以提升信息抽取效
率。实践中，相较于使用单轮直接问答进行信息抽取，使用多轮对话方式将复杂
的抽取任务分解为一系列子任务，并通过多轮对话逐步处理这些子任务，最终完

成整个信息抽取任务，这种基于多轮对话的方法可以显著提高信息抽取效果。
（3）智能写作
大语言模型将写作任务分解为多个子任务，如生成提纲和生成正文内容等，
通过与大模型对话的形式来实现。大模型虽然在通用指令跟随和问答任务中效果

出色，但多数情况下的文风专业性创意性和内容可靠性仍经不起推敲。为了缓解
上述问题，实现面向行业的专业写作，现有方法一般采用以下策略：针对文风专
业性和创意性，从持续预训练、指令精调、对齐等阶段进行优化。在持续预训练
阶段，收集专业性相关的高质量文本内容，从开源训练数据中进行过滤筛选，构

建能让模型专注学习创作能力的预训练数据集。指令精调阶段，构建一套可以基
于已有高质量内容自动生成各种写作相关任务指令和对应的高质量输出的标注数
据生成方法；在对齐阶段，使用强化学习方法将模型创作结果和专业创作人员的
产品进行对齐。针对内容可靠性，现有应用一般会结合检索增强等方式，利用知

识库中的相关知识，通过提示方法引导大模型基于现有知识进行分析总结归纳，
保证分析处理的内容具有较高的可信性。
（三）挑战及研究展望
目前，大语言模型已拥有较为成熟的训练和微调流程，如何使其适应和优化

各类型生产场景成为未来研究重点。例如，在敏感业务领域配置的大语言模型，
尤其需要考虑模型安全问题。在边缘设备上部署模型时，需要对其进行轻量化。
1. 大语言模型安全
大语言模型在训练期间，会接触到大量的商业和个人敏感数据信息，这些训

练数据若放在服务器中，恶意的第三方攻击者可能通过中间人攻击、网络 ATP
协议劫持、侧信道攻击等方式进行窃取。为了防止这些隐私信息被泄露或被用于
恶意活动，通常采用可信执行环境、安全多方计算等隐私计算手段保护隐私安全。

194