Page 115 - 软件工程与项目管理

第三章 计算机视觉与大数据

蒸汽机、飞机等重大发明都是先实现功能后来才研究发现其结构原理的，计算机
和人工智能走的路也一样。几十年来，神经网络模型一直比不过图灵模型，在学
术界受到排挤。但有一批学者坚持不懈，终于让结构主义取得了一次初步胜利，
神经网络模型开始显示它的威力。
3. 大模型的重要标志是机器涌现

智能在 AlphaFold 2 实现蛋白质结构预测和 GPT4 令人惊奇的功能中，机器
猜想都发挥了关键作用，这说明大规模的机器学习神经网络已涌现出某种程度的
认知智能，大模型的核心特征是“涌现”功能。神经科学家 Terrence Sejnowski 这

样描述 LLM：“达到了一个阈值，就好像一个外星人突然出现，可以用一种奇
怪的方式与我们交流。”也有人比喻大模型就像毛毛虫变成蝴蝶，幼虫代表训练
模型的数据，蝴蝶代表着从数据中创造的 AI。大模型是否具有涌现和理解能力，
对这个问题学术界还没有形成共识。2022 年，在一项针对自然语言处理的调查中，
受访者被询问是否同意以下说法：根据文本训练的生成模型，在给定足够的数据

和计算资源的情况下，能够在某种非琐碎的意义上理解自然语言。在 480 名受访
者中，51% 同意，49% 不同意。有些学者认为，LLM 所谓的“涌现”行为是度
量标准引起的“海市蜃楼”，一旦改变指标进行测试，所谓的“涌现”特性就会

消失。不同学者对涌现的理解可能不同，涌现未必要看性能测试曲线上是否有突
变的拐点。过去的人工智能做不到的事情，今天的大模型可以做到，从宏观上看
就是涌现了一些意想不到的新功能，如机器翻译、计算机生成文艺作品、新材料
的发现、全自动设计 CPU 芯片等。可以说，大模型已经具有一定的理解和创造
能力。

冯·诺伊曼的遗作《自复制自动机理论》指出，自动机理论的核心概念在
于复杂性，超复杂的系统会涌现出新的原理。他提出了一个重要的概念——复杂
度阈值。突破了复杂度阈值的系统，因在数据层的扩散和变异作用而不断进化，

从而可以做很困难的事情。现在的神经网络模型有成千上万亿个参数，可能已接
近冯·诺伊曼讲的复杂度阈值。复杂度阈值并不等于模型的规模，智能也不等同
于复杂性。需要深入研究如何准确定义和测量复杂性、智能与复杂性是什么关系
以及如何理解和预测涌现行为。机器理解不同于人的理解。机器翻译可以不懂语
义，AI 天气预报可以不懂气象理论，这可能是一种新颖的“理解”形式，一种

能够实现预测的理解形式。我们需要开发新的基准和探索方法，以深入了解不同

105
105