Page 12 - 打通产品与用户需求

打通产品与用户需求
Connect Products with User Needs

了图形用户界面时期，基于窗口、图标、菜单和指示器的计算机界面为图像模态
的呈现提供了技术支持，但受限于软件技术与硬件设备，视频这一包含文本、声音、
画面等多种符号系统的复杂模态尚不能流畅地服务于人机交互。直到 20 世纪 90

年代，互联网在全球迅速普及，能够利用计算机对文本、图像、音频、视频等多
模态信息综合处理、建立逻辑关系和人机交互作用的多媒体技术成熟且得到应用
普及，人机交互才真正转入多模态阶段。在这一阶段，基于各类媒体技术的前沿
推进，人与计算机的联结维度增多、深度增强，人机交互不再仅仅停留在机器界

面，而是以任何物体作为界面，随时随地提供丰富的感知体验，如全息互动投影、
VR\AR\XR\MR 等。同时，指纹、人脸、声纹、虹膜等生物特征识别技术的发展
也为人机交互提供了更多样的交互形式。
尽管模态是可对比和对立的符号系统，其作用环境处于同一社会系统中，人

们在交流时可进行模态间的任意转化，即跨模态互动，如设计师能将文字描述的
内容转化成图像，这一互动形式也再现于人机交互过程中。但这类跨模态交互往
往是非智能的，是计算机基于前期程序设定完成另一模态的信息输出。2022 年
是生成式 AI 元年，AI 技术的突破性创新之一便是 AI 模型具备了跨模态生成能力，
即接收用户输入的某一模态指令后理解并生成另一种模态信息的能力，如 Mid

Journey、Stable Diffusion、DALLE2 等 AI 绘画工具能够基于文本指令智能生成
图像。总体上看，交互模态的历史发展是累加式的，当前人机交互的交互模态呈
现出多模态、跨模态的鲜明特征，但多模态、跨模态人机交互的自然性、高效性、

稳定性还有提升空间，这对计算机软硬件技术、传感器技术、通信技术乃至生物
识别技术都提出了更高的要求。
（4）交互模式：指令响应—智能服务—人机对话
指令响应是人机交互的基础交互模式，不论是早期计算机使用者通过按动按

钮、敲击键盘、点击鼠标，还是今天的移动用户点触设备屏幕，其本质都是基于
用户指令与机器响应的人机互动。随着通信技术与芯片技术的不断发展，信息传
输的稳定性、容载量得到显著提升，计算机设备的体型与外观也朝着微型化、随
身化、嵌入化趋势发展，如今的指令响应式交互模式也呈现出随时、随地、随身

的特征，如用户与智能手表等可穿戴设备的互动能够在任何时间地点进行，且交
互自然、功能多样。
从初阶的指令响应到中阶的智能服务，人工智能技术、传感器技术以及移动

4