三维虚拟人自然交互系统
赵杰煜
-/电子信息
项目成果来源于科技部 973 重大基础研究前期专项和浙江省自然科学基金重大项目，项目通过对认知、视觉、学习理论的深入理解和探索，综合运用计算机视觉、机器学习、计算机图形学前沿技术，建立了一个全新的自然交互情感虚拟人原型系统，虚拟人具有环境感知、情感计算、可视语音能力，可以广泛应用于各种人机交互和网络应用。
成果特色与优势：
1. 虚拟人感知：虚拟人的感知包括视觉、听觉、文本、鼠标和键盘输入等，其中视觉感知是最主要的环境感知通道。视觉、听觉、文本和其它感知形式的聚集，为虚拟人提供最接近于人类的真实自然感知，由此获得自然的人机交互方式。多模态感知信息经过适当融合，以获得时空一致的高维模式信息。
2. 情感计算：根据虚拟人的内部状态，设计合理的虚拟人情绪空间，建立虚拟人心情系统和情感决策与产生机制，虚拟人在受到外界刺激时，根据当前情绪和心情状态做出相应响应，以此产生高兴、惊奇、害怕、愤怒、悲哀、厌恶等情绪，通过计算机三维仿真展现，由此完整地构造出符合人类情感产生规律的虚拟人情感计算模型。
3. 真实感三维虚拟人建模与动画：实现了基于 OpenGL 的三维虚拟人动画原型系统，主要是三维虚拟人头部，包括人脸建模和人脸动画，人脸建模是在计算机中逼真地实现三维虚拟人脸部的外观特征，使其具有典型的中国人脸部特征；人脸动画则是通过程序实时控制三维人脸模型产生形状和纹理变化，实现动态表情和可视语音。
4. 三维虚拟人系统：综合运用的计算机视觉、机器学习、计算机图形学技术，以自然人机交互为突破口，设计实现了一个栩栩如生的三维情感虚拟人原型系统。系统基于最新 OpenGL 标准，建立了通用的虚拟人面部数据的重构方法，虚拟人形象可以自由选择，也可以个性化定制。虚拟人眼睛会自然地眨眼，并可以实时跟踪视频目标，虚拟人嘴巴则可以与语音合成技术结合，实现可视中文和英文语音。虚拟人具有非常高的逼真程度、较好的环境感知能力、一定程度的学习能力、中英文可视语音能力、以及独立产生情感的能力。
