CCF走进高校（山东大学-人机专委）

陶建华 人工智能与智能交互

• 人工智能的能力体系

  • 感知智能：发展较快，人机交互场景运用较多；

  • 认知智能：发展相对不成熟。
    此外，专用智能领域发展较快，但在通用智能上仍有很大的发展空间。
    

• 多模态融合策略，通过信息互补、信息融合、信息独立模式来处理不同通道对语音交互的关系。如他提出的科研成果CASIA对话系统就是一次对于多模态融合的探索。
  

• 语音中的情感的重要性，同一句话，不同的情感代表不同的语义；

• 未来发展方向：人机协同的智能生长。即在人机交互的已有研究基础上，结合人脑和机器智能的优势，研究人际智能协同、学习和交互式智能生长。

问题

• 人工智能、人机交互的鲁棒性
  • 环境鲁棒性：目前已经使用深度学习较好地解决；
  • 机器有效理解：即认知问题。在专业领域相对成熟，但在通用领域还需要配合。比如对话情况下，需要人愿意去配合机器，牺牲部分个人自由度。
• 多模态技术的发展与挑战问题
  • 多模态融合策略问题；
  • 语义关系融合问题；
  • 语义理解问题；

Critical thinking

学者提出了语音中的情感的重要性，在VR场景中，目前已有多种方案获取眼动、面部表情，是否我们可以通过这些传感器数据多模态地分析用户的情绪（不止于眼动），优化语义传递，甚至有助于提高我们对用户情感疾病攻击的成功率？

田丰 新型自然人机交互技术

• 交互工作：基于微流控技术的可重构智能多感知装置、基于房屋结构性震动的室内行为感知、基于运动和声音传感器的牙齿动作交互技术

• 反馈感知工作：虚拟湿度知觉生成盒控制技术、基于化学刺激物的痛觉生成和控制技术

• 应用工作

  • 智能电子教学
  • 多模态自然人机交互神经系统疾病辅助诊断工具
    • 笔式辅助诊断技术
    • 实物辅助诊断
    • 交互式辅助诊断技术：日常手机交互动作（老年人、帕金森识别、临床检查）

• 未来思考

  • 人机交互和人工智能从交替沉浮到协同共进
  • 未来发展方向应是人机混合（智慧医疗与自动驾驶一样，都要人的介入）
  • 可以考虑人机智能体的未来。

Q&A

智能穿戴的未来与趋势：怎么适合长期穿戴？优化头盔重量、刷新率；关于纳米织物通风性、透气性、舒适感的提升问题；

Critical thinking

田教授更关注如何通过人机交互的研究推动相关产业的发展，上一次会议中，就有学者提到人机交互产业发展有一个重点是微型操作，即减少大手势交互。我之前了解到有无声识别技术，可以通过默读识别，把喉部声带带动动作发出的电信号转换成语音，同理，脑电波等都是属于无声识别的范畴，我认为微操作，特别是无声操作可能是今后产业化的发展趋势，在有效抵抗肩窥攻击的同时，可以减少用户使用MR设备的心理负担。

王涌天 增强现实头戴显示技术研发进展及其工业领域中的应用

• AR显示技术要求和方案分类

  • 技术要求：AR光学要求
  • 方案分类：Birdbath+自由曲面+波导方案，其中AR微型显示屏会是主流（自由曲面+波导方案）

• 微显示及AR显示产业现状

  • 微显示技术分类：DLP、 LCoS、 LBS、 MicroOLED、 MicroLED
  • 自由曲面棱镜AR头显（自由曲面是目前比较成熟的技术 ）
    - 几何波导AR头显：
    

• 自由曲面AR显示新进展

  • 新设计方案：常用多面共体自由曲面设计结果——畸变（光学、透视畸变），王教授实现了畸变优化
  • 应用：高通智能眼镜Merlin AR

• AR在工业领域的应用

  • 卫星装配引导系统、狭小空间装配、飞机连接器装配、飞机放飞绕机检查、电力智能检查、多人协作全息共享、
    

Q&A

田教授研发的眼镜优势：满足成像要求高、光能利用率高的要求。

Panel

• AI挑战
  • 三维可视化新挑战新需求：实现真实场景实时的视觉定位（算法），又准又好又实时，耗能低。
  • ar设备交互及瓶颈：显示器更薄更轻耗电更低，交互问题（除了手势之外，怎么与屏幕交互）
  • 感知智能成熟、认知智能挑战，理解行为背后的意图；
  • 人机智能融合，外骨骼融合等；
  • 功耗问题，产业要求：发热、功耗在1%以下 ；
• 交互痛点
  • 没有触摸屏之后，户外使用怎么交互
  • 多模态交互中融合问题（面部+声音融合技术，认知层面的语义融合技术）
  • 空间手势状态迁移问题
  • 空间手势精细化控制问题
  • 胖手指问题