广东工贸职业技术学院校长，二级教授
广东工业大学博士生导师
中国人工智能学会智能制造专业委员会副主任
广东省虚拟现实及可视化工程研究中心主任
广东省普通高校创新团队项目负责人
（“面向智能制造的VR/AR应用技术研究协同创新团队”）
广东省机械工程学会副理事长
《机电工程技术》编委
何汉武教授长期从事智能制造、虚拟现实以及增强现实技术的研究和开发，承担多项国家自然科学基金项目、国家863计划项目、国家科技重点研究项目、教育部博士点基金项目及广东省科技计划项目。参加的“机器人离线编程系统HOLPS及应用项目”获1995年度国家科技进步三等奖。曾获教育部科技进步二等奖1项,广东省科技进步一等奖1项。获国家教学成果二等奖1项，广东省教学成果一等奖2项。曾入选广东省“千百十”人才工程省级培养对象，2007年被评为广东省南粤优秀教师。曾作为访问学者分别在香港理工大学制造工程系，利物浦大学从事合作研究。培养博士9名，硕士90多名。
VR/AR（虚拟现实/增强现实）因为具有强大的数据可视化和交互性、沉浸性特点，被誉为是一种可以拓展人类感知能力、改变产品形态和服务模式的新兴技术。对制造而言，VR/AR改变了产品研发过程中的信息流；为制造过程提供可视化，辅助和扩展空间；有助于在开发过程的早期阶段发现并避免设计错误；减少了物理原型的数量，并为企业节省了时间和成本。在许多智能制造应用中，VR/AR被认为是改善和加速产品和工艺开发的宝贵工具。
VR/AR作为新一代计算平台，支持人类对智能制造系统产生的大量数据进行实时、与生产背景相关的可视化访问。虽然人工智能、数字化技术取得长足发展，但很长一段时间内人类仍将在制造操作中扮演着不可或缺的角色，VR/AR是实现以人为本的智能制造的核心技术。
何汉武教授长期从事智能制造、虚拟现实以及增强现实技术的研发工作，是广东省普通高校创新团队（“面向智能制造的VR/AR应用技术研究协同创新团队”）项目负责人。近日，《机电工程技术》编辑部采访了何汉武教授及其团队，并约稿“VR/AR与智能制造：应用领域、核心技术”，现一并整理并发表。
何汉武教授团队在1999年即开展虚拟现实相关研究，2016年获认定广东省虚拟现实及可视化工程技术中心。团队长期从事VR/AR基础理论和关键技术研究，包括虚拟场景数字化建模、真实感图形绘制、多感知通道的交互设备与交互方法等。2017年开始，团队联合广东工贸职业技术学院，上海曼恒数字技术有限公司组建了“面向智能制造的VR/AR应用技术协同创新团队”，在开展智能制造VR/AR工业应用的同时，也开展VR/AR+职业教育信息信息化的研究拓展。团队将理论研究成果应用于智能制造、虚拟医疗，医疗康复工程及教育培训，为这些领域开发了大量的应用系统，积累了丰富的研究基础和应用案例。耕耘20多年，形成了团队的研究特色。
（一）基础理论研究
● 基于移动视觉SLAM的虚拟场景快速构建方法与应用
移动视觉SLAM要同时解决摄像机跟踪和场景重构的耦合难题，团队利用光流技术对图像特征关联和跟踪，实现场景快速点云重构。
● 基于视觉的徒手交互方法与应用
在复杂背景中建立手势特征描述方法, 检测交互手势、跟踪手势是难点。团队提出双手交互的操作意图判断算法，解决复杂背景下的手部分割的问题。
● 增强现实场景中的深度信息获取方法与应用
增强现实场景中如何实现虚拟信息与真实场景融合深度一致性是难题。团队提出了一种基于移动单目摄像机的深度计算方法，以及场景点云重构的方法来解决增强现实中深度一致性问题。
● 康复训练中表面肌电信号获取及肌力估计方法
肌肉的生理和非生理因素影响表面肌电信号（简称sEMG），进而影响肌力估计的准确性。团队建立 sEMG 与肌力的关系模型，可同时捕获系统的动态特性和处理关系模型中固有的非线性特性，解决了 sEMG 与肌力之间的非线性和动态变化的问题。
● 增强现实医疗的虚实融合及注册算法
虚实无缝融合以及精准注册是该理论难点。项目组解决了医学模型的几何模型表达和行为模型的表现问题，提出模型的分割算法，设计训练器械及其与虚拟医学环境的交互方式。
（二）应用研究及系统开发
● 增强现实操作引导系统研究及开发
为了解决复杂装备装配过程中的错装、漏装问题，在装配操作中引进增强现实辅助指引，可视化三维操作过程，利用新交互方式解放操作者双手。研究物体跟踪和虚实配准技术，开发基于Hololens的辅助装配系统，可让操作者根据增强现实的指引完成多个工序的接插线操作。系统带有错误检测模块，能对误装、漏装进行检查和提示。
● 基于VR/AR环境智能制造生产线快速布局与评价
智能制造中，生产场地车间的布局是一个关键环节。合理利用场地空间使得生产、物流合理、高效是布局要解决的问题。团队采用数据手套和磁跟踪器作为手势输入设备，使用移动终端作为辅助可视化设备，设计一套可用于设备摆放、车间布局的AR系统，系统对环境要求不高，对光照有很好的鲁棒性。
● 增强现实作品创作工具软件与系统
把传统的生产工艺工序、使用说明书的二维平面内容转成三维可视化数据是增强现实应用的一个难题。为此，团队开展增强现实创作平台研究，在可用性、交互性以及平台扩展性能方面进行深入研究和开发，开发方便易用的增强现实工具软件与系统，提供了可视化的用户脚本描述方法，实现了增强现实环境下的三维路径定义和实时规划，实时脚本解释与虚实融合算法。
● 多通道感知交互设备研发与虚拟实验系统
嗅觉、触觉是人体的特殊感知通道。在传统的视听虚拟环境中添加嗅觉、触觉模块不仅增强了系统的沉浸感，也直接影响人的感官与情感记忆。团队开发多通道感知交互设备，实现嗅觉呈现、触觉再现功能。设计气味发生方案以及对应的嗅觉驱动模块，提升生物虚拟实验沉浸感的和用户学习效果。由桌面式温感装置和温感触觉手套组成的温度触觉再现系统在不同的虚拟实验场景中，提供局部或全局、接触或非接触的温度触觉再现。开发虚拟实验系统，采用多通道交互、多模态刺激方式，在参与度、丰富度、真实度等方面提升虚拟现实的效果。
● VR场景中多用户协同操作技术研究
很多复杂装配任务需要不同的团队或多个操作者进行合作才能够顺利地完成，然而在现实中进行多团队多用户之间的培训演练需要的成本较大，效率也不高。团队研究基于VR场景的多人协同操作技术，在VR场景中实现了多种技术工种或者多用户间的工作培训，在多人协同操作系统中，对工具、物料、机械装备等都进行三维建模及可视化，多个操作者在虚拟环境就能使用这些工具进行操作练习，这大大降低演练培训的成本。另外利用VR技术可以模拟各种装备，让受训人员熟悉不同应用场景“真实”装备，并进行实际操作，提高实操能力。
● 虚拟康复训练装备与系统
脑卒中、伤残、运动性功能损伤和偏瘫等疾病会造成患者的肢体功能缺失，在患者的后续治疗阶段都要进行肢体运动康复训练，通过运动康复训练可以逐步改善并恢复患者的肢体功能，从而回归社会。虚拟康复医疗训练系统（下肢），包括一种足底穿戴式步态康复训练机器人，能提供患者平地、上坡和下坡等步态训练模式，实时显示患者行走的三维模型和步态运动曲线，通过VR头盔为患者提供平地、上坡和下坡等步态虚拟康复训练场景。
● 关节镜手术虚拟训练装备与系统
为了解决微创手术训练难、器械成本高的难题，团队从2006年开始研究虚拟现实与医疗的交叉应用。从虚拟分娩到虚拟膝关节镜以及虚拟康复。开发关节镜手术虚拟训练装备与系统，解决了医学模型的几何模型表达和行为模型的表现、模型的分割算法，以及训练器械的设计及其与虚拟医学环境的交互。
