新产业催生新专业丨让“虚拟”照进现实

戴上特殊的眼镜或设备，学生在课堂上可以与历史人物“面对面”交流，普通人能够享受逼真的火星探险之旅，游客还能身临其境般“游览”千里之外的美景……作为构建元宇宙的基石，虚拟现实技术的广泛应用正在让更多梦想照进现实，深刻改变着人们的生活方式。

以虚拟现实技术为核心的相关产业也站在了发展“风口”。国家“十四五”规划纲要将虚拟现实和增强现实产业列为未来五年数字经济重点产业，赋予了产业新的历史使命；河南提出到2025年，全省元宇宙产业发展初具规模，核心产业规模超过300亿元；郑州也向“新”而行，将元宇宙作为20条重点发展产业链之一。产业的迅猛发展，使得虚拟现实技术人才需求随之“水涨船高”。

2020年，教育部将虚拟现实技术专业纳入本科专业目录，我省的郑州工程技术学院等几所高校紧跟产业步伐，于近两年开设此专业，培养虚拟现实技术应用型人才。

“虚拟现实技术就是大家熟知的VR技术，就像是通往数字世界的一扇大门，通过计算机构建一个逼真的虚拟环境，使用户能够感受到空间深度和物体的真实存在，并能够进行操作，具有沉浸式体验和交互性特点。”11月17日，郑州工程技术学院信息工程学院虚拟现实技术系主任张慧在接受记者采访时说。

文化娱乐、医疗健康、教育培训、建筑设计、影视制作……虚拟现实技术正逐渐渗透到生产生活的各个领域，并与各行各业相融合、提供强大支持。业内专家认为，“虚拟现实+”时代已经开启。

广泛的应用性，对人才培养工作也提出了高要求。学习虚拟现实技术专业，从计算机技术到3D建模、再到数字艺术设计，都要样样精通。

“我们通过程序设计基础、数据机构与算法、人机交互界面设计等课程为学生打下理论基础，同时开设有3D建模基础、虚拟现实开发工具、虚拟现实应用策划等，在实践操作中提升动手能力。”张慧说，学校还紧跟行业前沿为学生拓展增强现实（AR）等新兴技术，确保所学技能与行业发展接轨。

郭宗霖是郑州工程技术学院虚拟现实技术系2023级学生，自入校以来，他越来越感受到这个专业的魅力。“我们曾经到企业进行过一周的实训，看到这个专业不仅可以服务很多行业，而且掌握这个技术后就像是梦想建构师一样，能够帮助人们在虚拟和现实场景中切换，感觉很神奇，特别有吸引力。”

这几天，郭宗霖正在和同学们参与一个“数字孪生校园”的方案，计划利用虚拟现实技术“克隆”自己的校园。张慧介绍：“这也是我们和企业共同合作的一个实体项目，希望同学们在实际操作中边学习边运用，更加熟练地掌握各种技术。”

如今，在郑州金水科教园区，郑州元宇宙产业园项目正在热火朝天地建设中，河南的元宇宙产业发展越发蓬勃，虚拟现实技术未来将大有可为。“学校将进一步加强与企业合作，深化产教融合，共同培养具有扎实理论和较强实践技能的应用型人才，为我省发展新质生产力提供坚实的人才支撑。”张慧说。（记者 曹萍）

“空间计算”设备：让虚拟与现实的边界更模糊

苹果公司发布的头显设备Vision Pro。

为整合虚拟现实和增强现实两种功能，让用户“无缝”融合现实世界和数字世界，Vision Pro搭载了2枚芯片，配备了2300万像素的屏幕，设备上布满12颗摄像头。在全球首款空间操作系统Vision OS的支撑下，用户戴上Vision Pro，不依赖手柄或遥控器，只用眼睛、手势和声音，就能实现实时操控。

“折腾”了7年，中间不断跳票，苹果公司首款头显设备——Vision Pro终于在最新一次的全球开发者大会（WWDC）上亮相，一时引得全球科技圈刷屏。

苹果公司首席执行官库克表示，Vision Pro让用户能够在真实空间中操作数字设备上的App、游戏、电影等，把真实世界带入“空间计算”。显然，苹果已将其锁定为下一个10年的发展方向。

然而现实情况是，尽管在数字娱乐和工业生产等领域已有很多应用，具有广阔的前景，但Vision Pro所指向的扩展现实技术（XR）赛道依然困难重重。

和许多前沿技术一样，扩展现实这一在科幻电影中频繁现身的技术，虽然经历了多番波折，但仍顽强地从幻想走向现实。

虚拟现实技术（VR）、增强现实技术（AR）、混合现实技术（MR）可以被统称为扩展现实技术，即将真实与虚拟结合，打造一个人机交互的虚拟环境，更好地实现数字世界和现实世界的连接、映射和增强。

从我国的落地情况来看，除了应用于穿戴设备外，以虚拟现实、增强现实为代表的扩展现实产业如今正在迅猛发展。

比如，联想集团较早开始布局增强现实技术研发，并将虚实映射、虚实叠加、虚实联动等技术应用于生产、维修等各个环节，提升产业智能化水平；浪潮集团2022年发布了服务于大规模、高复杂、高逼真数字场景协同创建的服务器；深圳证券信息有限公司推出了包括扩展现实在内的三个细分的数字经济主题指数，印证了资本市场对扩展现实相关产业发展的长期看好……随着企业创新主体的不断发力，扩展现实产业发展的技术基础日益夯实，融合应用的创新生态正在形成。

为助力相关产业快速发展，各地各部门持续加强政策支持和规划引领，工业和信息化部等先后出台《关于加快推进虚拟现实产业发展的指导意见》《虚拟现实与行业应用融合发展行动计划（2022—2026年）》等，截至2022年底，已有20多个省份发布虚拟现实产业相关建设规划。

按照工业和信息化部等相关部门的规划，到2026年，我国虚拟现实产业总体规模（含相关硬件、软件、应用等）将超过3500亿元，虚拟现实终端销量超过2500万台，将培育100家具有较强创新能力和行业影响力的骨干企业；同时，在工业生产、文化旅游、融合媒体、教育培训、体育健康、商贸创意、智慧城市等虚拟现实重点应用领域实现突破。

在扩展现实技术领域，虚像和实像的结合是技术难点之一，需要强大的算法、传感器、显示屏等多重技术的加持和产业的共同努力。如今，扩展现实在硬件上究竟可以做到什么水平？苹果的Vision Pro给出了答案。

虽然比目前市面上主流的消费级头显设备贵出好几倍，但苹果将Vision Pro定义为“空间计算”设备。为整合虚拟现实和增强现实两种功能，让用户“无缝”融合现实世界和数字世界，Vision Pro搭载了2枚芯片，配备了2300万像素的屏幕，设备上布满12颗摄像头。在全球首款空间操作系统Vision OS的支撑下，用户戴上Vision Pro，不依赖手柄或遥控器，只用眼睛、手势和声音，就能实现实时操控。

联想研究院研发高级总监钟将为介绍，Vision OS空间操作系统主要是为三维空间交互和体验而专门打造的。其中的难点问题其实非常多，比如精细手势操作如何确保无误、大规模场景怎么渲染、如何才能更省电、多个3D应用如何切换等，这一切的实现都离不开技术的支撑。

知名科技评论人闫跃龙表示，Vision Pro最大的惊喜是交互的革新，将头显设备的交互方式向人类最自然、最简单、最舒适的交互方式推进了一大步。在其他手机还都采用键盘操控的时候，苹果iPhone推出了多点触控屏交互。Vision Pro也是这样，在其他同类设备大多采用手柄的时候，Vision Pro采用了注视+手势+语音的综合交互方式，这是一种“革命性”的体验。

“虚拟现实技术最大的问题是将虚拟做得像现实，但是却和真正的现实脱钩。”在闫跃龙看来，Vision Pro的另一大创新，是进一步模糊了虚拟和现实的边界，让用户可以在现实世界中看到数字内容。此外，虽然Vision Pro总体上更偏重娱乐，但它展现的交互场景已较同类产品更为丰富，比如可以实现沉浸式办公。

闫跃龙强调，Vision Pro的核心优势是其在芯片、操作系统、生态上的整体实力。比如转转眼球、动动手指就可实现的空间交互，其背后所依托的还是强大的算力。为此，Vision Pro内置了M2芯片和最新的R1图形芯片，Vision OS系统也将iOS、MacOS系统在底层拉通，共享苹果应用生态。

在不少分析师看来，“史上最复杂硬件”的Vision Pro，就是一款“科技玩具”，难以满足用户对实际使用场景的期待。

“关于苹果Vision Pro的评价，形成了鲜明的两派，一派‘沸腾炸裂’，另一派失望遗憾。当然，这个设备既没有预期得那样好，也没有想象得那么差。”在闫跃龙看来，它能否推动扩展现实产业走向新一轮的爆发还是未知数，但至少重新点燃了大众关于扩展现实未来的兴趣。

在很多消费者眼里，头显设备都是鸡肋，买来发个朋友圈过几天就开始吃灰，他们最关注的是头显设备的重量、续航和爆款应用，苹果此次发布会没有明确提及这三点，但已展示出将设备体积缩到最小、最轻便，以及内容与服务生态走向丰富有序而付出的努力。

俄罗斯工程院外籍院士、国际信息显示学会SID（中国）AR/VR技术委员会主席王立军表示，扩展现实技术头戴式终端将替代手机，成为人类首要的元宇宙智能交互终端。

但从发展状况看，扩展现实并不属于投资回报很快的行业，艾媒咨询首席执行官兼首席分析师、港股100强研究中心顾问张毅表示，相关企业仍需时间和空间的滋养，行业价值需用“长期主义”来丈量。

经历了一轮又一轮的起伏，虽未能掀起与移动互联网一样的科技狂潮，但“深一脚浅一脚”的试水者仍在前赴后继。其中既包括华为、乐视、小米等中国互联网企业，也包括主攻虚拟现实技术的Meta和力推增强现实技术的微软，再加上苹果，扩展现实巨头玩家“三国杀”的局面没有改变。

闫跃龙说：“国内厂商需要进一步坚定方向，不要追求功能、应用上的奇技淫巧，而是要一步一个脚印在芯片、操作系统、生态上埋头苦干。”（记者 刘 艳）

扩展现实技术在我国航天员训练中的应用（下）

扩展现实技术，是虚拟现实、增强现实和混合现实这3种技术以及其他类似沉浸式技术的统称，其创新应用在传统行业及数字化领域均有广阔的发展前景。近年来，在我国航天员训练中，虚拟现实技术及混合现实技术也得到应用。

上期内容中，我们介绍了虚拟现实技术在我国航天员训练中的应用，本期内容中，我们将继续介绍混合现实技术的应用。针对实物/半实物难以模拟的典型设备操作和故障排除等任务，利用混合现实技术，借助目前已有的实物、半实物模拟器环境，实现复杂设备智能虚拟辅助指导或智能定点定位引导操作，可应用于三维沉浸式天地远程支持。

混合现实技术是通过在现实环境中引入虚拟对象/场景信息，在现实世界、虚拟世界和用户之间建立起一个交互反馈的信息回路，以扩展增强用户体验信息范围，具有真实性、实时互动性以及构想性等特点。

空间站任务中，航天员面临更加复杂的在轨维护维修、科学实验以及应急模式预案外的紧急排故等技能操作，不但对航天员的操作技能、协作技能提出了新的要求，更对复杂任务模式下的航天员支持保障手段提出了新的挑战。传统模式下航天员通过地面实物、半实物和数字仿真综合构建的模拟器进行技能训练，存在以下不足：

①空间失重模式下交互操作以及复杂典型故障等模拟程度有限或者难以在地面模拟；

②复杂任务的操作通常通过手动查看文字图片手册来进行，理解容易有歧义且无法高效工作；

③远程天地支持通常通过语音和有限实时视频图像进行，支持中的语义理解受到限制。

在航天员训练和支持中，借助目前已有的实物、半实物模拟器环境，增加实物难以模拟的场景，达到虚实融合，可以实现常规实物半实物难以模拟的典型设备操作和故障排除、失重运动操作、复杂设备智能虚拟辅助指导或智能定点定位引导操作、天地远程支持模式下三维沉浸式指导标注等功能。为适应空间站航天员典型训练和支持任务动态变化需求，设计并实现了便于快速配置和扩展研发的航天员混合现实训练与支持系统的技术框架。针对训练和支持的特因环境，研究实现了空间弱纹理以及失重模式下的纯视觉位姿估计算法；针对训练中的多人协同以及天地远程支持，解决了对象操作同步、Mesh Anchor虚实空间匹配、天地虚拟场景虚虚匹配等关键技术，为当前工程任务完成提供了支持途径。

航天员混合现实训练聚焦地面训练和在轨支持2种模式。

地面训练模式主要在目前已有实物、半实物模拟器基础上，通过MR头盔实时渲染生成的三维标注信息对复杂设备操作进行虚拟导引，提高航天员操作效率与准确性；模拟损伤性火灾场景等典型性故障，用于航天员应急处置；模拟失重模式下设备操作状态，用于航天员熟悉在轨作业状态；用虚拟模式补充模拟舱内工程实物、半实物实现难度大的设备，构建真实的在轨空间环境。

在轨支持模式除复杂设备操作自主导引外，重点实现天地协同定点定位的三维协同支持。航天员佩戴MR头盔，实时下传操作场景，地面根据下传图像建立Mesh空间与预先虚拟场景进行虚虚匹配，在与空间一致的相对坐标位置进行虚拟信息的实时设置，上传虚实叠加导引，指导航天员定点定位操作。

依据航天员地面和在轨训练需求，科研团队设计了面向多人协同以及远程支持的混合现实训练与支持技术框架，研制了基于增强现实的航天员远程专家辅助系统，该系统为航天员复杂操作训练提供实时远程专家多模式支持，并在空间实验室任务组合体训练模拟器内进行实验验证。结果表明，与传统电子手册模式相比，可以提高航天员执行复杂工作的效率。

基于设计的体系框架，针对典型任务训练，实现了出舱活动程序、应急火灾、环控生保在轨可更换单元、科学机柜在轨可更换单元以及控制力矩陀螺维修等任务的混合现实训练支持单机诱导程序。

航天员佩戴便携式混合现实眼镜，通过语音或手势指令与混合现实系统进行交互。混合现实系统对环境信息进行分析，得到可视化语义指导信息，叠加到现实环境中。航天员可通过透射式眼镜获取混合现实引导场景。

航天员混合现实训练系统根据场景理解模块识别结果及场景定位信息，记录采集图片在真实环境中的位置，调用引导信息库和引导模型库中相关设备的操作引导流程，在采集图片位置上进行叠加。具体方式为依据识别出的模型类型，从引导信息库和模型库中提取相关虚拟模型，然后将虚拟模型放置在识别出的边界框中，并投射至采集图片的位置上。如图所示，虚拟模型在混合现实场景中叠加在真实设备上，并显示虚拟箭头，引导航天员对设备进行操作训练。

航天员可以通过MR协同模式进行多人训练与操作，地面专家可以通过MR远程支持模式对在轨航天员进行三维标注沉浸支持，提高支持效率和精准性。执行任务的航天员表示作为一种新颖训练手段，MR操作使用便捷方便，对解放双手和复杂程序引导有直观的辅助支持作用，提高了训练质量和效率，可以作为在轨自主训练和应急支持手段。

原标题：《扩展现实技术在我国航天员训练中的应用（下）》