微软分享军工版HoloLens 开发历程
2019年美国军方为了提高士兵的感知与作战能力,邀请微软工程师到北卡罗纳州的军事基地参加为期一周的小型新兵训练。
微软团队通过学习地面导航、在黑暗中执行动作以及在现场进行通信等了解士兵所处环境面临的挑战后,利用这些知识设计了MR头显并将其很快推广至数千名美军手中。
在最近美国陆军授予微软的合同中,微软提供的MR头显HoloLens使用了集成视觉增强系统(IVAS)让士兵可透过烟雾和角落进行观察,并且使用全息图像对士兵进行训练,士兵只需点击一下按钮就能将3D地形图投影到视野中。(美国陆军计划9月开始为士兵配备头显。)
除了上述提到的微软团队体验士兵环境外,士兵同样来到微软位于华盛顿雷德蒙德园区的工业设计与软件实验测进行各种原型的测试并提供反馈,微软团队再将这些反馈用于下一个版本的开发。
至2021年2月,微软团队已收集了近8万小时的士兵反馈,包括在疫情流行期间六个月内进行的四轮测试。在进行测试的过程中,微软使用了Microsoft Teams 进行开会和共享文档,并使用 Microsoft 的 Power BI 数据可视化工具来跟踪项目状态。
在微软进行设计时,原本便是以士兵需求出发打造出许多关键性功能,比如早期的MR头显原型安装了摄像头、较重的护目镜以及各种3D打印设备,这些设备提供的功能符合陆军坚固、防水、防震的需求。
但通过士兵的反馈,微软对这些功能进行了不断的改进。比如士兵反馈头显需考虑到允许使用将步枪抵住脸颊,因为士兵在使用枪支时需要将脸颊贴在枪托上,如果头显底部有传感器则无法做到这一点。士兵还反馈需要重新设计护目镜边缘以获得更佳周边视觉。
微软最初为计算单元设计了一个名为“冰球”的表盘,士兵将表盘戴在胸前使用一只手指便可控制头显,微软认为这样的设计很容易操作,然而当士兵们带着背包在地上爬行时,这些精心设计的表盘很快会坏掉。
微软技术研究员亚历克斯·基普曼 (Alex Kipman) 说在整个项目中,这样的例子成千上万。微软在这些反馈意见下,已对MR头显进行了数十个原型的制作、测试以及改进。
现在士兵们已经对原型进行了两年的测试。
微软为美国陆军所提供的特供版HoloLens 2系统 IVAS体现了美国军事行动现代化和保持国家在先进技术领域领先地位所做出的努力。
IVAS 使用 HoloLens 的混合现实技术以及热成像、传感器、GPS 技术和夜视功能来提高士兵的感知能力并为他们提供关键信息,以帮助他们制定计划、进行训练以及执行任务。这些设备通过将全息图像、3D 地形图和指南针投射到他们的视野中,使士兵能够看到他们所在的位置和周围的事物。
它的采用代表了陆军的范式转变,无论是在开发方式上还是在它将使士兵能够做的事情上。与用盒子、棍子、岩石和其他临时材料拼凑在一起的地形模型来规划任务相比,IVAS 让士兵能够使用 3D 地图描绘他们将要到达的地方。
例如,士兵们未来可使用 IVAS 将他们的视线转移到更有利的位置,他们可能会看到作战的另一方正在接近,或是不同方向、天气环境下环境所处的样子,并可查看建筑物的全息图像,确定如何以最好的方式进入或逃离该建筑物。
由于 IVAS 会使用分布在战术网络上的人员位置信息,因此即使在黑暗或密集的环境中,士兵也能够看到其他排成员的位置。热技术将使士兵能够看穿烟雾,并且该系统具有可改进的夜视能力。
微软 IVAS 项目总监 DAVID Marra 说:“考虑提供给士兵的感知并不局限于周围的环境,还应该有关键任务相关人员、地点和事物的接近程度。这会对士兵安全产生深远影响,并显著减少友军射击和其他类型的故事发生。”
当 IVAS 与武器瞄准器(一种瞄准装置)搭配使用时,它还能让士兵看到步枪上的瞄准镜所看到的东西,从而使他们能够安全地环顾角落。无论士兵看向哪个方向,技术都会将示波器看到的内容传输到士兵的头显,士兵可以在头显之间进行数字通信。
Krugh 说虽然这些设备仍在接受陆军测试,但 IVAS 已经改变了士兵的行动方式。
2018 年,微软从陆军获得了 4.8 亿美元的合同,开发MR头显,帮助士兵训练、排练和战斗。
两年来,士兵们一直在弗吉尼亚州皮克特堡测试原型机。最近,这些设备在波多黎各和阿拉斯加进行了测试,以确保在热带和寒冷环境中表现良好。
前不久,微软再获美国陆军高达 218.8 亿美元的新合同,微软会在在硅谷的一家制造工厂为士兵生产超过 120,000 部头显。五年协议可以再延长五年。这些设备将首先供士兵步行使用,陆军也在进行在军用车辆中使用 IVAS 的实验,以便士兵在走出去之前可以看到周围的情况。
IVAS 根据一项称为“其他交易授权”的协议开发的,该协议使陆军能够更灵活地与非传统国防承包商合作快速开发和测试新技术。这种安排使 IVAS 能够在不到三年的时间内开发出来,比同类传统项目快得多。
但 Krugh 表示,该项目迄今为止的成功还取决于拥有合适的合作伙伴。陆军在启动该计划时就知道它想要什么,“但需要像微软这样的公司才能真正确定它的样子,”他说。
“微软在试图了解政府需要什么方面做得非常好,并且还添加了一些我们不知道我们需要或者甚至不知道可能存在的东西。”