深度学习在眼科，皮肤科，放射科和病理学等医学学科的应用最近显示出巨大的前景，可以为全世界患者提高高质量医疗保健的准确性和可用性。谷歌的报告同样说明，卷积神经网络能够在一定程度上准确地检测淋巴结中的乳腺癌转移，其水平能够媲美经过专业训练的病理学家。但通过复合光学显微镜进行直接的组织可视化仍然是病理学家诊断疾病的主要手段，所以影响病理学广泛采用深度学习的关键障碍是：微观组织的数字可视化。

 

在今天举行的美国癌症研究协会年度会议上，谷歌的科学家公布了一份名为“An Augmented Reality Microscope for Real-time Automated Detection of Cancer”的论文，他们描述了一个增强现实显微镜（Augmented Reality Microscope，ARM）平台，并认为这可以帮助加速全世界的病理学家采用深度学习工具。这个平台由改进的光学显微镜组成，支持实时图像分析，并且能将机器学习算法的结果直接渲染在视场之中。重要的是，谷歌的ARM平台可以通过低成本，易于使用的组件来集成到各个医院和诊所中现有的光学显微镜，同时不需要分析整个组织的数字化版本。

 

 

现代计算组件和深度学习模型将支持大范围的预训练模型运行在这一平台。在传统的模拟显微镜中，用户主要是通过目镜观察样品。机器学习算法能够将输出实时投影回光路，数字投影将叠加在样本的原始（模拟）图像上，从而帮助用户定位或量化目标特征。重要的是，计算和视觉反馈能够迅速更新，速度约为每秒10帧，所以模型输出能够实现无缝更新。

 

 

 

左图：ARM的示意图。数码相机能够捕捉与用户相同的视场，并将图像传送到能够运行机器学习模型实时参考的附加计算单元。结果将反馈到一个自定义的，与目镜一致的AR显示屏中，并将模型输出投影到与显微镜玻璃片相同的平面上。右图：谷歌原型已改装成典型的临床级光学显微镜。

 

原则上，ARM可以提供各种视觉反馈，包括文本，箭头，轮廓，热图或动画，并且能够运行多种类型的机器学习算法以解决不同的问题，如对象检测，量化或分类。

 

为了展示ARM的潜在用途，谷歌将其配置为运行两种不同的癌症检测算法：一种检测淋巴结标本中的乳腺癌转移；另一种检测前列腺切除标本中的前列腺癌。模型可以在4-40倍的放大倍数下运行，并且通过绿色轮廓来突出检测到的肿瘤区域，从来显示给定模型的结果。绿色轮廓有助于将病理学家的注意力吸引到相关区域，同时不会掩盖潜在的肿瘤细胞外观。

 

 

 

上图：通过ARM透镜观察到的示例视图，其显示了4倍，10倍，20倍和40倍显微镜物镜下的淋巴结转移模型。

 

在最初的训练中，两种癌症模型采用了搭载明显不同光学配置的全视野数字切片扫描仪图像，但即便没有额外的重新培训，模型在ARM上的表现都十分优秀。例如，淋巴结转移模型的曲线下面积（AUC）为0.98，而在ARM上运行时，谷歌前列腺癌模型在视场中的癌症检测AUC为0.96，性能略低于WSI（全视野数字化切片）。谷歌表示，通过利用直接从ARM获取的数字图像进行额外训练，他们可以进一步提高模型的性能。

 

谷歌表示，他们相信ARM有潜力对全球健康带来重大的积极作用，特别是对发展中国家中传染病的诊断，如肺结核和疟疾。另外，对于正在采用数字病理工作流程，但其扫描仪仍然面临重大挑战或需要快速结果的医院而言，ARM同样能够发挥重要的作用。当然，光学显微镜在病理学以外的很多行业都已经证明了自己的作用，而ARM可以广泛适用于医疗保健，生命科学研究和材料科学等应用。谷歌进一步指出，他们对进一步探索ARM如何能加速机器学习的普及来积极地影响世界感到十分兴奋。