Facebook研究人员提出无需空间标注的3D空间识别方法WyPR
现有的三维识别系统由于依赖于较强的监督,如点级语义标注等,都需要较长时间才能获得结果。例如,目前流行的大型室内3D数据集ScanNet仅由20人收集,注释工作涉及500多人,每次扫描花费将近22分钟。此外,由于标注成本高,现有的三维对象检测数据集局限很大,这种耗时的标注过程是缩放3D识别的主要瓶颈。
基于这一观察结果,Facebook人工智能研究院和伊利诺伊大学厄巴纳-香槟分校的研究人员提出,不用空间标注的3D来进行空间识别。他们研究了3D弱监督学习,只有场景级别的类标签可用作为监督训练语义分割和目标检测模型。场景级标注是非常有效的注解,只需要花一秒钟或更少的时间就可以检测在场景中的每个对象。
WyPR,是一种用于点云识别的弱监督框架。WyPR解决了三个核心3D识别任务问题:点级语义分割,3D提议生成和3D对象检测。研究证明,结合标准的多实例学习目标,WyPR可以在点云中检测和分割点云中的对象,而无需在训练时访问任何场景级标注。
WyPR首先使用标准的3D深度学习技术从输入中提取点级特征表示。为了获得对象分割,它将每个点分类为一个对象类。WyPR不采用点级监督来训练网络的这一部分,而是采用多实例学习(MIL)和自我监督目标来进行训练。
接下来,为了获得对象bounding box,它利用了一种灵感来自于选择性搜索的全新三维对象建议技术:几何选择性搜索(GSS)。每一个建议都像以前一样使用MIL分类到一个对象类。最后研究人员观察到,WyPR检测到的bounding box内的所有点与box级预测保持一致,反映了联合训练框架的有效性。
研究人员使用ScanNet和S3DIS数据集证明了它的功效,在弱监督分割方面优于现有技术(mIoU超过6%)。这为未来的研究建立了弱监督3D对象检测的新基准。