EmbodiedScan连续3D检测全攻略手把手读懂AP/AR评估指标与基准成绩背后的意义【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScan如果你正在研究具身智能Embodied AI或室内3D感知一定绕不开EmbodiedScan连续3D检测这个关键词。作为 CVPR 2024 与 NeurIPS 2024 收录的多模态 3D 感知基准EmbodiedScan 提供了超 5k 场景、100 万第一视角 RGB-D 图像与 160k 个 3D 定向框是检验模型在真实房间里能不能看清一切的顶级考场。本文面向新手用最少术语带你理解它的AP/AR 评估指标到底在算什么以及官方基线成绩如 AP0.2517.83该怎么解读。 EmbodiedScan为具身AI打造的3D感知基准传统的 3D 检测研究大多依赖上帝视角的全局扫描输入而真实机器人只能看到第一人称视野。EmbodiedScan 正是为弥合这一差距而生数据来自 ScanNet、3RScan、Matterport3D 与 ARKitScenes 等真实室内扫描并重新标注为统一的评测集。它的核心亮点包括5k 场景覆盖住宅、办公室等日常室内环境1M 第一视角 RGB-D 图像模拟机器人实际看到的画面1M 语言提示支撑视觉定位等跨模态任务160k 3D 定向框横跨760 类别部分对齐 LVIS80 类稠密语义占用标注支持占用预测任务官方在 README.md 中提供了完整的数据规模、安装与基准说明数据下载与目录组织细节可参考 data/README.md。 什么是连续3D检测和多视图检测有何不同连续continuous在这里指的是以稠密点云/体素为输入的检测范式即模型从 RGB-D 重建出的完整点云中直接预测 3D 框而多视图multi-view检测则从任意数量的第一视角图像出发先融合再检测。EmbodiedScan 的连续检测基线由 Embodied3DDetector 实现它用 ResNet 编码 2D 图像、用 MinkResNet稀疏 3D 卷积编码点云体素再由 FCAF3D 检测头输出284 类、9 自由度位置、尺寸、旋转的 3D 框。对应配置见 cont-det3d_8xb1_embodiedscan-3d-284class-9dof.py。 简单理解连续检测像拿到整屋扫描图后找东西多视图检测像只凭眼睛看到的画面找东西两者难度与评价维度各有侧重。 AP/AR评估指标入门3分钟看懂mAP与mAR评估指标是理解基准成绩的钥匙先建立三个核心概念1. IoU交并比预测框与真实框的重叠程度0~1 之间。IoU 阈值决定了算不算对上——阈值越高越严格。2. AP平均精度对每个类别按置信度排序预测框画出精确率-召回率曲线后求面积。AP 越高说明模型既找得准又找得全。3. AR平均召回率固定 IoU 阈值下模型能找回多少比例的真实物体衡量有没有漏检。对所有类别取平均就得到mAP平均精度均值与 mAR平均召回率均值。EmbodiedScan 的评测实现位于 indoor_eval.py含 AP 曲线面积计算与 average_precision 函数评估器入口在 det_metric.py 的IndoorDetMetric默认使用IoU0.25 与 0.5 两档阈值。 0.25 是宽松阈值考察大致定位能力0.5 是严格阈值考察精确框定能力。室内小物体多0.5 下成绩大幅下降是正常现象。 连续3D检测基准成绩深度解读官方在 README 中公布了连续检测基线的成绩RGB-D 输入指标数值一句话解读AP0.2517.83宽松阈值下平均每类的定位精度AR0.2547.53能召回近一半的真实物体AP0.59.04严格阈值下精度显著下降AR0.523.04精确定位仍较困难作为对比多视图 3D 检测基线为 AP0.2515.22、AR0.2552.23。可以看出连续检测看得更准AP 更高多视图找得更全AR 更高——这正体现了不同输入范式的能力差异。解读成绩时还需注意三点284 类包含大量长尾类别。评测会按 head/common/tail 划分分别统计见 indoor_eval.py稀有类别几乎拿不到分拖低了整体 mAP。官方基线并非天花板而是及格线。论文中给出了更强的模型设计与训练策略复现代码均已开源。测试集与论文验证集不同官方重新划分了训练/验证集因此成绩与论文数字略有出入这是刻意为之便于公平公开对比。 快速复现与评估的3个步骤如果你想亲自跑一遍连续3D检测评估流程很简单准备数据按 data/README.md 下载并组织 ScanNet、3RScan 等原始数据及 EmbodiedScan 标注。训练或下载权重使用 tools/train.py 基于 cont-det3d 配置 训练或直接加载官方预训练模型。测试评估运行python tools/test.py 配置 权重路径终端会打印出 AP/AR 分表包括每类成绩与 Overall 汇总。环境要求可参考 READMEUbuntu 20.04、CUDA 12.0、PyTorch 1.11.0 等。若需从零克隆仓库地址为https://gitcode.com/gh_mirrors/em/EmbodiedScan。 总结成绩之外更值得关注什么EmbodiedScan 连续3D检测基准的意义不只是那几个 AP/AR 数字。它把评测从类别有限的合成场景推向760 类、含长尾分布的真实室内环境让研究者必须直面开放世界感知的难题。当你看到 AP0.2517.83 时请记得这背后是 284 个类别的平均、是 5k 场景的检验也是具身智能走向真实世界的第一步。下次再看论文表格你就能一眼读懂每个指标的含金量了【免费下载链接】EmbodiedScan[CVPR 2024 NeurIPS 2024] EmbodiedScan: A Holistic Multi-Modal 3D Perception Suite Towards Embodied AI项目地址: https://gitcode.com/gh_mirrors/em/EmbodiedScan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考