一、核心思想“从显式标注” 到 “隐式倒逼”1. 发现痛点论文首先指出了现有的VLA视觉-语言-动作的模型一般有一个通病视觉注意力分散。当机器人需要执行“把西瓜放进黄碗”时现有模型的注意力可能散落在桌面、其他杂物上导致抓错对象或在长任务中无法按顺序操作不同目标2. 人类启发作者借鉴人类的“凝视”机制即人眼在观察的时候只有中央的凹区域是清晰的周边是模糊的这种机制让人能够精准聚焦于当前的操作目标。3. 传统做法可以分为两类1显式输入用外部模型将目标物体裁剪出来和原图一起输入。但是这会增加推理的负担并且没有改善模型本身的注意力。我当时产生的疑惑为什么裁剪出了目标还要输入原图是为了让机器人知道这个物体周围的环境吗回答由于检测只是机器人的手段动作才是机器人的目的。由于裁剪图通常被Resize为正方形这会彻底破坏物体的绝对坐标和尺度。机器人需要知道目标物体是在自己的哪个方位上比如是在桌子的左前方还是右后方以及距离机械臂底座有多远如果丢掉了原图就只知道要检测该物体但是不知道该物体处于哪里就失去“往哪一个方向伸手”的几何基准。还有一个很重要的点是原图可以提供机器人路径规划的基础原图中会包含有障碍物桌子边缘等都是规划无碰撞轨迹的必要条件所以原图不可以去掉也不可以统一编码。2CoT输出让模型先输出边界框坐标再来输出动作会导致模型的性能下降。主要因为它会引发模态鸿沟、训练冲突和能力错位三个层面的问题。VLA的本质是三种不同模态的信息之间建立联系视觉模态用于处理高维、连续的像素信息语言模态用于处理离散的、符号化的语义信息动作模态用于处理低维、具体的物理控制信号。比如一开始强制模型生成边界框坐标那么就只是在视觉空间内完成对于目标的定位接下来就是映射到动作空间的物理控制指令上去输出关节角度应该怎么移动之类的。但是这个“视觉-动作”的映射是远比“视觉-语言”和“语言-动作”的映射更加复杂和直接。图像中的位置往往存在有缩放并不能等同于真实世界的坐标位置将图像中的像素坐标和机器人的动作坐标“硬对齐”容易导致模型过拟合。4. 该篇作者提出的创新ReconVLA不直接要求模型输出坐标或输入裁剪图而是将“目标操作区域Gaze Region”的图像特征重建作为辅助监督信号。这迫使VLA的视觉编码器在内部学习到细粒度的、区域专一的表征从而在推理时自发地将视觉注意力聚焦到正确目标上类似人类的“凝视”行为。那为什么可以构建“自发地”视觉注意力机制怎么进行图像特征重建的那么接下来就和大家详细的讲述这个方法的构建流程模型的输入是RGB图像但是被分成两条完全独立的路径1VLA主路径用于理解和行动输入原始完整的RGB图像I。经过VLA自己的视觉编码器Si gLIP来提取图像特征标记为 然后输入到LLM大模型中2重建辅助路径用于提供监督信号输入裁剪出的目标区域的RGB图像(Gaze region)将其单独送入到VAE编码器提取潜空间特征.第二步中修改的点在于将“直接输入裁剪的目标区域图像给VLA主网络”更改为“专门喂给VAE编码器用于生成重建的真值标签”。5. 实现流程实现流程分为数据准备、模型架构设计和两阶段训练这三大部分Stage1: 自动化数据构建数据的预处理输入开源机器人数据包括图像I、文本指令S和动作A处理利用微调后的Grounding DINO 开放词汇目标检测器根据文本指令在图像中检测出“待操作的目标区域——Gaze Region I ”输出构建成对的数据集原始图像和裁剪后的目标区域的图像并提供对应的动作标签。动作标签代表机器人关节或者末端执行器的物理控制信号类似于[0.12, -0.34, 0.56, 0.78, -0.21, 0.45, 0.98]这样的7维向量。其中前三维度代表机器人手臂末端夹爪中心在三维空间中的XYZ坐标。表示要去哪里中间三个维度表示末端执行器的旋转姿态roll、pitch、yaw最后一个维度表示夹爪的开合程度0是完全闭合1是完全张开这个动作标签是在机器人成功抓取对应物体时记录下来的关节角度和末端位置。Stage2: 模型架构与前向计算模型中包含有两条并行的计算分支输入多视角图像I一个是原始图一个是裁剪图和文本指令S接着通过视觉编码器(SigLIP)和分词器得到图像标记hI和文本标记hs接着输入到大语言模型LLM-基于Qwen2-7B自回归输出动作标记a也就是输出动作 token经过动作分词器映射为机器人执行的动作编码也就是数字抓夹的xyz还有姿态的移动与抓夹的开闭程度最后再来计算输出的动作和真实获得的反馈之间的交叉熵损失Stage3: 重建分支核心创新利用VLA内部的视觉输出作为“条件”将裁剪出来的目标区域I‘送入冻结的VAE编码器F中提取真实潜空间特征z0接着对VAE提取的潜空间特征z0进行噪声加入得到zt轻量级扩散Transformer接收条件hR和时间步t预测加入的噪声ϵ加入的hR这个条件的目的是为了去反向更新VLA模型。举一个例子比如一开始LLM模型中输出的hR里是只包含有“香蕉”的特征但是轻量级的Diffusion收到的是hR和带有噪声的zt(带有噪声的苹果)那么diffusion这个模块就会试图根据hR香蕉信息来去计算“苹果应该长什么样”并推算噪音那么这样子就是牛头不对马嘴DiT预测出来的噪音ϵ_pred和真实的噪声有很大的差别梯度回传的时候会大力惩罚VLA的注意力模块迫使VLA修改内部权重知道它输出的hR能够包含有苹果的特征让噪声预测正确。最后构建重建损失这一部分作为视觉损失因为是图像特征的提取Stage3: 两阶段训练策略目标是精确度泛化性能的保障Step1: 大规模视觉预训练在构建好的大规模数据集上先去预训练轻量级diffusion和微调LLM的视觉Projector层使其学会“根据指令重新构建特定区域的能力”相当于使用diffusion来去训练Step2: 下游任务微调在具体的仿真中进行数据微调由于经过了预训练模型是具备了“看清目标”的视觉表征能够将目标物体的特征构建正确只需要将这类精细的表征与特定动作空间对齐。在测试的时候取出掉扩散重建模块只保留训练好的VLA模型因为VLA此时具备了正确提取目标物体特征的能力。6. 总结不同于显示建模和CoT不是让模型先“说出”或者“看到”框选的目标而是强制VLA生成的视觉特征hR要能够包含有目标区域的内容比如目标区域中有苹果构建的hR就要包含有苹果的信息而不是香蕉的。利用辅助任务来迫使注意力精准聚焦再配合大规模的预训练去解决VLA无法生成图像的问题。