蓝莓实例分割与三维定位：从检测任务到采摘感知

2026 年 7 月，我重新梳理了蓝莓采摘机器人的视觉研究主线。前期目标检测能够回答“画面中有没有蓝莓”，但机械臂真正需要的是每一颗果实的轮廓、成熟度和三维位置。于是问题逐渐从目标检测转向实例分割与稳健三维定位。

为什么检测框还不够

蓝莓通常成簇生长，果实之间相互遮挡，叶片与枝条也会切割可见区域。矩形检测框容易包含相邻果实和背景，直接在框内取深度会受到叶片、空洞和边缘噪声影响。

实例分割为每一颗果实输出独立 mask，可以把成熟度分类、深度估计和簇内计数都落实到实例级。它不只是更精细的可视化结果，而是从二维识别连接到三维操作的接口。

任务管线

当前感知路线可以拆成四个阶段：

1. 对 RGB-D 图像进行时间同步和空间对齐；
2. 使用实例分割模型识别未熟、转色和成熟蓝莓；
3. 在 mask 内筛除无效深度与离群点，估计果实的稳健深度和三维质心；
4. 将相机坐标转换到机械臂坐标系，为接近和采摘提供目标点。

基线模型需要在同一数据划分、输入分辨率和训练策略下比较。除了 mask AP、AP50 和 AP75，我还需要关注小目标表现、分类别指标、推理速度以及不同遮挡与距离条件下的定位误差。

蓝莓场景的特殊困难

• 果实小而密集，相邻实例边界不明显；
• 果粉和高光会导致深度空洞或异常值；
• 未熟、转色和成熟之间存在连续过渡，标签边界并不绝对；
• 被遮挡果实的可见区域不一定等于真实几何中心；
• 训练数据来自不同地点、光照和距离，需要防止划分泄漏。

当前研究判断

单纯“更换或轻微改进 YOLO 检测蓝莓成熟度”很难形成有说服力的研究贡献。更值得推进的是把问题绑定到采摘需求：利用实例 mask 提高深度估计稳定性，处理果粉高光造成的深度缺失，并研究遮挡条件下三维质心的校正。

现阶段这些内容仍属于研究方案，不应写成已经完成的成果。接下来需要用实际数据完成基线比较、消融实验和三维真值测量，才能判断哪一种方法真正有效。

下一步

• 核对 RGB-Depth 对齐、成熟度标签和数据划分；
• 统一复现 Mask R-CNN、YOLOv8-seg 与 YOLO11-seg 等基线；
• 建立遮挡、距离和光照分层测试集；
• 设计三维定位真值采集与手眼标定流程；
• 用定位误差和机械臂接近成功率验证方法价值。

这次整理让我更清楚地区分了“模型能识别”与“系统能采摘”之间的距离。感知模块最终需要服务于动作，而不是停留在一张带框的结果图上。