RealSense D435i 实践：如何采集可用的蓝莓 RGB-D 数据

2026 年 5 月，蓝莓采摘机器人项目进入 RGB-D 数据采集阶段。我们的目标不只是获得彩色照片，而是建立一套能支持成熟度识别、实例分割和三维定位的数据：每一帧都要有对齐的彩色图、深度图、相机参数和采集条件记录。

先明确相机要回答的问题

在真实种植环境中，我们需要验证五件事：RGB 图像能否看清果实；深度图在果粉、高光和边缘处是否稳定；模型能否区分未熟、转色和成熟蓝莓；遮挡、距离与光照会造成多大影响；采集结果能否形成可复用的数据集。

这使采集工作从“多拍照片”变成了有变量、有检查点的实验。

接入与对齐

相机通过 USB 3.0 连接，RGB 与深度流使用统一的分辨率和帧率。程序读取帧后，将深度图对齐到彩色图坐标系，并导出彩色相机内参、深度尺度和曝光等元数据。

对齐十分关键：如果 RGB 中的蓝莓轮廓和深度图中的位置不一致，后续即使实例分割准确，也会取得错误的深度值。

数据不只是两张图片

每个采集 session 同时记录以下条件：

维度	记录示例
拍摄距离	25、35、50、70 cm
视角	正视、侧视、俯视、低角度
光照	散射光、直射光、背光、阴影
成熟度	未熟、转色、成熟、混合果簇
遮挡	无遮挡、叶片遮挡、果实互遮、严重遮挡

这些元数据可以在模型评估时把错误按场景分层，而不是只报告一个总体指标。

深度质量检查

蓝莓表面的果粉与镜面反光可能造成深度空洞，果实边缘也容易出现混合像素。因此我不能直接取检测框中心的单点深度，而需要检查有效深度比例、空洞率和不同距离下的误差。

后续定位流程计划采用实例 mask 内的稳健统计，例如中值深度和离群点剔除，再结合相机内参将像素坐标反投影到三维坐标：

\[X=\frac{(u-c_x)Z}{f_x},\qquad Y=\frac{(v-c_y)Z}{f_y}.\]

目录和备份同样属于实验设计

每一帧保存 color.png、16 位 depth.png、深度可视化图和 meta.json；全局保存相机内参与 dataset_index.csv。原始数据在采集当天完成检查与备份，后续清洗和标注只处理副本。

阶段认识

这次实践让我意识到，三维视觉项目的瓶颈往往不只是模型。相机参数、坐标对齐、现场变量、文件结构和真值测量共同决定了实验是否可信。只有先建立稳定的数据链路，后面的实例分割和机械臂定位才有可靠基础。