建立这个网站，是为了把分散在课程作业、实验文件、代码仓库和文档中的内容整理成一条可以回顾的成长轨迹。相比只在阶段结束时制作一份简历，我更希望持续记录问题是怎样提出的、方案为什么这样选择，以及实验结果如何改进了我的理解。

我会记录什么

1. 自动化专业课程中的重要概念与方法；
2. 项目从需求、设计到实验和复盘的完整过程；
3. 论文阅读中的问题、方法、结论与个人思考；
4. 编程、仿真、硬件调试和科研工具的使用经验。

接下来的计划

• 补充真实个人简介与联系方式；
• 整理已有项目，优先记录自己承担的工作和可验证结果；
• 建立统一的论文阅读笔记模板；
• 在每个阶段结束时更新一次经历与技能清单。

这个网站会和我的学习过程一起成长。

固定实验输入

当前任务为三类别实例分割，类别顺序固定为：

0 ripe
1 unripe
2 semi_ripe

类别编号一旦确定就不能随意调整，因为 YOLO 标签只保存编号。实验使用固定随机种子将数据划分为训练、验证和测试集，并记录模型、图像尺寸、epoch、batch、设备与输出目录。

从 JSON 到可训练数据集

AnyLabeling/LabelMe 的多边形标注需要转换为 YOLO segmentation 格式。转换完成后，除了检查文件是否生成，还需要统计成功转换的图片数、每个 split 的图片数、各类别实例数以及异常多边形或未知类别。

训练前我会抽样把转换后的多边形重新绘制到原图上。这样可以尽早发现坐标归一化、图片尺寸或类别映射错误，避免模型在错误标签上完成一次耗时训练。

训练结果不应只看一张曲线

一轮实验至少保存以下信息：

• 数据来源与划分方式；
• 模型和完整训练参数；
• best.pt 与结果目录；
• box 和 mask 的 mAP50、mAP50-95；
• 分类别指标与混淆矩阵；
• 问题记录、结论和下一步。

当精度不足时，应先检查数据与标注，再考虑提高输入分辨率或更换更大的模型。对小数据集而言，增加模型规模并不一定比补充困难样本更有效。

semi_ripe 错误归因

在一次 YOLO11s-seg 测试中，测试集共有 115 个 semi_ripe 真值实例。以类别正确且 mask IoU 不低于 0.75 为成功条件，47 个实例成功匹配，占 40.9%。

61 个误分类实例几乎平均流向两端：30 个被判为成熟，31 个被判为未熟。这说明主要问题不是“看不到蓝莓”，而是转色阶段本身具有连续性，三分类标签与视觉特征之间存在模糊边界。

距离分层也显示，30 cm 条件下成功率为 32.1%，低于 15 cm 条件下的 43.7%。这提示后续数据采集和评估需要同时考虑目标尺度、清晰度、遮挡与光照，而不能只比较总体准确率。

下一步实验

1. 复核 semi_ripe 标注一致性，明确颜色过渡区的判定标准；
2. 增加不同地点、距离和光照下的转色期样本；
3. 尝试把成熟度从硬分类改为具有顺序关系的标签或连续指数；
4. 分别报告识别错误与 mask 几何误差，避免把两类问题混在一起；
5. 保持独立测试集，使用同一评估脚本比较后续模型。

这次分析让我认识到，模型指标下降不一定意味着网络“没学会”。数据定义、标签边界和采集条件都可能是误差来源。把失败样本按原因分类，比单纯继续训练更多 epoch 更能指导下一轮实验。

为什么检测框还不够

蓝莓通常成簇生长，果实之间相互遮挡，叶片与枝条也会切割可见区域。矩形检测框容易包含相邻果实和背景，直接在框内取深度会受到叶片、空洞和边缘噪声影响。

实例分割为每一颗果实输出独立 mask，可以把成熟度分类、深度估计和簇内计数都落实到实例级。它不只是更精细的可视化结果，而是从二维识别连接到三维操作的接口。

任务管线

当前感知路线可以拆成四个阶段：

1. 对 RGB-D 图像进行时间同步和空间对齐；
2. 使用实例分割模型识别未熟、转色和成熟蓝莓；
3. 在 mask 内筛除无效深度与离群点，估计果实的稳健深度和三维质心；
4. 将相机坐标转换到机械臂坐标系，为接近和采摘提供目标点。

基线模型需要在同一数据划分、输入分辨率和训练策略下比较。除了 mask AP、AP50 和 AP75，我还需要关注小目标表现、分类别指标、推理速度以及不同遮挡与距离条件下的定位误差。

蓝莓场景的特殊困难

• 果实小而密集，相邻实例边界不明显；
• 果粉和高光会导致深度空洞或异常值；
• 未熟、转色和成熟之间存在连续过渡，标签边界并不绝对；
• 被遮挡果实的可见区域不一定等于真实几何中心；
• 训练数据来自不同地点、光照和距离，需要防止划分泄漏。

当前研究判断

单纯“更换或轻微改进 YOLO 检测蓝莓成熟度”很难形成有说服力的研究贡献。更值得推进的是把问题绑定到采摘需求：利用实例 mask 提高深度估计稳定性，处理果粉高光造成的深度缺失，并研究遮挡条件下三维质心的校正。

现阶段这些内容仍属于研究方案，不应写成已经完成的成果。接下来需要用实际数据完成基线比较、消融实验和三维真值测量，才能判断哪一种方法真正有效。

下一步

• 核对 RGB-Depth 对齐、成熟度标签和数据划分；
• 统一复现 Mask R-CNN、YOLOv8-seg 与 YOLO11-seg 等基线；
• 建立遮挡、距离和光照分层测试集；
• 设计三维定位真值采集与手眼标定流程；
• 用定位误差和机械臂接近成功率验证方法价值。

这次整理让我更清楚地区分了“模型能识别”与“系统能采摘”之间的距离。感知模块最终需要服务于动作，而不是停留在一张带框的结果图上。

先明确相机要回答的问题

在真实种植环境中，我们需要验证五件事：RGB 图像能否看清果实；深度图在果粉、高光和边缘处是否稳定；模型能否区分未熟、转色和成熟蓝莓；遮挡、距离与光照会造成多大影响；采集结果能否形成可复用的数据集。

这使采集工作从“多拍照片”变成了有变量、有检查点的实验。

接入与对齐

相机通过 USB 3.0 连接，RGB 与深度流使用统一的分辨率和帧率。程序读取帧后，将深度图对齐到彩色图坐标系，并导出彩色相机内参、深度尺度和曝光等元数据。

对齐十分关键：如果 RGB 中的蓝莓轮廓和深度图中的位置不一致，后续即使实例分割准确，也会取得错误的深度值。

数据不只是两张图片

每个采集 session 同时记录以下条件：

这些元数据可以在模型评估时把错误按场景分层，而不是只报告一个总体指标。

深度质量检查

蓝莓表面的果粉与镜面反光可能造成深度空洞，果实边缘也容易出现混合像素。因此我不能直接取检测框中心的单点深度，而需要检查有效深度比例、空洞率和不同距离下的误差。

后续定位流程计划采用实例 mask 内的稳健统计，例如中值深度和离群点剔除，再结合相机内参将像素坐标反投影到三维坐标：

目录和备份同样属于实验设计

每一帧保存 color.png、16 位 depth.png、深度可视化图和 meta.json；全局保存相机内参与 dataset_index.csv。原始数据在采集当天完成检查与备份，后续清洗和标注只处理副本。

阶段认识

这次实践让我意识到，三维视觉项目的瓶颈往往不只是模型。相机参数、坐标对齐、现场变量、文件结构和真值测量共同决定了实验是否可信。只有先建立稳定的数据链路，后面的实例分割和机械臂定位才有可靠基础。

AnyLabeling：先隔离环境，再开始标注

我使用独立的 Conda 环境安装标注工具，避免把依赖直接装进 base 环境。基本流程包括创建环境、启动工具、加载自动标注模型、人工修正轮廓并保存 JSON。

conda create -n anylabeling python=3.10 -y
conda activate anylabeling
pip install anylabeling
anylabeling

自动标注可以减少重复操作，但不能代替人工检查。实例边界、遮挡区域、类别名称和漏标都会直接影响后续训练，因此我把“模型建议—人工修正—格式检查”看成一个完整标注流程。

AI 辅助开发：限定范围并保留验证步骤

在使用 VS Code 中的 AI 编程工具时，我逐渐形成了几个原则：先让工具阅读项目规则并提出计划；一次只处理一个小任务；明确允许修改的文件；完成后运行构建或测试；最后检查实际差异。

AI 可以帮助理解代码、生成脚手架和分析报错，但输出仍需要验证。尤其是路径、依赖版本、接口名称和运行命令，不能因为文字看起来完整就直接相信。

数据管理网站：把散乱文件变成可追踪的数据集

蓝莓项目中的 RGB、深度图、元数据和标注文件数量快速增长后，仅靠文件夹很难回答“哪些数据已检查”“哪些用于训练”“哪些是困难样本”。因此项目中建立了一个本地数据管理工具，用于：

• 扫描室内和室外 RGB-D session；
• 读取距离、光照、遮挡、成熟度和深度质量等字段；
• 浏览 RGB 图与深度可视化图；
• 管理质量状态、标注状态和论文分类标签；
• 导出 AnyLabeling 标注批次并校验回传 JSON；
• 汇总论文需要的统计表。

最重要的数据保护原则

原始数据应保持只读，清洗结果、导出副本、标注副本和数据库放在独立目录。这样即使筛选或导入流程出错，也能从原始数据重新生成结果。

阶段总结

工程工具的价值不在于安装了多少软件，而在于减少不可追踪的手工操作。独立环境、明确目录、固定类别顺序、批次清单、原始数据只读和可重复的检查命令，共同构成了比单次运行成功更重要的实验基础。

早期方案：先把感知与控制链路跑通

初期笔记围绕 K210/CanMV 展开。我把系统拆成颜色识别、串口通信、任务状态机和麦克纳姆轮底盘四部分，并先验证“摄像头发现目标—发送类别与偏差—底盘调整方向”这条最小链路。

这个原型的价值不是成为最终方案，而是帮助我们尽早发现接口问题：视觉端应该输出什么信息、STM32 如何判断一帧数据是否完整、搜索与跟踪状态怎样切换、底盘运动方向与图像偏差怎样对应。

最终方案：OpenMV + STM32F407

经过现场调试与方案比较，最终系统使用 OpenMV4 H7 Plus 完成颜色阈值分割、色块筛选和目标定位，STM32F407 负责底盘控制、任务状态切换与执行机构控制。

视觉模块输出目标类别、水平偏差和尺度信息；主控将其转换为底盘速度指令，再通过麦克纳姆轮逆运动学得到四个车轮的目标速度。编码器反馈和 PID 控制用于减小电机差异造成的跑偏。

状态机让复杂任务可调试

我将连续任务分成搜索、跟踪、接近、夹取或转运、返回搜索等状态。每个状态只处理有限条件，并规定清晰的进入和退出规则。这比把所有判断都堆在主循环中更容易定位问题，也方便单独测试视觉、底盘和夹取机构。

调试中真正困难的部分

• 摄像头画面中的左右偏差需要与底盘横移方向保持一致；
• 四轮编号、安装方向和运动学公式必须统一；
• 串口需要处理帧头、数据长度和异常数据，不能只读取单个字符；
• PID 参数要在实际负载下调整，空载结果不能直接代表比赛状态；
• 识别成功不等于任务成功，接近距离、对准精度和夹取动作必须一起验证。

项目反思

这次比赛让我第一次较完整地经历了从传感器输入到执行机构动作的系统联调。我学到的重点不只是 OpenMV 或 STM32 的某个函数，而是怎样定义模块边界、怎样用状态机组织任务，以及怎样通过逐层验证把一个复杂系统拆成可定位的问题。

查看项目详情与夹取演示

模拟退火：允许暂时走向更差的解

模拟退火从一个初始解出发，不断产生邻域解。新解更好时直接接受；新解更差时，仍以一定概率接受：

温度较高时，算法具有更强的探索能力；温度逐渐降低后，搜索趋于稳定。其关键参数包括初始温度、降温系数、每个温度下的迭代次数和终止温度。它实现简单、对小规模组合优化很实用，但冷却过快容易陷入局部最优，冷却过慢又会增加计算时间。

遗传算法：在种群中进行选择和变异

遗传算法同时维护一组候选解。每个候选解被编码为“个体”，再经历适应度评价、选择、交叉和变异。选择保留较好的方向，交叉组合已有信息，变异则维持种群多样性。

它适合连续或离散参数优化，也能处理没有显式梯度的黑盒目标函数。不过，种群规模、交叉概率和变异概率都会影响收敛速度；如果适应度设计不合理，算法可能优化了错误的目标。

蚁群算法：用信息素积累搜索经验

蚁群算法常用于路径与组合优化。蚂蚁从可行邻域中选择下一节点时，同时考虑边上的信息素浓度和局部启发信息：

较短路径会留下更多信息素，使后续搜索更倾向于优质路径；信息素挥发则避免历史经验无限累积。它与路径结构结合自然，但在节点很多时计算量较大，而且信息素过快集中会导致早熟收敛。

三种算法怎样选择

这次学习带来的认识

我最初把这些算法理解成可以直接套用的“高级工具”，后来意识到真正重要的是解的表示、邻域或生成规则、目标函数、约束处理和停止条件。算法名称并不能替代建模：只有先把问题表达正确，搜索过程得到的结果才有意义。

下一步我希望在同一组 TSP 数据上统一实现三种算法，记录最优值、平均值、运行时间和多次重复实验的方差，而不是只展示一次看起来不错的路径图。

GPIO：先理解引脚的工作方式

GPIO 是我接触 STM32 外设的起点。输出模式中，推挽输出可以主动输出高、低电平，适合 LED 和普通数字控制；开漏输出在输出高电平时呈高阻态，通常需要上拉电阻，便于多个器件共享信号线。

输入模式则需要根据电路状态选择上拉、下拉或浮空输入。学习过程中我逐渐意识到，CubeMX 里每个配置选项都对应真实的电路行为：如果输入端没有稳定的默认电平，程序读到的状态就可能随机变化。

HAL_GPIO_WritePin(GPIOC, GPIO_PIN_13, GPIO_PIN_RESET);
GPIO_PinState state = HAL_GPIO_ReadPin(GPIOA, GPIO_PIN_9);

中断：从轮询转向事件驱动

轮询适合最初验证功能，但 CPU 会不断检查状态。外部中断则让主程序继续执行其他任务，只有触发条件到来时才进入中断服务流程。

我在这一阶段重点理解了两组概念：

• EXTI 负责检测外部引脚事件；
• NVIC 负责管理中断使能和优先级。

抢占优先级决定一个中断能否打断另一个中断，响应优先级用于安排同一抢占级别下的执行顺序。优先级数值越小，代表优先级越高。

UART：适合点对点异步通信

UART 不需要额外时钟线，通信双方需要约定波特率、数据位、停止位和校验方式。硬件连接时 TX 与 RX 交叉，且两端必须共地。

HAL_UART_Transmit(&huart1, &tx_byte, 1, HAL_MAX_DELAY);
HAL_UART_Receive(&huart1, &rx_byte, 1, HAL_MAX_DELAY);

阻塞式收发适合调通链路，但在需要实时控制时，应进一步学习中断或 DMA 收发、数据帧设计、超时处理与校验机制。

I²C：用两根信号线连接多个器件

I²C 使用 SDA 和 SCL，两条线通常采用开漏结构并通过上拉电阻保持高电平。一次典型通信由起始条件、地址与读写位、应答、数据传输和停止条件组成。需要特别注意：地址后的读写位中，0 表示写，1 表示读。

与 UART 相比，I²C 更适合在同一电路板上连接多个低速外设，例如 OLED、传感器和存储器；UART 则更适合控制器之间或控制器与计算机之间的点对点通信。

阶段总结

这段学习让我建立了一个基本框架：GPIO 负责直接读写引脚，中断负责及时响应事件，UART 负责点对点通信，I²C 负责总线式外设连接。之后再接触编码器、电机驱动、摄像头或上位机时，我可以先判断它属于输入、输出、事件还是通信问题，再选择对应的外设和程序结构。