基于多摄像头的端到端肉鸡多目标自动跟踪方法DeepBroilerTrack

时间:2026年5月16日
来源:Smart Agricultural Technology

编辑推荐:

可靠的个体肉鸡跟踪对于商业禽类养殖场的大规模福利监测、行为分析和精准育种至关重要。多摄像头系统已出现,以应对遮挡、鸡群布局密集和外观高度相似性带来的挑战。然而,现有方法通常依赖于手工设计的关联启发式方法和级联式两阶段设计,这在拥挤和遮挡严重的环境中难以推广。为

广告
   X   

可靠的个体肉鸡跟踪对于商业禽类养殖场的大规模福利监测、行为分析和精准育种至关重要。多摄像头系统已出现,以应对遮挡、鸡群布局密集和外观高度相似性带来的挑战。然而,现有方法通常依赖于手工设计的关联启发式方法和级联式两阶段设计,这在拥挤和遮挡严重的环境中难以推广。为克服这些缺点,研究人员提出了DeepBroilerTrack,这是一种端到端的多摄像头跟踪框架,在鸟瞰图(Bird's-Eye View, BEV)表示内统一了早期特征融合。该方法利用了摄像头随机丢弃(camera-dropout)的数据增强策略以改善跨视图泛化能力,将多摄像头特征聚合到一个统一的BEV空间以实现鲁棒的检测和时间关联,并通过一个学习到的身份(ID)分配模块将BEV轨迹片段(tracklet)投影回各个视图,以在所有摄像头间保持身份一致性。在真实世界的肉鸡数据集上的实验表明,相较于现有的多摄像头基线方法,该方法在跟踪稳定性和身份一致性方面均有显著提升,为挑战性生产环境中的智能家禽管理提供了一种实用且可扩展的解决方案。
基于深度学习的多摄像头肉鸡自动跟踪研究进展与DeepBroilerTrack框架解读
一、 研究背景、问题与意义
现代肉鸡养殖是禽类生产的核心,关系到肉类供应增长以及可持续性、效率与动物福利目标的实现。实现这些目标不仅需要优化饲料和饲养条件,更需要选育健康、适应性强、性能优异的个体。虽然核心育种公司采用专门方法进行个体跟踪与选种,但商业肉鸡舍很少实施大规模的个体化监测。管理决策通常依赖于粗略的鸡群层面观察或对明显跛行、疾病的临时检查,这错失了改善活体性能、产量和整体福利的机会。若能对商业环境中的个体肉鸡进行连续跟踪,将可变革家禽管理。通过分析其运动模式和行为(如采食、饮水、休息和社交互动),生产者可以获得见解以微调饲养条件、优化资源分配,并及早发现应激或疾病的迹象。然而,在肉鸡舍中应用基于计算机视觉的多目标跟踪面临独特挑战:目标尺寸小、密度高、频繁遮挡以及个体间外观差异极小。
传统的多摄像头多目标跟踪(Multi-Camera Multi-Object Tracking, MCMOT)流水线通常遵循级联机制的两阶段设计,即先进行独立的单视图检测,然后在投影的BEV平面上通过启发式聚类关联不同视图的检测结果。尽管概念简单,但这些方法很脆弱:它们对校准误差和检测噪声敏感,其启发式分组策略在高密度、遮挡严重的场景中常常失败,导致跟踪不稳定和频繁的身份切换。这些局限性凸显了对一个更鲁棒、可扩展且完全可学习解决方案的需求,而无需大量的手动调参。为此,研究人员在《Smart Agricultural Technology》上发表了论文,提出了DeepBroilerTrack框架,旨在为商业禽舍中的自动化肉鸡跟踪提供一个可扩展、泛化性强的解决方案,在具有挑战性的生产条件下提供鲁棒性能,向精准畜牧业的实际部署迈近了一步。
二、 主要关键技术方法
本研究提出的DeepBroilerTrack框架包含八个核心模块,构成了一个端到端的处理流程。首先,输入的多摄像头图像序列经过图像增强模块,该模块采用了视图特定几何变换和随机摄像头丢弃策略,以提升模型对校准噪声、部分传感器故障和遮挡的鲁棒性。增强后的图像由图像编码器提取特征,并通过一个图像特征增强模块进行细化,该模块包含中心点、尺寸和偏移预测头,在透视域提供辅助监督。随后,利用相机标定参数(内参、外参和单应性矩阵),将各视图的细化特征通过逆透视映射投影到一个统一的鸟瞰图平面上,并在跨视图聚合模块中融合,形成全局BEV空间表示。此BEV特征图由一个U-Net-like的解码器处理,恢复空间分辨率并输出目标中心热图和偏移预测,经过非极大值抑制后得到BEV检测结果。这些检测结果在BEV跟踪模块中,基于改进的OC-SORT算法(仅利用运动信息,避免因外观相似导致的歧义)被赋予全局ID并进行时域关联,生成全局一致的BEV轨迹。同时,原始图像帧由一个独立的图像目标检测器处理,产生各摄像头的2D边界框检测。最后,通过ID分配模块,将BEV轨迹中心利用单应性矩阵反投影到各个摄像头视图,并与该视图的2D检测结果进行基于距离的匈牙利匹配,从而将全局ID分配给每个视图的2D边界框,最终输出跨所有摄像头身份一致的每视图轨迹。
三、 研究结果
3.1. 方法概述
研究人员提出了一个端到端的多摄像头多肉鸡跟踪框架,该框架利用早期融合的BEV表示,并引入了一种新颖的后向匹配策略,将基于BEV的轨迹片段投影回2D视图以恢复一致的身份。为增强鲁棒性,还集成了数据增强策略以改善空间扰动下的泛化能力。
3.2. 图像增强
为提升多摄像头框架的泛化能力,训练时采用了包含视图增强和摄像头丢弃两部分的数据增强策略。视图增强对每个输入摄像头帧应用不同的增强矩阵,包括缩放裁剪、仿射变换、水平和垂直翻转以及透视变形。摄像头丢弃则随机省略一个摄像头输入,并用另一个随机选择的摄像头数据及其标定参数替代,模拟视角缺失,减少对特定视点的过拟合。
3.3. 图像编码器
增强后的帧由特征编码器处理,提取具有语义信息的视觉特征。编码器经过调整,将图像下采样4倍,生成空间维度为H/4 × W/4、通道数为128的特征图,以平衡表征能力和定位保真度。
3.4. 图像特征增强
引入了一个辅助的图像分支头,直接对编码后的2D相机特征进行操作,通过三个轻量级头部(图像中心头、尺寸头、偏移头)在透视域提供互补监督,从而丰富了学习到的特征表示。
3.5. 跨视图聚合
提取各视图特征后,利用逆透视映射和相机标定参数,将特征图投影到共享的BEV平面上,实现空间一致的多视图融合。投影后的特征沿通道维度堆叠,并通过卷积层压缩,最终形成统一的BEV特征图。
3.6. BEV解码器
使用U-Net-like网络对BEV特征图进行解码,恢复空间分辨率并保留多尺度上下文信息。在解码后的BEV表示上附加两个轻量级检测头:中心热图头和偏移回归头,分别用焦点损失和L1回归损失进行监督,最终通过非极大值抑制和偏移校正得到精确的BEV目标位置。
3.7. BEV跟踪
在BEV空间中,围绕每个预测的目标中心构建固定大小的边界框。多肉鸡跟踪被建模为一个数据关联问题,采用改进的OC-SORT算法,但仅依赖运动信息(结合交并比和轨迹方向一致性计算运动成本),避免了因肉鸡外观高度相似而导致的外观线索不可靠问题。
3.8. 图像目标检测
为支持需要每视图定位的下游任务,框架集成了一个额外的图像目标检测模块,采用YOLOv11等轻量级实时检测器,输出每个视图中所有可见肉鸡的边界框及其置信度分数。
3.9. ID分配
为恢复每视图目标身份,将每个BEV轨迹中心利用单应性矩阵投影到每个相机视图,得到投影点。同时,将图像目标检测模块输出的边界框转换为其图像平面中心点,并过滤低置信度检测。通过计算投影点与检测中心点之间的欧氏距离,使用匈牙利算法进行最优匹配,从而将BEV的全局ID分配给对应的2D检测边界框,最终产生身份一致的每摄像头轨迹。
四、 讨论与结论
本研究提出并验证了DeepBroilerTrack,一个用于多摄像头肉鸡跟踪的端到端BEV早期融合框架。该方法的核心贡献在于:引入了基于BEV的早期融合框架,直接在统一空间域执行检测和身份分配,无需启发式事后聚类;开发了专用的摄像头级增强策略,包括视图特定几何变换和随机摄像头丢弃,以提升跨不同部署条件的鲁棒性和泛化性;设计了一种后向匹配机制,将基于BEV的身份传递到2D相机视图,实现一致的身份对齐边界框,以支持下游任务;在真实世界的多摄像头肉鸡跟踪数据上验证了该方法,证明其相较于现有的多摄像头基线方法,在跟踪稳定性和身份一致性方面有显著提升。
研究的结论是,通过消除脆弱的、手工设计的聚类启发式方法,利用早期多视图特征融合,并结合强有力、逼真的数据增强进行训练,DeepBroilerTrack为商业设施中的自动化肉鸡跟踪提供了一个可扩展、可泛化的解决方案。该方法在具有挑战性的生产条件下提供了鲁棒的性能,向精准畜牧业的实际部署迈进了一步。

生物通微信公众号
微信
新浪微博


生物通 版权所有