基于人工智能（AI）的动物行为监测系统的开发受限于标注数据的稀缺性，尤其是在行为模式复杂且不确定的真实农场环境中。本研究系统性地比较了在商业农场条件下采集的视频数据中检测猪只采食和饮水行为的替代性学习框架。这些行为的显著变化已被证明与猪只的健康和福利挑战相关。研究人员首先评估了直接在视频帧上训练用于识别行为事件的YOLO（You Only Look Once）目标检测器。接着，评估了基于特征的视频分析方法，这些方法利用从轨迹和边界框（bounding boxes）派生的特征作为行为证据，并将传统的机器学习分类器与新颖的Dempster–Shafer（DS）证据推理框架进行比较。后者整合不确定证据，以减轻有限标注数据的影响。结果表明，在数据稀缺和不确定的条件下，证据推理方法在行为检测方面实现了优于经典机器学习模型的性能，而目标检测器则表现出有限的泛化能力。在真实的农场数据集上，Dempster–Shafer证据推理实现了综合行为检测F1-分数（F1-score）0.87，超越了支持向量机（SVM）的F1-分数0.83和基于YOLO的目标检测器的F1-分数0.70。这些发现表明，基于Dempster–Shafer组合的方法为在可变农场环境中进行AI驱动的动物行为分析提供了一种稳健的替代方案，从而增强了精准畜牧业（Precision Livestock）监测系统的可扩展性和可靠性。
精准畜牧业（Precision Livestock Farming）中猪只行为的自动化监测具有重要意义，因为在集约化饲养条件下，猪只可能面临各种管理挑战，而采食、饮水等行为的变化可作为其健康状况的指标。尽管兽医和农场工作人员可以监测猪只的性能、健康与福利，但此类检查劳动密集且耗时，尤其在大规模农场中不切实际。相比之下，自动化牲畜行为监测无需额外人工成本，可实现个体动物健康、福利问题以及环境或管理挑战的早期检测，从而辅助养殖者做出明智决策并采取行动。近年来，深度学习方法的普及使得基于摄像头的视频分析能够监测某些动物行为。基于摄像头的深度学习监控为猪只行为监测提供了一种低成本、非侵入式的解决方案，无需在猪只身上附着传感器。此类方法已被用于评估圈养猪只群体的健康状况和福利，并可与多目标跟踪结合，直接识别具有健康和福利问题的个体猪只。
然而，此类方法的实际应用面临若干挑战。其中包括缺乏大型、特定领域的、标注的动物行为数据集，这些数据需要专家标注，制作过程费力且昂贵。可用数据集的小规模可能降低深度学习模型的泛化潜力。此外，猪只行为多样、具有情境特异性且表现出显著变化，这意味着由于行为的复杂性以及多变的环境或情境因素的影响，收集的证据可能不一致或不精确。因此，对于深度学习方法而言，在现实农场环境中（如与猪只老化相关的外观变化、个体间外观相似性等）从其他可变性中解析出与行为相关的细微线索仍然具有挑战性。鉴于上述挑战，研究人员预期在现实设置下，特别是实践中通常仅有有限标注训练数据可用的情况下，基于视频的猪只行为检测方法的性能会存在显著差异。因此，研究人员提出在有限标注训练数据下，比较用于自动监测猪只行为的经典方法，并将其与用于同一目的的新型证据推理方法进行对比。
本研究的假设是：在给定有限标注训练数据的现实农场环境中，用于检测猪只采食和饮水行为的视频基方法之间存在显著的性能差异。Dempster-Shafer证据推理可用于有限数据机制下可靠地检测猪只行为。经典机器学习和基于Dempster-Shafer组合的方法使用相似的特征进行猪只采食和饮水检测。为验证这些假设，研究人员系统地比较了三种方法：直接应用目标检测器于输入视频（A）；应用视频分析方法提取特征，然后传递给经典机器学习方法（B）；以及应用视频分析方法提取特征，然后传递给Dempster-Shafer证据推理系统（C）。研究人员使用了来自真实农场环境的单摄像头数据集，该数据集仅包含每种行为的有限数量训练示例，并且每个序列内的环境变异性有限。研究聚焦于检测采食和饮水行为，因为它们从健康和福利监测的角度来看很重要，并且可以通过视觉检测，适合自动化监测。
研究人员使用了三个关键数据集。一是“头部和尾部数据集”，用于训练头部和尾部检测器，包含2502张训练图像和279张验证图像，标注了每头猪的身体、头部和尾部轴对齐边界框。二是“猪体检测数据集”，用于训练猪检测器，包含7269帧图像，标注了66,496个猪体，提供了定向边界框。三是“猪行为数据集”，用于训练和评估猪行为检测及跟踪器评估，包含四个视频（共5320帧），每个猪的边界框由动物行为专家标注了全局一致的猪ID标签以及每帧的采食或饮水状态。该数据集采食和饮水事件数量有限，且序列间存在不平衡。
研究方法包括三种行为检测途径。首先是基于目标检测器的行为检测，通过微调预训练的YOLOv8x-obb模型，直接在视频帧上检测采食和饮水行为。其次是基于视频分析的行为检测，该方法首先通过YOLOv8x-obb模型检测和跟踪所有猪只及其头部、尾部，生成轨迹。然后，使用贪婪匹配算法或改进的Jonker-Volgenant算法将头部和尾部轨迹与相应的身体轨迹关联。接着，从边界框和轨迹中提取行为指示性特征，包括“头部是否存在”、“面积交集”、“边界框纵横比”、“方向”和“圆形交集”。这些特征随后被输入到两种不同的证据组合框架中进行行为检测。
在证据组合方面，研究人员比较了两种方法。一是经典机器学习方法，包括随机森林、多层感知机和支持向量机，使用从视频分析中提取的上述特征集进行帧级检测。二是基于Dempster-Shafer的证据推理方法，该方法为每个特征设置阈值，当达到阈值时创建基本概率分配，表示该特征对采食或饮水分类的贡献概率，然后使用Dempster-Shafer组合规则结合这些基本概率分配。该方法还通过遗传算法优化超参数，以最大化训练折叠上采食和饮水检测的F1 -分数。作为比较基线，还使用了贝叶斯DS组合方法。
研究进行了详尽的实验以评估各个组件和整体行为检测方法的性能。首先评估了猪只及身体部位检测器的性能，YOLOv8x-obb检测器在头部、尾部和身体检测上均表现出高精度、高召回率和高mAP。其次，评估了跟踪器性能，在多目标跟踪准确度、召回率、精度和IDF1指标上均表现良好。第三，评估了身体部位关联方法的性能，改进的Jonker-Volgenant算法在单帧模式下为头部和尾部轨迹关联提供了最高的F1 -分数，因此在后续实验中被采用。
在行为检测方法的具体比较中，基于目标检测的方法评估了YOLOv8系列不同架构（x, l, m, s, n）的性能，YOLOv8m-obb在综合表现和平均精度上被选为最佳，用于后续比较。基于经典机器学习的方法比较了随机森林、多层感知机和支持向量机，其中支持向量机取得了最高的综合F1 -分数。基于证据推理的方法比较了Dempster-Shafer组合、Dubois-Prade组合和贝叶斯DS组合规则，其中贝叶斯DS组合取得了最高的综合F1 -分数。
综合比较显示，贝叶斯DS组合方法在采食和饮水检测的整体F1 -分数上表现最佳，达到0.87。支持向量机的F1 -分数为0.83。而基于YOLO的目标检测方法表现显著较差，整体F1 -分数为0.70。贝叶斯DS组合的优势在于其即使在训练数据有限、且底层特征检测器存在错误（如视频四中头部和尾部检测混淆导致特征计算错误）的情况下，仍能可靠地检测行为。相比之下，目标检测器在训练和验证猪栏布局相似时对采食行为检测表现良好，但在涉及未见过的猪栏布局（特别是饮水行为检测）时失败。基于视频分析的方法在两种行为和所有验证折叠上表现出更一致的性能。
在事件级行为检测评估中，贝叶斯DS组合模型通常表现最佳，能够可靠地检测所有视频中的事件。当训练数据量变化时，贝叶斯DS组合和SVM在数据量减少时性能下降较为平缓，而YOLOv8m-obb的性能则急剧下降，突显了在数据稀缺条件下基于特征的方法相对于端到端深度学习方法的鲁棒性优势。
通过LIME可解释AI框架进行的特征重要性分析表明，SVM和贝叶斯DS组合方法都严重依赖于“头部存在”和“面积交集”特征来检测采食行为，而“方向”和“圆形交集”特征对饮水行为检测更为重要。这表明两种方法收敛于一组相似的可解释特征，增强了检测器在现实设置中泛化的信心。此外，与使用原始边界框数据训练模型相比，使用工程特征训练的模型性能更优，验证了特征工程的价值。
研究结果表明，在有限标注数据和不确定条件下，基于Dempster-Shafer证据推理的视频分析方法在检测猪只采食和饮水行为方面优于经典机器学习方法和直接基于目标检测的方法。证据推理框架通过整合专家知识与低级视频分析特征，能够补偿有限训练数据的影响，并在特征源容易出错时优于经典机器学习方法。研究人员证实了不同方法在相同条件下使用相似的特征集，并通过可解释AI分析验证了这些特征的人类可理解性。这项研究为在可变农场环境中进行AI驱动的动物行为分析提供了一种稳健的替代方案，从而有助于增强精准畜牧业监测系统的可扩展性和可靠性。论文发表在《Smart Agricultural Technology》期刊上。
打赏
