超越YOLO! RT-DETR 实时目标检测技术介绍

《博主简介》

小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~
👍感谢小伙伴们点赞、关注！

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称	项目名称
1.【人脸识别与管理系统开发】	2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】	4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】	6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】	8.【基于YOLOv8深度学习的行人跌倒检测系统】
9.【基于YOLOv8深度学习的PCB板缺陷检测系统】	10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统】
11.【基于YOLOv8深度学习的安全帽目标检测系统】	12.【基于YOLOv8深度学习的120种犬类检测与识别系统】
13.【基于YOLOv8深度学习的路面坑洞检测系统】	14.【基于YOLOv8深度学习的火焰烟雾检测系统】
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统】	16.【基于YOLOv8深度学习的舰船目标分类检测系统】
17.【基于YOLOv8深度学习的西红柿成熟度检测系统】	18.【基于YOLOv8深度学习的血细胞检测与计数系统】
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统】	20.【基于YOLOv8深度学习的水稻害虫检测与识别系统】
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统】	22.【基于YOLOv8深度学习的路面标志线检测与识别系统】
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统】	24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统】
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统】	26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统】
27.【基于YOLOv8深度学习的人脸面部表情识别系统】	28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统】
29.【基于YOLOv8深度学习的智能肺炎诊断系统】	30.【基于YOLOv8深度学习的葡萄簇目标检测系统】
31.【基于YOLOv8深度学习的100种中草药智能识别系统】	32.【基于YOLOv8深度学习的102种花卉智能识别系统】
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统】	34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统】
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统】	36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统】
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统】	38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统】
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统】	40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统】
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统】	42.【基于YOLOv8深度学习的无人机视角地面物体检测系统】
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统】	44.【基于YOLOv8深度学习的野外火焰烟雾检测系统】
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统】	46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统】	48.【车辆检测追踪与流量计数系统】
49.【行人检测追踪与双向流量计数系统】	50.【基于YOLOv8深度学习的反光衣检测与预警系统】
51.【危险区域人员闯入检测与报警系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

引言

在实时目标检测上，RT-DETR击败了YOLO。其核心改进如下：

实时设计模型（RT-DETR）基于两个步骤提出：专注于在提高速度的同时保持精度，然后在提高精度的同时保持速度。
高效的混合编码器旨在通过解耦尺度内相互作用和跨尺度融合来快速处理多尺度特征，以提高速度。
然后，提出不确定性最小查询选择，为解码器提供高质量的初始查询，从而提高精度;

1. YOLO存在的问题

非极大值抑制NMS的执行时间主要取决于检测框数和两个阈值。
随着置信度阈值的增加，更多的预测框被过滤掉，需要计算IoU的剩余框数减少，从而减少了NMS的执行时间。
另一个观察结果是，无锚探测器的性能优于基于锚的探测器，其精度与YOLO探测器相当，因为前者比后者需要更少的NMS时间。

2. RT-DETR介绍

2.1. 概述

主干 {S3，S4，S5} 最后三级的特征被输送到编码器中。
高效的混合编码器通过尺度内特征交互AIFI和跨尺度特征融合CCFF，将多尺度特征转化为一系列图像特征。
随后，采用不确定性最小查询选择来选择固定数量的编码器特征作为解码器的初始对象查询。
最后，带有辅助检测头的解码器迭代优化对象查询以生成类别和框。

2.2. 高效混合编码器

编码器占 GFLOP 的 49%，但在可变形 DETR 中仅贡献 11% 的 AP。需要优化的编码器设计。
A：DINO-Deformable-R50具有更小尺寸的数据编码器和更轻的解码器。
A → B：变体 B 将单尺度 Transformer 编码器插入 A，该编码器使用一层 Transformer 模块。多尺度要素共享编码器以进行尺度内特征交互，然后连接作为输出。
B → C：变体 C 引入了基于 B 的跨尺度特征融合，并将串联的特征输送到多尺度 Transformer 编码器中，以同时执行尺度内和跨尺度特征交互。
C → D：变体 D 通过前者使用单尺度 Transformer 编码器和后者使用 PANet 式结构，将尺度内相互作用和跨尺度融合解耦。

D → E：变体 E 采用了作者设计的高效混合编码器，增强了基于 D 的尺度内交互和跨尺度融合。

提出了基于注意力的尺度内特征交互（AIFI）和基于CNN的跨尺度特征融合（CCFF）2个组成部分

2.2.1. AIFI尺度内特征交互

具体而言，AIFI通过仅在S5上与单尺度Transformer编码器执行尺度内交互，进一步降低了基于变体D的计算成本。

在 S5 上使用 D 不仅可以显著降低延迟（提高 35%），还可以提高准确性（AP 提高 0.4%）。

2.2.2. CCFF跨尺度特征融合

融合块的作用是将两个相邻的尺度特征融合成一个新特征，如上所述。
使用两个 1 × 1 卷积来调整通道数，使用 N 个由 RepConv （RepVGG）组成的 RepBlock 进行特征融合，并通过逐元加法融合双路径输出。
混合编码器的配方如下：

2.3. 不确定性最小查询选择

基于DETR的先前工作使用置信度分数来选择查询的前K个特征，这导致所选特征具有相当大的不确定性，导致解码器的初始化次优。

特征不确定性 U 定义为定位 P 与分类 C 的预测分布之间的差异，并添加到损失函数中。

紫色和绿色点分别表示使用不确定性最小查询选择和普通查询选择训练的模型中的选定特征。

紫色的点集中在图的右上角，而绿色的点集中在右下角。这表明不确定性最小查询选择会产生更高质量的编码器特征。

2.4. 缩放的RT-DETR

具体来说，对于混合编码器，宽度通过调整嵌入尺寸和通道数来控制，深度通过调整 Transformer 层数和 RepBlock 来控制。
解码器的宽度和深度可以通过操作对象查询和解码器层的数量来控制。
此外，RT-DETR的速度支持通过调整解码器层数进行灵活调整。

3. 实验结果

3.1. SOTA比较

与YOLOv5-L / PP-YOLOE-L / YOLOv6-L相比，RT-DETR-R50将精度提高了4.1%/1.7%/0.3% AP，FPS提高了100.0%/14.9%/9.1%，参数数量减少了8.7%/19.2%/28.8%。
与YOLOv5-X / PP-YOLOE-X相比，RT-DETR-R101的准确率提高了3.6%/2.0%，FPS提高了72.1%/23.3%，参数数量减少了11.6%/22.4%。
与YOLOv7-L / YOLOv8-L相比，RT-DETR-R50将准确度提高了1.9%/0.2% AP，并将FPS提高了96.4%/52.1%。
与YOLOv7-X / YOLOv8-X相比，RT-DETR-R101将准确度提高了1.4%/0.4% AP，并将FPS提高了64.4%/48.0%。