VarifocalNet: An IoU-aware Dense Object Detector
Introduction
本篇文章的贡献:
1、提出了IACS(IoU-aware classification),准确地对候选检测进行排名(得分)对于高性能密集对象检测器至关重要,并且 IACS 比其他方法获得了更好的排名
2、提出了新的loss Varifocal Loss
3、设计了一个星形表示方式,其实就是自行算偏差后使用deconv
4、提出了VFNet
Motivation
作者一开始就是拿FCOS+ATSS去做实验:
首先将分支预测的种类得分向量只要是处在相应gt的内部的feature point得到的就设置成1或者是预测bbox和gt的IoU.(但是上述表格貌似并没有揭示这个实验数据)
商标的实验数据主要有,将cxenterness分支的用gt_center,gt_center_iou代替,但是返现效果却只能涨几个点(有gt介入却只能涨一些是不符合常识的)
当gt_bbox介入后从实验数据可以看出,有没有centerness不会有太大的差距
但是上述都不算是最重点,最为重点的是当将分类的分数替换成iou之后,点数暴涨,所以这里其实可以从侧面看出最为关键的问题其实还是回归最好和得分最高并不是同一个点做出来的。
VarifocalNet
4.1. IACS – IoU-Aware Classification Score
$$
VFL(p,q)=−q(qlog(p)+(1−q) log(1−p) ),q>0\
VFL(p,q)=−αp^γ log(1−p),q=0
$$
其中p是预测的IACS,q是真值,对于前景点来说q就是IoU,对于背景点来说就是0,相较于focalloss来说这种loss对于前后背景的分类是不平等的,前景权重很可能会更大一点,所以还是需要调节参数来平衡一下
4.3. Star-Shaped Box Feature Representation
除此之外,按照focal loss的方式预测完了4个参数,取周围九个点映射回feature map计算偏差,当作deconv的偏差
4.4. Bounding Box Refinement
如上图所示,经过deconv的特征图还需要再预测四个参数的尺度参数将其与原参数进行相乘,最终得到四个参数。
4.6. Loss Function and Inference
$$
Loss=1/N_{pos} ∑i∑_cVFL(p(c,i),q_(c,i) ) \+λ_0/N_{pos} ∑iq{c^∗,i} L_{box} (bbox_i^′,bbox_i^∗)+\λ_1/N_{pos} ∑iq{c^∗,1} L_{bbox} (bbox_i,bbox_i^∗)
$$