Object Detection (RCNN,The Way to Endtoend)

一、背景及意义（动机）

nms是目标检测pipeline的一个组成部分。它首先按照候选目标的score，对候选目标进行排序；然后根据预定义的阈值，过滤掉与最大score候选目标的IOU大于该阈值的候选目标；接着重新选择一个新的最大score目标来过滤其它候选目标；重复这个过程直到没有可过滤的候选目标。在这个过程中如果存在一个真实的目标与最大score的候选目标的IOU大于预定义的阈值的情况，那么这个真实的目标就会被过滤掉，如Fig1。为了解决这个问题作者提出了soft-NMS方法，该方法不会直接将候选目标的score设置为0从而将目标直接过滤掉，而是根据最大score的候选目标与其它候选目标的IOU来对其它候选目标的score进行调整。soft-nms使用一个关于IOU的单调递减函数来调整score，该函数在当IOU很大的时候，可以将候选目标的score调整到比较低，而当IOU很小的时候则保持不变。通过将nms替换为soft-nms，R-FCN和Faster RCNN目标检测方法在PASCAL VOC2007和MS-COCO目标检测任务上的性能都得到了一致的提高。在使用最先进的目标检测方法Deformable-RFCN的情况下，soft-nms将目标检测的性能从39.8%提高到40.9%。而且，soft-nms的计算复杂度与原来的是一样的，也不需要额外的训练并且实现简单，所以该方法可以应用到任何目标检测方法中。
代码:http://bit.ly/2nJLNMu

二、使用什么方法来解决问题（创新点）

1. 由于传统的nms在过滤掉冗余的候选目标的时候，可能把真实的目标也过滤掉，为了减少这种情况，从而提高mAP，作者提出了soft-nms方法，该方法会应用关于IOU的递减函数，重新对候选目标的score进行调整，而不是直接过滤。

三、方法介绍

当前评估目标检测的性能主要采用在不同IOU阈值下的AP作为评估准则。在使用这种评估方式的情况下，当使用一个较低的iou阈值来进行nms抑制，并使用一个较高的iou阈值来匹配grouth truth的时候，会出现较多实际上命中目标的候选框被nms抑制过滤掉的情况，从而带来较大的miss-rate而使得AP下降；而当使用一个较高的iou阈值来进行nms抑制，则会带来较多的假阳，这种情况下虽然召回高但是假阳更高，为此也会导致最终AP下降。为了应对传统nms中存在的这些问题。作者重新审视了传统的nms方法，并提出了对其的改进方式。
原本的nms可以写成如下一个对score进行重排序的函数：

这里的$s_i$表示当前bbox的score，$N_t$表示IOU阈值，$M$表示最大score的bbox，$b_i$表示当前的bbox。在使用原本的nms方法过滤冗余目标的时候，阈值太高或者太低都会带来mAP的下降。所以nms应该将以下几个约束考虑进来：

1. 临近的候选目标的分数应被降低到一定程度，以使它们增加假阳性率的可能性较小，并且要使在已排序的检测列表中真实候选的得分明显高于假阳。
2. 用一个低的NMS阈值移除掉相邻的检测并不是最优的，它会导致在使用一个较高的IOU阈值来判断候选目标是否匹配上真实目标的情况下，漏检率的增加。
3. 当使用一个高的NMS阈值的时候，则对待来更多的假阳而使得各个阈值下的AP的下降。

soft-nms可以写成如下一个重排序函数：

soft-nms会对iou大于NMS阈值的候选目标的得分进行线性的衰减，而不是直接过滤。但是上面这个函数并不连续，这会使得当达到nms阈值$N_t$的时候，候选列表发生剧烈变化。为此作者使用一个高斯惩罚函数替代上面的函数：

这个更新规则会被应用到各个迭代，并且会更新所有除当前最高得分的候选目标外余下的候选目标。Fig2给出了soft-nms的整个流程。

四、实验结果及重要结论

Table1给出了soft-nms和传统的nms在MS-COCO数据集下的效果。从Table1可以看出soft-nms要优于传统的nms方法。

Table2给出了soft-nms和传统的nms在Pascal VOC 2007数据集下的效果。从Table2可以看出soft-nms要优于传统的nms方法。也可以进一步验证soft-nms的泛化能力。

在Fig6中作者分析了不同类别目标的增益情况，可以看到增益最大的是那些经常多个目标同时出现的类别，比如各种动物，而增益较少的则是那些很少有多个共同目标出现的类别。

Fig4给出了不同的超参设置下，soft-nms和传统的nms在MS-COCO minival数据集下的效果。从Fig4可以看出，传统的nms的$N_t$在0.3到0.6的范围内较稳定，而soft-nms的$\sigma$则是在0.4到0.7的范围内比较稳定，在$\sigma$为0.1到0.7的范围内soft-nms都要比传统的nms要好。在作者的实验中，将$\sigma$设置为0.5。

Table3给出了不同的超参设置以及不同阈值设置下的性能变化情况。从Table3可以看出，为了获取更加精确的定位，可以将soft-nms的$\sigma$和匹配阈值都提高就可以了，但是传统的nms则不行。传统的nms提高很小并且会导致在匹配阈值很小的情况下效果很差；而soft-nms提高较多，并且对其它匹配阈值的影响较小。

Figure5给出了soft-nms和nms在不同的匹配阈值下精度和召回的变化情况。从Figure5可以看出，在相同召回下，soft-nms要比nms精度要高，并且随着匹配阈值的增加soft-nms提高的精度更多。

---

转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 524813168@qq.com