DarkNet 시리즈 - YOLOv1

YOLOv1

• Paper : https://arxiv.org/abs/1506.02640

Object Detection에 대한 새로운 접근법(one stage object detection) YOLO(You Only Look Once)가 처음 제안된 논문입니다.

• 통합된 구조(bounding box + class probability)를 가지기 때문에 빠릅니다.
• 45 FPS / 155 FPS(Fast)

Unified Detection

• S x S grid (S = 7)
• B(num of bounding box) = 2

\[Confidence Score : Pr(Object) * IOU^{truth}_{pred}\]

• C(num of class) = 20

\[Confidence Class probability : Pr(Class_i | Object)\]

• output tensor : 7 x 7 x (B x 5(x, y, w, h, confidence) + C)
• test time

\[Pr(Class_i | Object) * Pr(Object) * IOU^{truth}_{pred} = Pr(Class_i) * IOU^{truth}_{pred}\]

Network Design

• GoogLeNet 기반 모델
• Convolution Layer : 24개, 9개(Fast)
• Fully Connected Layer : 2개

Loss Function

• \(i\) : Object가 존재하는 Grid Cell
• \(j\) : Predictor Bounding Box
• \(1^{obj}_{i, j}\) : Object가 존재하는 경우 grid cell의 predictor bounding box
• \(1^{noobj}_{i, j}\) : Object가 존재하지 않는 경우 grid cell의 predictor bounding box
• \(1^{obj}_{i}\) : Object가 존재하는 경우 grid cell

이미지 대부분에는 object가 없을 것이고 confidence는 전부 0으로 수렴하려고 할 것 입니다. 그로 인해 발생되는 gradient가 너무 커지는 현상을 막아주기 위해서 추가 parameter를 사용합니다.

• \(\lambda_{coord}\) : x, y, w, h loss의 균형을 위한 parameter. (defalut : 5)
• \(\lambda_{noobj}\) : object loss의 균형을 위한 parameter. (defalut : 0.5)

1. x, y의 loss를 구합니다.
2. w, h의 loss를 구합니다. (가로, 세로의 제곱근을 예측합니다.)
3. confidence score의 loss를 구합니다. (\(C_i = 1\))
4. confidence score의 loss를 구합니다. (\(C_i = 0\))
5. conditional class probability의 loss를 구합니다.

Training

• ImageNet 1000-class competition dataset으로 20개의 convolution layer, avg pooling layer, fully connected layer를 가진 모델에 pretraining 합니다. 합니다.
• randomly initialized weights를 가지는 4개의 convolution layer와 2개의 fully connected layer를 추가합니다.
• 세부적인 시각정보를 위해 해상도를 224 x 224에서 448 x 448로 늘렸습니다.
• bounding box의 폭과 높이를 정규화(0 ~ 1) 하였습니다.
• 마지막 Layer에 linear activation function을 사용하였고 나머지 다른 layer에는 leaky relu를 사용합니다.

parameters

• epoch : 135
• batch : 64
• momentum : 0.9
• weight decay : 0.0005
• learning rate : 0.001 -> 0.01 -> 0.001 -> 0.0001
  • 75 epoch : 0.01
  • 30 epoch : 0.001
  • 30 epoch : 0.0001
• dropout rate : 0.5
• data augmentation
  • random scaling
  • HSV 색상 공간에서 최대 1.5배 까지 exposure과 saturation을 임의로 조정합니다.

Inference

• one stage라서 매우 빠릅니다.
• 이미지당 98개의 bounding box와 각 box에 대한 class probability를 예측합니다.
• 각 object당 하나의 bounding box로 예측한다.
• 큰 object나 여러개의 셀의 테두리에 근처에 있는 물체는 예측하기 어렵습니다. NMS로 해결할 수 있지만 R-CNN 만큼 성능에 크게 영향을 미치지는 않습니다.

Limitation

• Small Object가 모여 있으면 잘 검출하지 못합니다.
• Localization Error가 높습니다.

Benchmark

• Yolo는 빠르고 강력합니다.
• Yolo 이전에 사용된 real time object detection 보다 성능이 좋습니다.

• Yolo가 Fast-RCNN 보다 Localization Error가 좋지 않습니다.
• Yolo가 Fast-RCNN 보다 Background Error가 좋습니다.

• Yolo와 Fast-RCNN을 결합해서 사용하면 좋습니다.

• 클래스 별로 정확도를 비교한 표 입니다.