[WACV 2021] Data-free Knowledge Distillation for Object Detection
(Introduction)
Object detection task에 맞는 Data-free knowledge distillation을 위한 Deep Inversion for OD (DIODE)를 제안.
data-free 관점에서 DIODE는 pretrained detection network를 가지고 어떠한 prior domain 지식이나, pre-trained generator를 필요로 하지 않고 이미지를 합성하는 방법을 제안
(Related work)
- 데이터 분포를 확인하기 위해 이미지를 생성하는 과정에서 generator or adversarial training을 진행하지 않음
- BN레이어의 정보를 이용하여 deep feature 분포의 statistic 정보를 매칭하도록 이미지를 생성함.
- 이를 통해 학습 데이터와 비슷한 특징을 가진 이미지를 생성할 수 있음
- 하지만 이는 classifiercation networks에만 해당됨
(Propose method)
1) model inversion을 통해 pre-trained ob 모델을 통해 이미지를 합성 ( DIODE )
(특징)
- synthesize high quality images with localized and category conditioned objects from an pre-trained OD
- DeepInversion과 다른 점
(1) data augmentation 방법을 사용
(2) 대량의 이미지를 생성하기 위해 box sampling method를 사용
(3) 생성된 이미지에서 객체의 density를 확장하기 위해서 tiling 와 false positive aggregation 방법을 활용함.
--> 이를 통해 다양한 스케일과 위치정보를 가진 객체를 담고 있는 이미지를 생성할 수 있다고함.
(방법)
Step1. (H,W) 사이즈의 random noise로 초기화된 값을 이용하여 이미지 생성
- Y라벨은 K개의 boxes로 K_th 박스는 여섯개의 파라미터로 구성 (batch, bounding box category, bounding box coordinates).
- R_DI 이미지의 정확도를 위해 사용, 실제 이미지에 생성된 이미지가 수렴할 수 있도록 도움 (기존 DeepInversion에서 사용한 방법)
Step2. Bounding box sampling : target Y를 자동적으로 샘플링하는 bounding box sampling 전략을 제안
- data-free로 이 과정을 진행하기 위해서 다음과 같은 전략을 활용하여 bounding box를 sampling했음. 각 이미지당 하나씩 생성
- Object density를 위해 두가지 전략을 활용
(1) tiling strategy : multi-object image를 생성하기 위해, 하나의 라벨로 생성된 이미지를 다중으로 분할함.
(2) false positive prediction sampling : R_BN의 과정을 통해 y로 초기화된 객체 뿐만 아니라 그 객체와 관련된 context 객체를 생성. 따라서 이런 false positive object는 결국 detection loss를 minimzation하는 과정에서 suppressed 됨. 하지만 본 논문에서는 높은 confidence를 가지는 Y_FP 정보를 aggregate하여 teacher's datasets의 label space와 시멘틱적으로 연관을 가지도록함.
2) 합성 이미지를 통한 OD task-specific knowledge distillation method 제안 ( 본인 연구 과정에서는 크게 필요없음)
- enables us to distill the knowledge from an off-the-shelf detector into another by only accessing images
from a proxy dataset and without requiring its labels
(Experiments)
