unsupervised Domain adaptation는 source와 tareget domain의 데이터셋을 동시에 이용하여 두도메인의 distribution을 alignment 합니다. 이렇게 uda를 위한 일반적인 network setting은 크게 다음과 같이 구분된다.
(1) Source와 Target mapping model을 어떤 것을 사용하는가
(2) 두 도메인의 mapping model이 서로 weight를 공유하는가 공유하지 않는가
(3) alignment를 위해 어떤 목적함수를 사용하는가
Problem with UDA
하지만 일잔적인 UDA의 setting에서 source data에 접근하기 어려운 다음과 같은 상황들이 존재한다.
(1) 프라이버시나 보안 문제가 있는 데이터인 경우
(2) 데이터가 video나 high resolution처럼 대용량 데이터인 경우
Source free with UDA
최근 da연구에서는 이런 setting을 source free UDA로 부릅니다. 이렇게 source data에 접근할 수 없어 source distribution을 모르는 상황에서 source model의 정보를 활용하여 라벨이 없는 target domain에서도 classification 과 같은 task를 잘할 수 있도록하는 것이 목표입니다.
Comparison with Other transfer learningDomain adpatation을 포함한 다른 transfer learning 방식과 source-free 방식을 비교해서 간단히 설명하면. (a)는 일반적인 transfer learning으로 source, target 데이터와 라벨에 모두 접근할 수 있는 경우. (b) a와 비슷하게 target domain의 데이터와 라벨을 모두 사용할 수 있지만, source-free와 동일하게 source data를 학습한 모델에만 접근할 수 있는 경우로 본 연구 분야를 hypothesis transfer learning이라 부른다. (c) 기본적인 domain adaptation setting으로 target의 경우 label이 없고, domain adaptation 단계에서 source에 접근이 가능. (d) source free setting으로 앞선 hypothesis transfer learning 보다 더 하드한 케이스라고 볼 수 있음.
UDA 셋팅에서 source-free와 비슷한 형태의 학습 방식으로 사용하는 논문인 ADDA는 기존 연구들이 source와 target da를 end-to-end 형태로 학습을 진행했다면, 본 논문은 sequential 하게 source data를 활용하여 pretrained를 한 다음 target domain과의 domain gap을 줄이기 위해 gan loss function을 활용하여 domain adaptation을 하는 방식을 진행합니다.
기존 Gradient reversarl layer를 이용하여 학습하는 방식은 하나의 encoder를 이용하여 서로 shared한 feature map을 형성하는 반면, 해당 ADDA는 각 도메인의 encoder를 구성하여 학습을 진행하게 됩니다. 최종적으로 학습된 target encoder에서 생성된 feature map을 task classifier에다가 대입을 하여 분류를 하게 됩니다. source free task 역시 source model의 파라미터에만 접근할 수 있기 때문에 기존에 하나의 encoder를 사용하여 서로 shared하는 feature map을 생성하는 것이 아닌, adda와 비슷하게 각 도메인의 encoder를 구성하여 학습을 진행하게 됩니다.
하지만 ADDA와 source-free task의 가장 큰 차이점은 adaptation method로 adda는 adaptation 과정에서 GAN loss를 사용했습니다. 즉, source와 target을 구분하는 discriminator가 존재했지만 source free의 경우 source data에 접근할 수 없기 때문에 domain classifier, domain discriminator를 적용할 수 없습니다.
