Dropout은 유성 생식에서 영감을 받았다.

  • 무성 생식: 부모의 유전자를 약간 변형한 사본
  • 유성 생식: 부모들의 유전자 무작위 조합과 소량의 돌연변이 포함

무성 생식은 공적응된 유전자 조합을 그대로 자손에게 전달한다. 반면 유성 생식은 무작위 재조합되기 때문에 기존에 최적화되어 있던 조합이 깨질 가능성이 높다. 이렇게 보면 무성 생식이 더 최적화된 방식처럼 보일 수 있지만, 환경 변화에 대한 적응력은 상대적으로 떨어진다.

공적응이란 유전자나 뉴런들이 서로 상호작용하면서 최적화된 상태를 말한다.

이 개념은 AI에도 적용 가능하다. 특정 입력 데이터에 유닛 간 상호작용이 과도하게 최적화되면, 공적응된 무성 생식처럼 특정 상황에서는 잘 작동하지만 다른 입력에 대해서는 일반화되지 않아 오히려 성능이 떨어지는 과적합의 형태가 나타난다.

Dropout은 유성 생식처럼 무작위 유닛 제거를 통해 다양한 조합의 네트워크를 만들며, 이로 인해 유닛 간 의존도가 줄어들고 복잡한 공적응이 방지된다.

선행 연구들의 한계를 넘어서다.

Denoising Autoencoder(DAE)와 Dropout은 노이즈를 주입하여 일반화 성능을 높이는 정규화 기법이라는 점에서 유사하다. Dropout은 DAE를 확장했다고 볼 수 있다.

항목 DAE Dropout
노이즈 추가 위치 입력 유닛 입력 유닛, 은닉 유닛
노이즈 방식 수치적 노이즈( 가우시안, 마스킹 등 ) 구조적 노이즈( 확률적 유닛 제거 -> 0 마스킹 )
노이즈 강도 5% 입력 20%, 은닉 50%
노이즈 목표 손상된 입력 복원 과적합 방지

기존 노이즈 기반 정규화 기법들은 입력에만 노이즈를 추가하여 입력을 복원하는 비지도 학습에 주로 사용됐지만, Dropout은 은닉층에도 노이즈를 적용해 지도 학습에서도 효과를 보였다.

Dropout은 확률적 정규화 기법이지만, 마지널라이즈를 통해 결정론적 정규화 기법으로 해석할 수 있다.
기존 연구들도 기법에 대한 연구를 진행했지만 은닉층이 포함되지 않았다.

<다른 모델들에 대한 내용 넣기(논문에 있음)>

  • 확률적 정규화 기법: 무작위성(노이즈)를 직접 도입하는 방식
  • 결정론적 정규화 기법: 고정된 방식으로 정규화를 유도하는 방식
  • 노이즈 마지널라이즈: 확률적 정규화 기법을 수학적으로 평균 처리하여 결정론적 기법으로 해석하는 방식

베르누이 분포로 유닛을 선택한다.

  • 네트워크에 드롭아웃이 어떻게 적용되는지 식으로 확인할 수 있다.
  • 유닛의 제거 여부는 베르누이 분포로 샘플링한 마스크 벡터에 의해 결정된다.

<왜 베르누이 분포를 사용했을까?>

학습 시에는 손실 함수(loss function)의 도함수(gradient)를 이 하위 네트워크를 통해 역전파(backpropagation)한다.

테스트 시에는 드롭아웃을 사용하지 않고, 각 층의 가중치를 W⁽ˡ⁾ₜₑₛₜ = p·W⁽ˡ⁾ 형태로 스케일 조정하여 사용한다.