No Limitation

오늘은 많은 SSL 방법에도 사용되는 distillation 방법에서 기본적으로 많이 사용되는 projection-head의 구체적인 역할에 대한 수학적 고찰과 normalization이 어떤 역할을 하는 지에 대해 구체적으로 살펴보고자 합니다. 본 포스팅의 내용은 아래 논문의 내용을 정리하는 데에 목적이 있습니다. 하지만 실험 내용까지 디테일하게 다루지는 않고 개념적인 부분을 위주로 정리할 예정입니다. 또한 본 논문이 주장하는 바를 조금 더 critic하게 분석한 개인적인 견해는 이태릭체로 표시해 놓았으니 혹시 잘못됬거나 이상한 부분이 있으면 댓글로 남겨주시면 너무 감사할 것 같습니다. Miles, R., & Mikolajczyk, K. (2024, March). Understanding the rol..