No Limitation

오늘은 많은 SSL 방법에도 사용되는 distillation 방법에서 기본적으로 많이 사용되는 projection-head의 구체적인 역할에 대한 수학적 고찰과 normalization이 어떤 역할을 하는 지에 대해 구체적으로 살펴보고자 합니다. 본 포스팅의 내용은 아래 논문의 내용을 정리하는 데에 목적이 있습니다. 하지만 실험 내용까지 디테일하게 다루지는 않고 개념적인 부분을 위주로 정리할 예정입니다. 또한 본 논문이 주장하는 바를 조금 더 critic하게 분석한 개인적인 견해는 이태릭체로 표시해 놓았으니 혹시 잘못됬거나 이상한 부분이 있으면 댓글로 남겨주시면 너무 감사할 것 같습니다. Miles, R., & Mikolajczyk, K. (2024, March). Understanding the rol..

본 포스팅은 분포 거리를 근사할 때 많이 활용되는 KL Divergence와 그것의 한계를 극복하기 위한 다양한 거리 측정 방법의 개념을 다루고자 합니다. 특별히 JS Divergence와 Wasserstein Distance의 경우 GAN 포스팅에서도 다루었기 때문에 참고하시면 도움이 될 것 같습니다.https://yscho.tistory.com/106 KL Divergence (Kullback-Leibler Divergence)KL Divergence를 들어가기 전에 먼저 정보 이론을 이해할 필요가 있다. 데이터의 확률 분포를 $P$ 라고 할 때, 어떤 사건 $x$ 에 대한 발생 확률을 $P(x)$ 라고 한다면, 정보 이론에서는 이 사건을 통해 얻을 수 있는 정보량을 $ - \log P(x) $로 ..

참고 포스팅 :https://angeloyeo.github.io/2021/02/08/GMM_and_EM.htmlhttps://untitledtblog.tistory.com/133 GMM을 이해하기 전에 우선적으로 먼저 이해해야하는 것이 바로 Maximum likelihood (최대우도법) 개념이다. 우리는 특정 데이터가 있고 label이 있는 경우, 그 데이터들이 가지는 분포를 추적할 수 있는데, 예를 들어 아래와 같이 빨간색 데이터와 파란색 데이터가 있을 때 저 높이 값이 최대가 되게 하는 분포를 찾을 수 있다.다음 두 그림을 보면, 위쪽과 아래쪽을 비교했을 때, 아래쪽이 보다 데이터의 특성을 잘 반영하는 분포를 찾았다고 할 수 있다. 즉, 저 오른쪽의 수식 값 (높이)이 더 큰 것이다. 즉 더 높이가..

본 포스팅은 미시건 EECS 498-007 Deep learning for Computer Vision 강의를 참고하여 작성되었습니다. https://www.youtube.com/watch?v=lGbQlr1Ts7w&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=10 딥러닝을 이용하여 학습을 수행하기 전에 조치를 해줘야 하는 요소들이 존재합니다. 대표적인 것으로는 - 활성화 함수 - 가중치 초기화 - 규제화 세 가지를 들 수 있습니다. 최근 딥러닝 모형을 사용한다고 하면 반드시 사용되는 기술들이기 때문에 개념에 대한 명확한 정의가 필요합니다. 물론 요새는 활성화함수로는 거의 ReLU를 사용하고 가중치 초기화도 Xavier나 He 초기화를 사용하는 것이 국룰(?)이 됬지만..

본 포스팅은 카이스트 주재걸 교수님의 '컴퓨터 비전을 위한 심층학습' 수업의 과제 일부를 수행한 결과를 포스팅으로 정리한 것입니다. 익숙한 convolution 연산에 대해 조금 더 심층적으로 들어가기 위해 MNIST 데이터셋으로 먼저 간단한 네트워크를 구축을 시도하였습니다. 정확도는 97% 이상이 나오는 것을 타겟으로 네트워크 디자인을 시도하였습니다. 대부분의 CNN 계열의 네트워크들은 대개 다음과 같은 논리를 많이 사용합니다. Convolution -> Batch Normalization -> ReLU activation -> Max Pooling 다음 순서로 디자인이 되는 경우고 각각의 instance는 매우 중요한 역할을 수행합니다. Convolution 우선 convolution 연산은 이미지를..

많이 사용하는 convolution 연산이지만 조금 더 개념적으로 다루어보고자 블로그 글을 정리합니다. Justin Johnson 교수님의 미시건 강의 'Deep Learning for computer vision Lecture 7'을 참고하였고 JINSOL KIM님의 블로그 포스팅 (https://gaussian37.github.io/dl-pytorch-conv2d/) 을 참고하였습니다. 일반적으로 convolution 연산을 공부하는데 필요한 개념적인 부분 ( 필터, stride, padding 등등의 개념은 정리하지 않겠습니다. )을 안다는 가정하에 포스팅을 작성하였습니다. 아래 그림과 같이 input과 stride, padding과 filter 사이즈가 주어졌다고 가정해보겠습니다. Input의 채..

본 포스팅은 카이스트 데이터사이언스 대학원 박찬영 교수님의 '지식서비스를 위한 기계학습' 강의 자료를 바탕으로 제작되었습니다. 이 외에도 다양한 책과 블로그들을 참고하였습니다. Reference는 포스팅 마지막 부분에 추가하겠습니다. 모두 너무 좋은 글들이니 참고하시면 좋을 거 같습니다. 시작하며, 최근 딥러닝 이론 공부를 많이 미루고 있다가, 최근 영상을 다루는 영역을 연구하면서 자연스럽게 따라오는 친구들인 sequence modeling에 대해 다시 공부할 기회를 갖게 되었습니다. 이전에 공부한 영역이지만 자연스레 잊히면서 정리의 필요성을 느끼게 되었고 이번에 감사하게도 정리하게 되었네요. 이번 포스팅은 Sequence Model의 기본이 되는 Recurrent Neural Net (RNN)을 기반으..

본 포스팅은 개인 학습용으로 작성되었고 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드' 강의 내용을 참고하였습니다. 이번 포스팅은 One-stage Detector의 강력한 성능을 자랑하는 RetinaNet과 다양한 속도와 성능을 개선한 아키텍처들을 제안하는 EfficientDet에 대해 정리해보고자 합니다. 먼저 RetinaNet부터 살펴보겠습니다. RetinaNet 원 논문 링크 : https://openaccess.thecvf.com/content_iccv_2017/html/Lin_Focal_Loss_for_ICCV_2017_paper.html Lin, T. Y., Goyal, P., Girshick, R., He, K., & Dollár, P. (2017). Focal loss for dense ..

본 포스팅은 개인 학습용으로 작성되었고 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드' 강의 내용을 참고하였습니다. 이번 포스팅에서는 Object Detection task에서 One-stage Detector의 대명사인 YOLO - v1,v2,v3와 SSD에 대해 공부해보겠습니다. 앞서 배운 RCNN 계열의 모형들은 모두 ‘Two-stage Detector’로서 Region proposal을 별도의 stage로 나누어 동작하는 방법입니다. 하지만 실시간 요구 사항을 만족시킨 어렵다는 한계점이 존재합니다. 속도가 그렇게 빠르지 않기 때문이죠. 자율 주행같은 real world문제를 풀기 위해서는 정확도 만큼이나 inference의 속도가 중요한데 가장 SOTA에 위치하는 Faster RCNN의 경우도 사..

본 포스팅은 개인 학습용으로 작성되었고 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드' 강의 내용을 참고하였습니다. 금일 포스팅에서는 Object Detection task의 기본이 되는 RCNN 계열의 알고리즘들을 간단하게 정리하고자 합니다. 우선 가장 기본이 되는 RCNN ( Region CNN ) 부터 살펴보겠습니다. RCNN RCNN은 크게 2가지 stage로 나누어 동작하게 됩니다. 1. Region Proposal 2. CNN Detection Region proposal은 말 그대로 '영역 추정'인데요. object가 있을 만한 곳을 'Selective Search' 알고리즘을 통해 2000개의 영역을 추리는 단계로 구성됩니다. 그 다음 뽑힌 영역에 대해서 CNN ( Alexnet 등 ) 네..