No Limitation

참고 포스팅 :https://angeloyeo.github.io/2021/02/08/GMM_and_EM.htmlhttps://untitledtblog.tistory.com/133 GMM을 이해하기 전에 우선적으로 먼저 이해해야하는 것이 바로 Maximum likelihood (최대우도법) 개념이다. 우리는 특정 데이터가 있고 label이 있는 경우, 그 데이터들이 가지는 분포를 추적할 수 있는데, 예를 들어 아래와 같이 빨간색 데이터와 파란색 데이터가 있을 때 저 높이 값이 최대가 되게 하는 분포를 찾을 수 있다.다음 두 그림을 보면, 위쪽과 아래쪽을 비교했을 때, 아래쪽이 보다 데이터의 특성을 잘 반영하는 분포를 찾았다고 할 수 있다. 즉, 저 오른쪽의 수식 값 (높이)이 더 큰 것이다. 즉 더 높이가..

본 포스팅은 미시건 EECS 498-007 Deep learning for Computer Vision 강의를 참고하여 작성되었습니다. https://www.youtube.com/watch?v=lGbQlr1Ts7w&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=10 딥러닝을 이용하여 학습을 수행하기 전에 조치를 해줘야 하는 요소들이 존재합니다. 대표적인 것으로는 - 활성화 함수 - 가중치 초기화 - 규제화 세 가지를 들 수 있습니다. 최근 딥러닝 모형을 사용한다고 하면 반드시 사용되는 기술들이기 때문에 개념에 대한 명확한 정의가 필요합니다. 물론 요새는 활성화함수로는 거의 ReLU를 사용하고 가중치 초기화도 Xavier나 He 초기화를 사용하는 것이 국룰(?)이 됬지만..

본 포스팅은 카이스트 주재걸 교수님의 '컴퓨터 비전을 위한 심층학습' 수업의 과제 일부를 수행한 결과를 포스팅으로 정리한 것입니다. 익숙한 convolution 연산에 대해 조금 더 심층적으로 들어가기 위해 MNIST 데이터셋으로 먼저 간단한 네트워크를 구축을 시도하였습니다. 정확도는 97% 이상이 나오는 것을 타겟으로 네트워크 디자인을 시도하였습니다. 대부분의 CNN 계열의 네트워크들은 대개 다음과 같은 논리를 많이 사용합니다. Convolution -> Batch Normalization -> ReLU activation -> Max Pooling 다음 순서로 디자인이 되는 경우고 각각의 instance는 매우 중요한 역할을 수행합니다. Convolution 우선 convolution 연산은 이미지를..

많이 사용하는 convolution 연산이지만 조금 더 개념적으로 다루어보고자 블로그 글을 정리합니다. Justin Johnson 교수님의 미시건 강의 'Deep Learning for computer vision Lecture 7'을 참고하였고 JINSOL KIM님의 블로그 포스팅 (https://gaussian37.github.io/dl-pytorch-conv2d/) 을 참고하였습니다. 일반적으로 convolution 연산을 공부하는데 필요한 개념적인 부분 ( 필터, stride, padding 등등의 개념은 정리하지 않겠습니다. )을 안다는 가정하에 포스팅을 작성하였습니다. 아래 그림과 같이 input과 stride, padding과 filter 사이즈가 주어졌다고 가정해보겠습니다. Input의 채..

본 포스팅은 카이스트 데이터사이언스 대학원 박찬영 교수님의 '지식서비스를 위한 기계학습' 강의 자료를 바탕으로 제작되었습니다. 이 외에도 다양한 책과 블로그들을 참고하였습니다. Reference는 포스팅 마지막 부분에 추가하겠습니다. 모두 너무 좋은 글들이니 참고하시면 좋을 거 같습니다. 시작하며, 최근 딥러닝 이론 공부를 많이 미루고 있다가, 최근 영상을 다루는 영역을 연구하면서 자연스럽게 따라오는 친구들인 sequence modeling에 대해 다시 공부할 기회를 갖게 되었습니다. 이전에 공부한 영역이지만 자연스레 잊히면서 정리의 필요성을 느끼게 되었고 이번에 감사하게도 정리하게 되었네요. 이번 포스팅은 Sequence Model의 기본이 되는 Recurrent Neural Net (RNN)을 기반으..

본 포스팅은 개인 학습용으로 작성되었고 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드' 강의 내용을 참고하였습니다. 이번 포스팅은 One-stage Detector의 강력한 성능을 자랑하는 RetinaNet과 다양한 속도와 성능을 개선한 아키텍처들을 제안하는 EfficientDet에 대해 정리해보고자 합니다. 먼저 RetinaNet부터 살펴보겠습니다. RetinaNet 원 논문 링크 : https://openaccess.thecvf.com/content_iccv_2017/html/Lin_Focal_Loss_for_ICCV_2017_paper.html Lin, T. Y., Goyal, P., Girshick, R., He, K., & Dollár, P. (2017). Focal loss for dense ..

본 포스팅은 개인 학습용으로 작성되었고 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드' 강의 내용을 참고하였습니다. 이번 포스팅에서는 Object Detection task에서 One-stage Detector의 대명사인 YOLO - v1,v2,v3와 SSD에 대해 공부해보겠습니다. 앞서 배운 RCNN 계열의 모형들은 모두 ‘Two-stage Detector’로서 Region proposal을 별도의 stage로 나누어 동작하는 방법입니다. 하지만 실시간 요구 사항을 만족시킨 어렵다는 한계점이 존재합니다. 속도가 그렇게 빠르지 않기 때문이죠. 자율 주행같은 real world문제를 풀기 위해서는 정확도 만큼이나 inference의 속도가 중요한데 가장 SOTA에 위치하는 Faster RCNN의 경우도 사..

본 포스팅은 개인 학습용으로 작성되었고 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드' 강의 내용을 참고하였습니다. 금일 포스팅에서는 Object Detection task의 기본이 되는 RCNN 계열의 알고리즘들을 간단하게 정리하고자 합니다. 우선 가장 기본이 되는 RCNN ( Region CNN ) 부터 살펴보겠습니다. RCNN RCNN은 크게 2가지 stage로 나누어 동작하게 됩니다. 1. Region Proposal 2. CNN Detection Region proposal은 말 그대로 '영역 추정'인데요. object가 있을 만한 곳을 'Selective Search' 알고리즘을 통해 2000개의 영역을 추리는 단계로 구성됩니다. 그 다음 뽑힌 영역에 대해서 CNN ( Alexnet 등 ) 네..

본 포스팅은 노승은 님의 바닥부터 배우는 강화학습 교재를 중심으로 작성되었고 카이스트 산업 및 시스템 공학과 신하용 교수님의 동적계획법과 강화학습 강의 자료를 참고해 작성되었습니다. 이번 포스팅에서는 '강화 학습' 일반 대중에도 주목을 받게 되었던 핵심적인 event인 '알파고 vs 이세돌'에서 사용된 Alphago (original algorithm) 알고리즘에 대해 공부해보겠습니다. 구글 딥마인드에서 개발이 되었던 알고리즘이었고 바둑 대국을 수행하기 위해 고안된 알고리즘이고 큰 파장을 불렀었던 강화학습 기법입니다. 구체적으로 어떻게 동작하였는지 살펴보겠습니다. 알파고를 이해할 때는 크게 "학습(Learning)"과 "실시간 플래닝(Decision-time planning)" 이 2단계를 걸쳐 구성이 ..

본 포스팅은 카이스트 산업 및 시스템 공학과 신하용 교수님의 동적계획법과 강화학습 강의 자료를 중심으로 작성되었고 노승은 님의 바닥부터 배우는 강화학습 교재를 참고해 작성되었습니다. 이번 포스팅에서는 MAB, 가치 기반 RL에 이어 정책 기반 RL을 다루게 되었습니다. 사실 이들을 이해하려면 더 앞서서 정리해야할 포스팅들이 많지만, 프로젝트를 수행하는 차원에서 미리 정책 기반 RL을 공부할 필요가 있어서 미리 정리하게 되었습니다. 추후에 RL의 기본 method들부터 하나씩 정리해서 포스팅해 올리도록 하겠습니다. 따라서 본 포스팅은 어느 정도 RL에 대한 개념을 아시는 분들이 참고해주시면 감사하겠습니다. (물론 저도 제대로 개념이 잡힌 지는 모릅니다 허허.. 이상한 부분은 크리틱 부탁드립니다..! ) 지..