No Limitation

Contrastive learning에서 잘 알려져있는 SimCLR 논문으로 개념 및 코드 위주로 정리하고자 합니다. 코드는 Pytorch 기반으로 Janne님의 github 링크를 바탕으로 분석하였습니다. https://github.com/Spijkervet/SimCLR/tree/master GitHub - Spijkervet/SimCLR: PyTorch implementation of SimCLR: A Simple Framework for Contrastive Learning of Visual Representati PyTorch implementation of SimCLR: A Simple Framework for Contrastive Learning of Visual Representations ..

참 오랜만에 블로그 글을 올리는 것 같다. 개인 연구에서 CPC를 사용하고 있는데 개념적으로 알기만 하고 구체적인 깊은 내용을 다 숙지하지 못하다 보니 이참에 정리를 해보자. 다음 포스팅은 고려대학교 산업경영학과 김정희 님의 자료를 참고하였음. 또한 아래 블로그 포스팅들을 참고하였음. https://bskyvision.com/389 https://bskyvision.com/604 https://bskyvision.com/entry/%EC%A0%95%EB%B3%B4%EC%9D%B4%EB%A1%A0-%EC%83%81%ED%98%B8%EC%A0%95%EB%B3%B4%EB%9F%89mutual-information%EC%9D%B4%EB%9E%80 https://junia3.github.io/blog/InfoNC..

원 논문 Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., ... & Houlsby, N. (2020). An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929. https://arxiv.org/abs/2010.11929 본 리뷰는 제 개인 유튜브 채널에도 올려놓았습니다. 참고 부탁드립니다. https://www.youtube.com/watch?v=5E8nURp3Cec 참고 자료로 고려대학교 산업경영학과 최희정 님의 강의를 참고하였습니다. https://www.y..

원 논문 링크 : https://ieeexplore.ieee.org/abstract/document/5567108 He, K., Sun, J., & Tang, X. (2010). Single image haze removal using dark channel prior. IEEE transactions on pattern analysis and machine intelligence, 33(12), 2341-2353. 본 리뷰는 제 개인 유튜브 채널에도 올려놓았습니다. 참고 부탁드립니다. https://www.youtube.com/watch?v=ORy50gWA-58 Background 이번 리뷰할 페이퍼는 'Dark Channel Prior'로 유명한 논문으로, Image Dehazing을 공부하는 데에 ..

원 논문 링크 : https://openaccess.thecvf.com/content/CVPR2021/html/Chen_PSD_Principled_Synthetic-to-Real_Dehazing_Guided_by_Physical_Priors_CVPR_2021_paper.html Chen, Z., Wang, Y., Yang, Y., & Liu, D. (2021). PSD: Principled synthetic-to-real dehazing guided by physical priors. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 7180-7189). 본 리뷰는 제 개인 유튜브 채널에도 올려..

원 논문 링크 : Perera, P., Nallapati, R., & Xiang, B. (2019). Ocgan: One-class novelty detection using gans with constrained latent representations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 2898-2906). https://openaccess.thecvf.com/content_CVPR_2019/papers/Perera_OCGAN_One-Class_Novelty_Detection_Using_GANs_With_Constrained_Latent_Representations_CVPR_..

본 리뷰는 제 개인 유튜브 채널에도 리뷰 영상을 올려놓았습니다. 참고 바랍니다. https://www.youtube.com/watch?v=XQNRgZ2-RKg 본 포스팅은 다음 자료들을 참고하였습니다 Reference : [1] https://greeksharifa.github.io/generative%20model/2019/03/17/DCGAN/ [2] Metz, L., Poole, B., Pfau, D., & Sohl-Dickstein, J. (2016). Unrolled generative adversarial networks. arXiv preprint arXiv:1611.02163 [3] https://memesoo99.tistory.com/32 [4] https://ysbsb.github.io..

( 본 논문은 카이스트 산업 및 시스템 공학과 박찬영 교수님 지식서비스를 위한 기계학습 수업에 참고가 되는 포스팅입니다, Reviewer: 조예성 ) 본 포스팅의 양이 많아 총 2개의 포스팅으로 나누어 정리하려고 합니다. 본 논문에 대한 리뷰 영상도 제 개인 유튜브 채널에 올려놓았습니다. 글보다 영상이 더 편하신 분은 영상을 참고하시면 좋을 거 같습니다. 리뷰 영상 : https://www.youtube.com/watch?v=1lEtPCn-lcY 본 리뷰는 크게 다음 5가지 주제를 바탕으로 정리를 하고자 합니다. 1. Anomaly Detection이 어떤 개념이고 무슨 task를 수행하고자 하는 건지 2. 본 논문의 방법이 제안된 배경 3. 방법론 4. 실험 결과 (유튜브) 5. 코드 리뷰 (유튜브) ..

( 본 논문은 카이스트 산업 및 시스템 공학과 박찬영 교수님 지식서비스를 위한 기계학습 수업에 참고가 되는 포스팅입니다, Reviewer: 조예성 ) 본 포스팅의 양이 많아 총 2개의 포스팅으로 나누어 정리하려고 합니다. 우선 본 포스팅은 위 논문을 포스팅하는 동시에, Anomaly Detection 개념에 대해 생소하신 분들을 위해 기초 개념적인 것부터 정리하고자 합니다. 본 논문에 대한 리뷰 영상도 제 개인 유튜브 채널에 올려놓았습니다. 글보다 영상이 더 편하신 분은 영상을 참고하시면 좋을 거 같습니다. 리뷰 영상 : https://www.youtube.com/watch?v=1lEtPCn-lcY 본 리뷰는 크게 다음 5가지 주제를 바탕으로 정리를 하고자 합니다. 1. Anomaly Detection이..

참고 강의 : jiyang Kang 님의 강의 https://www.youtube.com/watch?v=upskBSbA9cA 본 논문의 등장 배경은 기존 seq2seq의 한계점을 보완하고자 하는 모형이다. 우선 다음 그림은 이전 포스팅에서 사용한 그림이었는데 다음과 같이 중간에 ‘Large fixed dimensional vector representation’ 이 부분이 바로 인코더에서 마지막 hidden state를 context vector로 사용할 때 그 크기가 기존 input size와 동일한 크기로 고정이 된 것을 의미하게 된다. (학습 시) 조금 더 구체적으로 복습해보면 다음 그림에 해당하는 것처럼 동작을 하게 되는데 인코더에서는 마지막 hidden state에서 도출되는 벡터 값을 기반으로..