No Limitation

하나님, 주님은 크신 분이십니다. 제 기도를 들으시고 제 눈물을 닦아주시고, 저를 가장 잘 아시는 분이십니다. 또한 제 부족함과 연약함, 제 은밀한 죄까지도 아시는 공의로운 분이십니다. 주께서 저를 판단해주시고 제가 응당 받아야 할 대가가 있다면 공의로운 심판을 하실 것을 믿습니다. 하지만 주여, 바라기로는 제 부족한 모습과 연약한 모습을 불쌍히 여겨 주세요. 제가 예수님의 마음과 태도를 본받고 하나씩 순종함으로써 점점 예수님의 성품을 닮아가게 해주세요. 실패의 시기 동안, 아무것도 할 수 없을 거 같고, 좌절의 구렁텅이에 있던 저를, 주께서는 오늘도 인격적으로 저를 만나주십니다. 저에게 끝까지 포기하지 않게 하시고, 저를 기다려주십니다. 저는 이제, 주를 바라고 주님을 더 아는 것에 힘을 쓰고 싶습니다..

오늘은 많은 SSL 방법에도 사용되는 distillation 방법에서 기본적으로 많이 사용되는 projection-head의 구체적인 역할에 대한 수학적 고찰과 normalization이 어떤 역할을 하는 지에 대해 구체적으로 살펴보고자 합니다. 본 포스팅의 내용은 아래 논문의 내용을 정리하는 데에 목적이 있습니다. 하지만 실험 내용까지 디테일하게 다루지는 않고 개념적인 부분을 위주로 정리할 예정입니다. 또한 본 논문이 주장하는 바를 조금 더 critic하게 분석한 개인적인 견해는 이태릭체로 표시해 놓았으니 혹시 잘못됬거나 이상한 부분이 있으면 댓글로 남겨주시면 너무 감사할 것 같습니다. Miles, R., & Mikolajczyk, K. (2024, March). Understanding the rol..

본 포스팅은 분포 거리를 근사할 때 많이 활용되는 KL Divergence와 그것의 한계를 극복하기 위한 다양한 거리 측정 방법의 개념을 다루고자 합니다. 특별히 JS Divergence와 Wasserstein Distance의 경우 GAN 포스팅에서도 다루었기 때문에 참고하시면 도움이 될 것 같습니다.https://yscho.tistory.com/106 KL Divergence (Kullback-Leibler Divergence)KL Divergence를 들어가기 전에 먼저 정보 이론을 이해할 필요가 있다. 데이터의 확률 분포를 $P$ 라고 할 때, 어떤 사건 $x$ 에 대한 발생 확률을 $P(x)$ 라고 한다면, 정보 이론에서는 이 사건을 통해 얻을 수 있는 정보량을 $ - \log P(x) $로 ..

오늘은 예비군을 마치고, 모처럼 회사를 출근하지 않고 저녁 일찍 여유가 생기는 날이었다. 평범하지는 않는, 어쩌면 여유라는 것이 생긴 하루다. 하지만 나는 이 여유라는 친구가 무서울 때가 많았다. 갑작스럽게 생긴 넉넉한 시간.. 무얼 해야 할지, 어떻게 시간을 보내야 할지 몰라, 늘 부족한 부분을 메꾸기 위해 공부를 하거나 아니면 PC방에 가 시간을 때우는 것으로 일상을 보냈었다. 아니면 회사 일을 했던 거 같다.  누군가는 이상하게 볼 수도 있다. 왜 회사 일을 하지? 왜 자기 시간을 잘 못 보내지? 우선, 대부분의 경우에는 일이나 공부에 시간을 쏟았었는데, 아마 필자가 하고 있는 업무에서 충분한 지식을 갖지 못하고 있다고 생각하고, 또 주변 동료들에 비해 업무 속도나 스킬이 많이 부족하다고 생각하기 ..

참고 포스팅 :https://angeloyeo.github.io/2021/02/08/GMM_and_EM.htmlhttps://untitledtblog.tistory.com/133 GMM을 이해하기 전에 우선적으로 먼저 이해해야하는 것이 바로 Maximum likelihood (최대우도법) 개념이다. 우리는 특정 데이터가 있고 label이 있는 경우, 그 데이터들이 가지는 분포를 추적할 수 있는데, 예를 들어 아래와 같이 빨간색 데이터와 파란색 데이터가 있을 때 저 높이 값이 최대가 되게 하는 분포를 찾을 수 있다.다음 두 그림을 보면, 위쪽과 아래쪽을 비교했을 때, 아래쪽이 보다 데이터의 특성을 잘 반영하는 분포를 찾았다고 할 수 있다. 즉, 저 오른쪽의 수식 값 (높이)이 더 큰 것이다. 즉 더 높이가..

본격적으로 취준 전쟁에 뛰어든지 약 2달이 되어간다. 많은 기업에 원서를 냈고 감사하게도 2군데 면접, 3군데 코딩테스트를 치르고, 또 다른 서류 결과를 기다리고 있다. 정신 없게 면접과 시험을 보는 와중에 일전에 제출했던 저널에 revision 결과가 나왔다. 솔직히 Reject도 각오하고 낸 높은 저널이었는데 major revision이라도 온 것에 감사했다. 봄 바람이 불고 벚꽃이 여느 때와 같이 아름답게 피지만, 나는 안타깝게도 올해 역시 정신 없는 하루의 풍파 속에서 꽃의 향기를 누릴 여유가 없다. 아니 어쩌면 스스로 그럴 자격이 없다고 판단해서 미리 마음을 내려놓은 것인지도 모르겠다. 정말 가고 싶었던 기업의 면접을 조지고(?) 많은 서류 광탈과 코테 탈락의 향연에서, 또 자식 같이 소중한 논..

https://school.programmers.co.kr/learn/courses/30/lessons/86971 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr Union Find를 이용해 disjoint set을 찾아 노드의 수에 따른 차가 가장 큰 경우를 찾으면 되는 문제. 특별히 자체 구현 코드에서 마지막에 최종적으로 parents를 업데이트 하는 코드를 잊지 말자 def Find(v,parents) : if parents[v] != v : parents[v] = Find(parents[v],parents) return parents[v] def U..

https://www.acmicpc.net/problem/12904 12904번: A와 B 수빈이는 A와 B로만 이루어진 영어 단어가 존재한다는 사실에 놀랐다. 대표적인 예로 AB (Abdominal의 약자), BAA (양의 울음 소리), AA (용암의 종류), ABBA (스웨덴 팝 그룹)이 있다. 이런 사실에 놀란 수 www.acmicpc.net 아이디어를 공부하면 좋을 거 같은 문제 이 문제를 푸신 다른 분들 풀이가 좋아서 공부하면 좋을 듯 https://growth-coder.tistory.com/231 [백준 12904][파이썬][그리디] A와 B https://www.acmicpc.net/problem/12904 12904번: A와 B 수빈이는 A와 B로만 이루어진 영어 단어가 존재한다는 사실에..

https://school.programmers.co.kr/learn/courses/30/lessons/68645 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 이전에 풀었던 문제였는데, 다시 복습 차 시도 다시 풀어도 어려운 문제다.. 단순히 indexing으로 시도해보려고 했지만, 틀린 문제도 있었고 뒤에 유형에서는 시간초과가 발생. 처음 시도한 코드 def solution(n): triangle = [ [0]*i for i in range(1,n+1)] k = 0 triangle[0][0] = 1 cum = 2 ### 외곽 먼저 처리 for i in..

https://school.programmers.co.kr/learn/courses/30/lessons/87946?language=python3 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 본 문제는 완전 탐색 카테고리에 해당하는 문제. 사실 이 문제를 푸는 다른 방법이 생각나지 않아 일단 DFS로 구현해보았는데 당연히 시간 초과가 날 줄 알았음. 하지만, 막상 돌렸을 때는 통과가 됨. 나중에 찾아보니 대부분 비슷하게 푸신 듯. 다만 주의해야 하는 부분은, dfs를 돌아갈 때 마지막에 탐색하지 못하는 던전 케이스에 대해 return할 때는 count를 ..