No Limitation

어떤 일이든 꾸준히 앞으로 나아가길 믿음으로 나아가길 여호수아 1장 5-9절 5. 네 평생에 너를 능히 대적할 자가 없으리니 내가 모세와 함께 있었던 것 같이 너와 함께 있을 것임이니라 내가 너를 떠나지 아니하며 버리지 아니하리니 6. 강하고 담대하라 너는 내가 그들의 조상에게 맹세하여 그들에게 주리라 한 땅을 이 백성에게 차지하게 하리라 7. 오직 강하고 극히 담대하여 나의 종 모세가 네게 명령한 그 율법을 다 지켜 행하고 우로나 좌로나 치우치지 말라 그리하면 어디로 가든지 형통하리니 8. 이 율법책을 네 입에서 떠나지 말게 하며 주야로 그것을 묵상하여 그 안에 기록된 대로 다 지켜 행하라 그리하면 네 길이 평탄하게 될 것이며 네가 형통하리라 9. 내가 네게 명령한 것이 아니냐 강하고 담대하라 두려워하..

01월 20일 정말 오랜만에 블로그를 정리한다. 그 동안 프로젝트와 연구에 정신이 없어서 공부했던 내용들, 느꼈던 부분들을 글로 정리하지 못했다. 오늘 글을 쓰는 것은 공부 내용을 정리하기 위함도 아니고, 대학원 생활 기간 동안 슬럼프를 겪으며 느꼈던 부분과 지금 밤 10시가 다 되가는 시간에 한껏 사색에 빠져든 지금, 이 마음을 잃지 않기 위해 글을 적게 된다. 우린 모두 열심히 살았다. 결과가 어떻든, 어떤 상황과 형편 가운데 있든, 본인의 마음에 손을 얹고, 치열하게 살아온 자신의 모습이 보일 것이다. 스스로 목표한 바를 이루기 위함이든, 다른 이들에게 뒤쳐지지 않기 위함이든, 주어진 일에 대한 끝까지 책임을 지기 위함이든, 무엇이든, 우리는 스스로에게 숱한 채찍질을 가했을 것이다. 그리고 마치 내..

요즘 정신이 없고 바쁘다. 일도 바쁘지만 마음이 더 바쁜거 같다. 일은 안하고 쉬는 중에도 제대로 쉬지 못하고 편히 쉬지 못하고 덧없이 시간만 보내는거 같다. 요즘 이런 저런 우울한 느낌이 많이 들고 힘든 일들이 중간중간에 있어서 멘탈의 회복이 필요했다. 하지만, 숨 막히는 상황일 수록, 더 정신줄을 붙잡아야 할 거 같다. 더 흔들리지 않고 더 감정에 휘둘리지 않고 차분하게 주어진 상황을 이겨나가야 한다. 더 힘든 상황에서도 웃으면서 나아가는 사람들을 보면 참 존경스럽다. 그들이 그렇게 하는 이유는 그게 그걸 버티게 해줄 수 있는 힘이라고 생각했다. 나를 사랑하고 격려하고 응원하는 일이 생각보다 낯선 나 같은, 또 나와 같은 누군가들에게 필요할 것이라는 생각이 들었다. 그리고 심호흡 한 번 하고 번아웃에..

본 포스팅은 미시건 EECS 498-007 Deep learning for Computer Vision 강의를 참고하여 작성되었습니다. https://www.youtube.com/watch?v=lGbQlr1Ts7w&list=PL5-TkQAfAZFbzxjBHtzdVCWE0Zbhomg7r&index=10 딥러닝을 이용하여 학습을 수행하기 전에 조치를 해줘야 하는 요소들이 존재합니다. 대표적인 것으로는 - 활성화 함수 - 가중치 초기화 - 규제화 세 가지를 들 수 있습니다. 최근 딥러닝 모형을 사용한다고 하면 반드시 사용되는 기술들이기 때문에 개념에 대한 명확한 정의가 필요합니다. 물론 요새는 활성화함수로는 거의 ReLU를 사용하고 가중치 초기화도 Xavier나 He 초기화를 사용하는 것이 국룰(?)이 됬지만..

본 포스팅은 카이스트 주재걸 교수님의 '컴퓨터 비전을 위한 심층학습' 수업의 과제 일부를 수행한 결과를 포스팅으로 정리한 것입니다. 익숙한 convolution 연산에 대해 조금 더 심층적으로 들어가기 위해 MNIST 데이터셋으로 먼저 간단한 네트워크를 구축을 시도하였습니다. 정확도는 97% 이상이 나오는 것을 타겟으로 네트워크 디자인을 시도하였습니다. 대부분의 CNN 계열의 네트워크들은 대개 다음과 같은 논리를 많이 사용합니다. Convolution -> Batch Normalization -> ReLU activation -> Max Pooling 다음 순서로 디자인이 되는 경우고 각각의 instance는 매우 중요한 역할을 수행합니다. Convolution 우선 convolution 연산은 이미지를..

많이 사용하는 convolution 연산이지만 조금 더 개념적으로 다루어보고자 블로그 글을 정리합니다. Justin Johnson 교수님의 미시건 강의 'Deep Learning for computer vision Lecture 7'을 참고하였고 JINSOL KIM님의 블로그 포스팅 (https://gaussian37.github.io/dl-pytorch-conv2d/) 을 참고하였습니다. 일반적으로 convolution 연산을 공부하는데 필요한 개념적인 부분 ( 필터, stride, padding 등등의 개념은 정리하지 않겠습니다. )을 안다는 가정하에 포스팅을 작성하였습니다. 아래 그림과 같이 input과 stride, padding과 filter 사이즈가 주어졌다고 가정해보겠습니다. Input의 채..

본 포스팅은 카이스트 데이터사이언스 대학원 박찬영 교수님의 '지식서비스를 위한 기계학습' 강의 자료를 바탕으로 제작되었습니다. 이 외에도 다양한 책과 블로그들을 참고하였습니다. Reference는 포스팅 마지막 부분에 추가하겠습니다. 모두 너무 좋은 글들이니 참고하시면 좋을 거 같습니다. 시작하며, 최근 딥러닝 이론 공부를 많이 미루고 있다가, 최근 영상을 다루는 영역을 연구하면서 자연스럽게 따라오는 친구들인 sequence modeling에 대해 다시 공부할 기회를 갖게 되었습니다. 이전에 공부한 영역이지만 자연스레 잊히면서 정리의 필요성을 느끼게 되었고 이번에 감사하게도 정리하게 되었네요. 이번 포스팅은 Sequence Model의 기본이 되는 Recurrent Neural Net (RNN)을 기반으..

딥러닝 학습을 하다 보면 불시에 서버를 재부팅하거나 종료할 시에 그래픽 드라이버에 문제가 생기는 경우가 존재한다. 갑자기 torch.cuda.is_available() 결과가 False가 나오는 경우가 존재하게 된다. 필자의 경우 이전에 학습해놓았던 모형을 validation을 수행할 때 잠깐 사용하려고 했다가 저런 문제가 발생을 하였다. 하지만 감사하게도 이런 저런 시도로 버그를 해결할 수 있었다. ( 하나님 감사합니다 ) 다음에 유사한 문제가 발생할 때를 대비해 글을 남기기로 한다. 우선 위와 같은 오류가 나오는 경우 'nvidia-smi'를 하게 되면 가용한 그래픽 드라이버를 찾을 수 없어 다음과 같은 오류가 발생한다. 그 외에도 cat /proc/driver/nvidia/version 을 사용했을..

서버를 재부팅하거나 오랫동안 사용을 안하게 되면 disconnect 될 때 발생할 수 있는 많은 오류들이 있다. 필자의 경우도 많은 오류들이 있었고 3일 동안 아무것도 못한 채 구글링만 메달려 이것 저것 시도해본 결과 정말 감사하게도 오류들을 해결할 수 있었다. ( 하나님 정말 감사합니다 ㅠㅠ ) 직접 관리하는 15번, 16번 서버가 있었는데 16번 서버에는 다음과 같은 이슈가 있었다. 첫 번째 문제 -> 접속 이후 일정 시간 이후 disconnect 첫 번째로 접속을 한 다음에 다음과 같이 창이 뜨다가 아래와 같이 특정 시간이 지나서 서버가 disconnect 되는 문제가 발생하는 경우가 있었다. 그래서 이 문제를 해결하기 위해 https://suzxc2468.tistory.com/153 Network..

2022. 08. 26 오후 15시 55분 코드를 돌리면서 머리 좀 식힐 겸 끄적끄적해본다. 시간은 흐르고 흘러 어느 덧 석사 2학기 차에 접어들게 되었다. 아는 건 없지만 나름 후배를 받게 되었고 약간의 사수 역할도 담당하게 되었다. 하지만 1학기에 비해서 더 자신감이 붙었는지, 더 부딪힐 수 있는 힘이 생겼는지라고 묻는다면 명확한 답을 주기는 어려웠다. 오히려 더 큰 벽들을 마주하며 더 도약을 위한 준비 과정이라 오히려 힘을 쓰고 있는달까.. 더 큰 도약을 위해 힘차게 뛸 준비를 하고 있는 중인 것 같다. 또한 여전히 불안함은 디폴트로 가지고 가고 있다. 사실 어느 정도 인지하고 가는 것도 두려움을 더는 데 도움을 주는 것 같다. 어차피 확실한 것이 없기 때문에 연구로서 공부로서 가치가 있는 거기에,..