No Limitation

강의 참고용 https://www.youtube.com/watch?v=4DzKM0vgG1Y 강의는 동빈나님의 강의를 참고하였습니다. seq2seq는 말 그대로 sequence to sequence, 즉 한 나라의 언어로 된 시퀀스를 다른 나라의 언어 시퀀스로 번역하는 작업을 수행하는 방법이다. 즉, 번역을 하는 데에 최적화된 알고리즘이고 Transformer가 등장한 2017년 이전까지는 sota를 기록했던 알고리즘이다. 하나의 시퀀스는 여러 토큰으로 구성된 하나의 문장으로 간주할 수 있고 이러한 문장을 구성하는 요소들이 연속적으로 들어가 번역이 이루어지는데 내부적으로는 LSTM으로 구성이 되어 동작하게 된다. 내부적으로는 2개의 깊은 LSTM 신경망으로 구성이 되어 있는데 하나는 Encoder로, 즉 ..

참고 강의 고려대학교 산업경영공학부 강필성 교수님 https://www.youtube.com/watch?v=nu_6PB1v3Xk 익히 알듯, RF는 bagging의 특수한 형태! 또한 RF의 경우 Decision Tree based의 알고리즘이라는 것을 기억하고 들어가자 Bagging의 경우는 데이터를 복원추출(Boostrap)해서 각 부스트랩마다 복잡도가 높은 모델들을 기본적으로 학습을 하는 포맷을 취하는데 Base Learner로는 인공 신경망, Decision Tree, Support Vector Machine들을 사용할 수 있다. RF는 다음 2가지 방법을 통해 앙상블의 Diversity를 증가시키는데, [1] Bagging [2] Randomly chosen predictor variables ..

참고 강의 고려대학교 산업경영공학부 강필성 교수님 https://www.youtube.com/watch?v=HZg8_wZPZGU Boosting 개념의 시초, Adaptive Boosting에 대해 알아보자 Adaboost에서 우선, 다루어지는 개념은 바로 "Weak Learner"이다. 논문에 보면 다음과 같은 문구가 나온다. 즉, weak model은 random guessing보다는 약간 더 잘하는 모델 예를 들어, 정답이 0/1 2개의 카테고리 변수가 있는 상황에서 이 데이터들이 50% 씩 존재할 때, 어떠한 모델이 60%의 정확도를 가지면 이 모델을 weak leaner라고 한다. 그리고 이러한 weak learner에게 "적절한 가이드"만 주어지면 성능이 향상될 수 있을 것이라고 말한다. 이러..

참고 강의 https://www.youtube.com/watch?v=VHky3d_qZ_E 고려대학교 산업경영공학부 강필성 교수님 원문에 대한 자세한 분석은 다음 강의를 참고하자 [추후에 참고] https://www.youtube.com/watch?v=VkaZXGknN3g 고려대학교 산업경영공학부 석사과정 윤훈상 Decision Tree 기반의 알고리즘이 발전된 순서를 잘 정리해 놓은 도식표를 참고해보자 ( 금일 정리할 XGB까지 어떠한 흐름으로 발전 했는지 ) 각각의 설명을 다시 깊게 파헤쳐보자 Decision Tree : A graphical representation of possible solutions to a decision based on certain conditions Bagging : B..

참고 온라인 강의 영상 고려대학교 산업경영공학부 강필성 교수님 https://www.youtube.com/watch?v=4C8SUZJPlMY Boosting 시리즈 (Ada-XG-LightGBM-Cat) 중 하나인 LightGBM부터 다루어보도록 하겠습니다! LightGBM이 개발된 배경 : 전통적인 GBM은 DT 기반의 알고리즘 특성상, 모든 변수들에 대해, 모든 객체를 scan하여 동작을 해서 information gain을 측정하게 된다. ( 여기서 information gain은 DT에서 분류 기준을 정한 뒤 엔트로피가 주는 정도, 즉 pruning을 통해 얼마나 잘 분류가 되는 지를 측정하는 지표 ) 위 두 문제를 대응하기 위해 LightGBM은 어떠한 방법을 적용할까? [1] 모든 객체를 sc..