LEC4 - Optimization
오늘 우리는 딥러닝을 학습시키기 위해서 필수적인, 경사하강법의 의미를 배울 것이고, 이 경사하강법의 과정을 우리는 optimization (최적화) 라고 이야기 하게 되는데, 여러 최적화 기법에 대해 알아보려고 한다. 경사하강법경사하강법이란, 우리는 결국 train data 에 대한 loss 가 최소가 되는 지점을 찾고 싶은 것이고, 만약, 각 가중치에 대한 loss function 을 우리가 미분을 통해 구할 수 있다고 한다면, 미분 후 구할 수 있겠지만, 아쉽게도, 다 변수에 대한 고차원 함수를 미분한다는 개념자체가 없기 때문에 각 독립변수에 대한 편미분 값을 구한 뒤, update 하는 방식으로 학습을 할 수밖에 없다. 즉 각 변수에 대한 다소 단편적인 변화율만 보고 update 를 할 수밖에 없다..
