미적분 - 경사 하강법(gradient descent)
호다닥 작성하겠습니다. 경사하강법 gradient descent 경사하강법은 인공지능에서 많이 언급되는 단어입니다. ML, AL 책에서 정말 많이 본 개념이 경사하강법 gradient descent 이었습니다. 영어 단어로 gradient 는 기울기, 경사, 변화나 증감을 의미하고, descent는 하강, 내려오다, 내려가다, 내리막이 되다 란 의미를 가진 단어입니다. gradient descent는 내려오는 기울기의 변화 란 뜻이 되면서 미분의 개념이 연결됩니다. 미분 공식들은 현재 상태에서 앞으로 어떻게 변화할지를 측정하니까요. 인공신경망에서는 최적의 파라미터 값을 찾을 때 많이 사용됩니다. 편미분 partial derivate AL에서의 미적분은 일반적인 미적분과는 다르게 다변량 미적분이 필요합니다..