deep learning_01

우선 지금부터 설명하는 내용은 패스트캠퍼스의 교육과정에서 배운 내용과 제 나름대로 책을 읽어가며 정리하는 내용을 바탕으로 작성하는 글입니다.

딥러닝 기초

딥러닝? ML분야에서나 AI분야에서 활발하게 이용하고 있는데 간단히 말하자면, 여기서 말하는 ‘deep’은 학습을 수행하는 신경망(혹은 그에 상응하는 다른 것)의 층수가 ‘깊다’라는 의미이다. 즉, 여러층을 가진 구조를 사용한 학습을 말한다.

신경망 기초 이론

• 신경망(neural network) 모형은 기저 함수(basis function)의 형태를 모수(parameter)값으로 변화 시킬 수 있는 적응형 기저 함수 모형(adaptive basis function model)이며 구조적으로는 복수의 퍼셉트론을 쌓아놓은 형태이므로 MLP(multi-layer perceptron)로도 불린다.

시그모이드 활성화 함수

• 일반적으로 활성화 함수 h로는 위와 아래가 막혀있는(bounded) 시그모이드 함수 \( \sigma \)를 사용하는데 가장 많이 사용하는 활성화 함수는 로지스틱 함수이다.

비선형 기저 함수

퍼셉트론에서 x 대신 기저함수 \( \phi(x) \)를 사용하면 XOR 문제 등의 비선형 문제를 해결할 수 있다. 그러나 고정된 기저 함수를 사용해야 하므로 문제에 맞는 기저 함수를 찾아야 한다는 단점이 있다. 따라서 많은 기저 함수를 사용할 수 밖에 없는 것이 보통이다.

하이퍼 파라미터에 의해 모양이 바뀌는 비선형 기저 함수

만약 기저 함수 \( \phi(x) \)의 형태를 추가적인 모수 \( \theta \)를 사용하여 조절할 수 있다면 즉, 기저함수 \( \phi(x;\theta) \)를 사용하면 \( \theta \)값을 바꾸는 것만으로 다양한 시도를 하여 다양한 모양의 기저함수를 테스트해 볼 수 있을 것이다. 앞으로 설명할 신경망 즉, MLP(Multi-Layer-Perceptron)은 퍼셉트론이 사용하고 있는 로지스틱 시그모이드 함수를 기저 함수로 사용하는 모형이다. 기저 함수의 형태는 하이퍼 파라미터인 w