퍼셉트론

• 퍼셉트론(perceptron)은 가장 오래되고 단순한 형태의 판별함수기반 분류모형 중 하나이다.

• 퍼셉트론은 입력 $x = (1, x_{1}, \cdots, x_{m})$에 대해 $1$ 또는 $-1$의 값을 가지는 $y$를 출력하는 비선형 함수이다. 1을 포함하는 입력 요소 $x_{i}$에 대해 가중치 $w_{i}$를 곱한 값 $a = w^{T}x$을 활성화값(activations)이라고 하며 이 값이 판별함수의 역할을 한다.

$$a = w^{T}x$$

• 판별 함 값이 활성화함수(activation function) $h(a)$를 지나면 분류 결과를 나타내는 출력 $\hat{y}$가 생성된다.

$$\hat{y} = h(w^{T}x)$$

• 퍼셉트론의 활성화 함수는 부호 함수(sign function) 또는 단위 계단 함수(Heaviside step function)라고 부르는 함수이다.

$$h(a) = \begin{cases} -1, & a < 0, \\ 1, & a \ge 0 \end{cases}$$

퍼셉트론 손실함수

다음과 같이 N개의 학습용 데이터가 있다고 하자.