순방향 신경망 · Rest Math

개념에서 수식으로

먼저 이해할 내용

순방향 신경망에서는 입력이 중간층을 거쳐 출력으로 전달된다. 이 글은 단순한 선형 분류에서 시작해 활성화 함수와 여러 층을 연결하고, 출력 오차를 역방향으로 전달하여 가중치를 바꾸는 과정을 다룬다.

기호를 먼저 읽기

wᵀx+b: 입력을 가중합한 분류 점수
sgn: 점수의 부호로 범주를 정하는 규칙
h: 중간층의 출력
φ, φ′: 활성화 함수와 그 미분
δ: 오차가 중간 계산값에 얼마나 민감한지 나타내는 값
α: 가중치 갱신 크기

이 글의 흐름

분류 경계와 오분류 조건을 먼저 읽는다. 다음으로 비선형 변환을 연결한 신경망을 만들고, 체인룰로 구한 변화율을 이용해 출력층에서 입력층 쪽으로 가중치를 갱신한다.

주제와 표기

Feedforward Nets

Linear classification

A linear discriminant function which has the form

분류 경계는 점수가 0이 되는 위치이다

wᵀx+b의 부호로 두 범주를 나누면, 0이 되는 위치가 경계가 된다. 입력의 차원이 커져도 원리는 같으며 w와 b가 경계의 방향과 위치에 관련된다. 이 단계에서는 확률이 아니라 부호에 의한 판단을 하고 있음을 구별한다.

f [x] = w^{T} x + b

where (w, b) ∈

R^{D}

R

(weight vector, bias) are the parameters that control the function .

Decision rule is given by sgn[f[x]]

n [f [x]]

= {{{1, if

f [x]

≥0}, {-1, otherwise}}

Separating hyperplane

w^{T} x + b = 0

The input space

X

is split into two parts by the hyperplane .

Perceptron

A single layer neural network

The first iterative algorithm for learning linear classification

틀린 샘플에서만 계수를 바꾼다

퍼셉트론은 현재 경계가 틀리게 분류한 샘플을 이용해 w를 갱신한다. 정답 yₙ을 ±1로 두면 wᵀxₙyₙ의 부호로 올바른 분류 여부를 한 식에 담을 수 있다. 수렴에 대한 원문의 설명은 선형 분리가 가능한 조건과 함께 읽는다.

y = sgn [W^{T} x + b]

Perceptron convergence Theorem

The perceptron classifier minimizes the error probability, while MMSE classifier does not .

One can easily see that the perceptron learning reduce the error

- {w_{k + 1}}^{T} x_{n} y_{n} = - {w_{k}}^{T} x_{n} y_{n} - \sum_{x_{n} \in M} {| x_{n} y_{n} |}^{2} \leq - {w_{k}}^{T} x_{n} y_{n}

If classes

C_{1}

and

C_{2}

are linearly separable, then the perceptron rule converges in a finite number of steps to a separating hyperplane .

The algorithm is guaranteed to converge when data are linearly separable

Perceptron Criterion

Suppose that target values {

y_{n}

} take either 1 or - 1

y_{n}

= {{{1, if

x_{n}

∈

C_{1}

}, {-1, if

x_{n}

∈

C_{2}

}}

what we want here is to find a w such that

{{{w

⊤

x>0, for

x_{n}

∈

C_{1}

}, {w

⊤

x<0, for

x_{n}

∈

C_{2}

}}

which is identical to

오분류 집합의 손실과 기울기를 연결한다

ℳ은 현재 잘못 분류된 샘플들의 집합이다. 이 집합에서 합산한 목적함수를 w로 미분하면 xₙyₙ의 합이 나오고, 그 반대 방향으로 이동하는 갱신식이 된다. 원문에 learning rate와 기울기가 나란히 표기되어 있어도, 이동 계수 α와 미분벡터 ∇J는 다른 역할이다.

$w^{T} x_{n} y_{n} > 0$	$\forall x_{n}$

The perceptron criterion leads to the following objective function

J [w] = - \sum_{x_{n} \in M} w^{T} x_{n} y_{n}

where ℳ is the set of vectors

x_{n}

which are misclassified by the current weight vector .

The gradient of

J [w]

\frac{\partial J}{\partial w} = - \sum_{x_{n} \in M} x_{n} y_{n}

objective function

J [w] = - \sum_{x_{n} \in M} w^{T} x_{n} y_{n}

Gradient descent

w^{k} \leftarrow w^{k - 1} - α \nabla J [w^{k - 1}]

step size : α

learning rate : ∇

J [w]

= ∂

J

/∂w

Perceptron Learning: A Basic Idea

학습 절차를 한 샘플씩 따라간다

샘플을 하나 읽고 현재 계수로 분류한다. 올바르면 유지하고 틀리면 αxₙyₙ을 더한다. 새 계수로 다시 판단하는 과정을 반복한다는 것이, 목적함수 식을 실제 절차로 바꾼 의미이다.

If the pattern is correctly classified, do nothing . If not .

Δ w = α \sum_{x_{n} \in M} x_{n} y_{n}

J [w] : R^{m} \to R

\frac{\partial J [w]}{\partial w} = (\begin{matrix} \frac{\partial J [w]}{\partial w_{1}} \\ \frac{\partial J [w]}{\partial w_{2}} \\ : \\ \frac{\partial J [w]}{\partial w_{m}} \end{matrix}) \in R^{m}

Perceptron Learning: Algorithm Outline

1. Get a training sample

2. Check to see if it is misclassified

2.1 If classified correctly, do nothing

2.2 If classified incorrectly, update w by

w_{k + 1} = w_{k} + α x_{n} y_{n}

3. Repeat steps 1 and 2 until convergence

McCulloch-Pitts Model

Activation Functions

활성화 함수가 선형 점수를 다른 값으로 바꾼다

ReLU는 음의 입력을 0으로 두고 양의 입력을 유지한다. Leaky ReLU는 음의 구간에서도 작은 기울기를 남기고, Softplus는 로그와 지수로 부드러운 변환을 만든다. ELU와 ReLU-6도 구간별로 입력이 어떻게 바뀌는지 먼저 읽는다.

원문에는 tanh라는 제목 옆에 ArcTan이 적힌 줄이 있다. 쌍곡탄젠트와 아크탄젠트는 같은 함수가 아니므로, 이 둘을 동일한 연산으로 설명하거나 하나로 임의 변경하지 않는다. 해당 줄은 함수 선택을 확인해야 하는 표기이다.

Sigmoid : ϕ [x] = \frac{1}{1 + e^{- x}}

\tanh : ϕ [x] = ArcTan [x]

ReLU : ϕ [x] = max [0, x]

Leaky ReLU :

ϕ [x]

= {{{αx, if x<0}, {x, if x≥0}}

Softplus : ϕ [x] = \log [1 + e^{x}]

\frac{\partial}{\partial x} \log [1 + e^{x}] = \frac{e^{x}}{1 + e^{x}} = \frac{1}{1 + e^{- x}}

Exponential Linear Unit (ELU) :

ϕ [x]

= {{{α (

e^{x}

- 1), if x<0}, {x, if x≥0}}

ReLU - 6 :

ϕ [x]

= {{{0, if x < 0}, {x, if 0≤x<6}, {6, if x≥6}}

Multilayer Perceptron (MLP)

Structure: bipartite

여러 층을 연결하고 출력 오차를 정한다

중간층을 거쳐 예측값을 만든 뒤 실제 y와의 차이를 제곱해 모은다. argmin은 손실의 최소값 자체가 아니라 그 값을 작게 만드는 계수의 선택을 뜻한다. 모델을 정의하는 식과 모델을 평가하는 손실식을 구별한다.

A multilayer extension of perceptron

universal approximation

Square loss (error)

{argmin}_{w 0, w 1, w 2} \frac{1}{2 N} \sum_{n = 1}^{N} {(y_{n} - {\hat{y}}_{n})}^{2}

= w_{1} x_{1} + w_{2} x_{2} + w_{0}

Sematic space

Backpropagation

순전파 결과를 이용해 역방향 미분을 계산한다

먼저 h₁·h₂를 계산하고 이를 출력 가중치와 결합해 ŷ를 얻는다. 이후 실제 값과의 차이로 손실을 만들고, 어느 가중치를 바꾸면 손실이 얼마나 달라지는지 계산한다. 역전파는 새 입력을 역으로 복원하는 것이 아니라 손실의 미분을 전달하는 과정이다.

Error back - propagation (BP) algorithm

Gradient descent iteratively determines a local minimum of the error function

J [x]

x \leftarrow x - α \frac{\partial J [x]}{\partial x}

where the gradient ∂

J [x]

/∂xcontains the critical information

h_{1} = ϕ [w_{11} x_{1} + w_{12} x_{2} + b_{1}]

h_{2} = ϕ [w_{21} x_{1} + w_{22} x_{2} + b_{2}]

\hat{y} = υ_{1} h_{1} + υ_{2} h_{2} + c_{1}

J = square loss

= \frac{1}{2 N} \sum_{n = 1}^{N} {(y_{n} - {\hat{y}}_{n})}^{2}

출력층의 오차 민감도를 중간층으로 보낸다

δ_y에는 출력 오차와 활성화 함수의 미분이 함께 들어간다. δ_h는 이 값을 연결 가중치와 앞 층의 활성화 미분에 곱하여 얻는다. 이처럼 함수가 연속해서 연결되어 있을 때 변화율도 연결된 경로를 따라 곱해진다.

\begin{aligned} y & = ϕ [w_{2} h], & \tilde{y} & = w_{2} h \\ h & = ϕ [w_{1} x], & \tilde{h} & = w_{1} x \end{aligned}

error J = \frac{1}{2} e^{2} = \frac{1}{2} {(t - y)}^{2} = \frac{1}{2} {(t - ϕ [\tilde{y}])}^{2}

Calculate \frac{\partial J}{\partial w_{2}} :

$수식$

Define

δ_{y}

as the gradient of the objective

J

w . r . t . the pre - activation

\tilde{y}

δ_{y} = \frac{\partial J}{\partial \tilde{y}} = - e ϕ^{'} [\tilde{y}]

Calculate \frac{\partial J}{\partial w_{1}} :

$수식$

Thus,

δ_{h}

can be recursively calculated as

δ_{h} = \frac{\partial J}{\partial \tilde{h}} = δ_{y} w_{2} ϕ^{'} [\tilde{h}]

변화율에 입력값과 이동 크기를 반영한다

출력 가중치의 갱신에는 δ_y와 중간층 값 h가, 앞 가중치에는 δ_h와 입력 x가 들어간다. 마지막의 Softmax 예제는 출력 점수들을 여러 범주의 확률로 정규화한 것이다. 가중치 갱신과 최종 범주 선택을 별도의 단계로 읽는다.

update w_{2} :

Δ w_{2} = - α \frac{\partial J}{\partial w_{2}} = - α δ_{y} h

update w_{1} :

Δ w_{1} = - α \frac{\partial J}{\partial w_{1}} = - α δ_{h} x

Image Classification

MNIST

28 \times 28 = 784

{\hat{y}}_{k} = \frac{\exp [{w_{k}}^{T} h]}{{\sum_{j = 1}}^{K} \exp [{w_{j}}^{T} h]}

정리하면

순전파는 예측을 계산하는 방향이고, 역전파는 그 예측 오차의 민감도를 전달하는 방향이다. 두 흐름을 구별하면 학습식의 역할을 이해하기 쉽다.

Rest Math · https://rmath.com/articles/feedforward-networks.html · 2026.09.08 v5 · 해설·음성판