AI와 함수 합성 · Rest Math

개념에서 수식으로

먼저 이해할 내용

이 글에서는 인공지능 모델을 여러 계산이 연결된 함수로 바라본다. 입력을 받아 중간 표현을 만들고, 이를 다음 층에 전달해 원하는 출력을 얻는 구조이다. 모델 이름을 먼저 외우기보다 각 식이 이전 단계의 값을 어떻게 바꾸는지 살펴본다.

기호를 먼저 읽기

hₜ⁽ˡ⁾: t번째 입력 또는 시점의 l층 표현
W⁽ˡ⁾, b⁽ˡ⁾: 층의 가중치와 편향
σ: 선형 계산 뒤에 적용하는 변환 함수
∘: 앞 함수의 결과를 다음 함수에 넣는 합성
hₜ₋₁: 이전 시점의 상태

이 글의 흐름

함수 합성에서 시작해 완전연결·합성곱·순환 구조를 비교한다. 이후의 학습 관련 용어는 이러한 함수 연결을 실제로 조정하는 과정과 관련된다.

주제와 표기

Artificial Intelligence (AI)

Machine Learning

Deep Learning

여러 단계를 연결해 하나의 함수를 만든다

함수 합성에서는 첫 단계의 출력이 다음 단계의 입력이 된다. 원문의 근사 기호는 이런 연결로 목표 함수를 표현하려는 관계를 나타낸다. 중간 단계를 많이 연결했다는 사실만으로 목표를 정확히 복원한다고 단정하지는 않는다.

Function Composition

f \approx σ_{L} \circ σ_{L - 1} \circ \dots \circ σ_{1}

Fully-connected network (FC-net)

세 모델의 입력 연결을 비교한다

완전연결 식은 이전 층 표현에 W를 곱하고 b를 더한다. 합성곱 식은 그 자리에 합성곱 연산이 놓인다. 순환 식에는 같은 층의 이전 시점 상태가 추가되어, 현재 입력뿐 아니라 지나온 정보도 함께 반영한다.

{h_{t}}^{l} = σ [W^{l} {h_{t}}^{l - 1} + {b_{t}}^{l}]

Convolutional neural network (CNN)

{h_{t}}^{l} = σ [W^{l} * {h_{t}}^{l - 1} + {b_{t}}^{l}]

Recurrent neural network (RNN)

{h_{t}}^{l} = σ [W^{l} {h_{t}}^{l - 1} + V^{l} {h_{t - 1}}^{l} + {b_{t}}^{l}]

Explosion

모델의 깊이와 학습 방법을 나누어 읽는다

뒤의 네트워크 이름과 층수는 원문에서 제시한 구조 사례이다. 사전학습, Dropout, 정규화, 활성화 함수는 구조 자체와 별도로 학습을 어떻게 수행하는지에 관한 항목이다. 이 목록은 원문 작성 당시의 사례로 읽으며 현재 제품이나 서비스의 사양으로 보지 않는다.

AlexNet (5 convolutional layers + 3 fully connected layers), 2012

VGG (very deep CNN, 16 - 19 weight layers), 2015

GoogLeNet (22 layers), 2015

Deep Residual Net (100 - 1000 layers), 2015

Gradient

Pre - training

Restricted Boltzman machine (RBM) or autoencoder

Training

Dropout

batch normalization

Rectified linear units (ReLU)

Vanishing gradient alleviated

universal approximation

정리하면

서로 다른 모델도 입력을 변환하고 정보를 연결한다는 공통 틀로 읽을 수 있다. 차이는 어떤 입력을 연결하고 어떤 연산을 공유하는지에 있다.

Rest Math · https://rmath.com/articles/artificial-intelligence.html · 2026.09.08 v5 · 해설·음성판