선형 모델과 분류

개념에서 수식으로

먼저 이해할 내용

입력과 출력의 관계를 모델로 정한다는 것은, 관측한 샘플을 이용해 새로운 입력에서도 쓸 수 있는 규칙을 찾는 일이다. 이 글은 연속값을 예측하는 회귀와 범주를 구별하는 분류를 나누고, 각각의 오차와 학습 목적을 설명한다.

기호를 먼저 읽기

xₙ, yₙ: 입력과 그에 대응하는 정답
w, w₀: 입력의 가중치와 기준값
φ(x): 입력을 다른 표현으로 옮기는 기저 또는 특징
λ: 정규화 항의 비중을 정하는 계수
σ(·), ŷ: 확률을 만드는 함수와 예측값
J, ℓ: 학습에서 줄이려는 오차 또는 손실

이 글의 흐름

예측 대상과 모델을 정한 뒤 잔차·제곱오차를 만든다. 정규화로 계수의 크기까지 고려하고, 분류에서는 확률·교차엔트로피·우도의 관계로 확장한다.

주제와 표기

Linear Models

Universal Approximation

모델이 해결할 문제를 먼저 정한다

학습 샘플에는 입력과 목표 출력이 짝으로 들어 있다. 연속적인 값을 예측할지, 정해진 범주를 구별할지에 따라 모델의 출력 의미가 달라진다. 특징을 사람이 정할지 모델이 학습할지도 이 문제 설정과 연결된다.

Task

Model = Approximation

Sample Training set

Algorithm

Engineering Features (SIFT, HOG) ⇒ Learning Features

Linear Models

Linear regression

Regularization

회귀와 이진 분류를 구별한다

회귀에서는 실수값을 예측하고, 이진 분류에서는 두 범주 중 하나에 해당할 가능성을 다룬다. 원문은 과적합을 줄이기 위한 정규화와 로지스틱 확률 모델을 함께 소개한다. 이후 수식에서 같은 w를 사용해도 출력이 실수인지 확률인지 먼저 확인한다.

Alleviate overfitting

Ridge regression (L_{2} n o r m regularizer)

LASSO (L_{1} norm regularizer)

Binary Classification

Logistic Regression

Models the input - output by conditional Bernoulli distribution

P [y_{n} = 1 ∣ x_{n}] = σ [W^{T} x_{n}]

IRLS algorithm

Data = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{N}, y_{N})}

x_{n} : input

y_{n}

: Target output

Goal : Find a mapping from X to Y

Linear models for regression

오차를 샘플별로 계산하고 모은다

직선 예측 w₁xₙ+w₀와 관측값 yₙ의 차이가 eₙ이다. 모든 샘플의 eₙ²를 더하면 양·음 오차가 서로 상쇄되지 않는 목적함수를 만들 수 있다. 계수로 미분하는 다음 식은 그 목적함수를 작게 만드는 방향을 찾기 위한 것이다.

Regression : y_{n} \in R (real value)

Classification : y_{n} \in {0, 1} o r y_{n} \in {1, 2, \dots, N}

D = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{N}, y_{N})}

y_{n} = w_{1} x_{n} + w_{0}

model parameter = {w_{1}, w_{0}}

linear algebraic equation

y_{n} \approx w_{1} x_{n} + w_{0}

error : e_{n} = y_{n} - w_{1} x_{n} - w_{0}

{minimize}_{w_{1}, w_{0}} \sum {e_{n}}^{2}

\frac{\partial}{\partial W_{1}} \sum {e_{n}}^{2}, \frac{\partial}{\partial W_{0}} \sum {e_{n}}^{2}

Problem Setup

입력 표현과 계수를 분리한다

φⱼ(x)는 입력에서 계산하는 특징이고 wⱼ는 그 특징에 적용할 계수이다. 선형모델은 이 계수들의 가중합으로 출력을 만든다. 원문은 신경망과 커널 표현도 나란히 놓으므로, 어떤 값이 입력에서 계산되고 어떤 값이 학습되는지 비교하며 읽는다.

Given a set of N labeled examples,

D

= {(

x_{n}

y_{n}

)} _ (n = 1)

^{N}

(

x_{n}

∈X⊂

R^{D}

and

y_{n}

∈Y⊂

R

), the goal is to learn a mapping

f [x] : X \to Y

which associates x with y, such tat we can make prediction abot

y_{*}

when a new input

x_{*}

∉

D

is provided .

Basic Function

ϕ_{j} [x]

Linear models

$[x] = Underoverscript[∑, j = 1, arg3] w_jφ_j[x] + w_0$

Neural networks

$[x] = Underoverscript[∑, j = 1, arg3] w_j^(2) φ[∑_kW_ (j, k)^{1} x_k + b_j^(1)]$

Kernel regression

f [x] = \sum_{n = 1}^{N} w_{n} k [x, x_{n}] + w_{0}

Least Squares Method

최소제곱을 벡터와 행렬로 정리한다

관측값 벡터와 예측값 벡터의 차이에 L₂ 노름 제곱을 적용한다. 잔차벡터를 전치하여 자신과 곱하면 각 잔차의 제곱합이 된다는 다음 식을 확인한다. 정상방정식으로 계수를 정리할 때에는 이 문서의 Φ 행·열 배치를 유지하고 역행렬 존재 조건을 확인한다.

norm of x = | x | _p = (∑_i | $x_{i}$ |^p)^1/p

Given a set of training data {(

x_{n}

y_{n}

)} _ (n = 1)

^{N}

, we determine the weight vector

w

∈

R^{M + 1}

which minimizes

J_{LS} [w] = \frac{1}{2 N} \sum_{n = 1}^{N} {(y_{n} - w^{T} ϕ [x_{n}])}^{2} = \frac{1}{2 N} {| y - Φ^{T} w |}_{2}^{2},

$수식$

Note that

{| y - Φ^{T} w |}_{2}^{2} = {(y - Φ^{T} w)}^{T} (y - Φ^{T} w)

w_{LS} = {(Φ Φ^{T})}^{- 1} Φ y

Regularization

정확히 맞추는 것과 복잡도를 함께 고려한다

손실 항은 관측값을 잘 설명하는지 측정하고, 정규화 항은 모델의 복잡도에 비용을 부과한다. λ는 두 목적의 상대적인 비중이다. 따라서 λ를 모델이 직접 학습하는 가중치와 같은 역할로 보지 않는다.

Interested in : Inferring a function of any x, given N examples

D

= {(

x_{n}

y_{n}

)} _ (n = 1)

^{N}

Consider a loss function ℓ[

f [x_{n}; W]

y_{n}

] . For instance, LS regression uses the square loss :

\sum_{n = 1}^{N} ℓ [f [x_{n}; W], y_{n}] = \frac{1}{2 N} {| y - Φ^{T} W |}_{2}^{2}

A regularizer (which imposes a penalty on the complexity of

f

) is added to the loss function, leading to

\underset{loss}{\underset{⏟}{\sum_{n = 1}^{N} ℓ [f [x_{n}; W], y_{n}]}} + \underset{reqularizer}{\underset{⏟}{λ R [f]}}

where λ controls the importance of the regularization term (hyperparameter)

model parameter = w = {w_{1}, w_{0}}

hyperparameter = λ

Ridge Regression

Ridge는 계수의 제곱 크기를 함께 줄인다

제곱오차에 가중치의 L₂ 제곱 항을 더한 뒤 미분하면 λI가 포함된 선형관계가 나타난다. 제약식 표현의 B는 허용할 계수 크기와 관련된다. λ를 정하고 학습한 뒤 검증 오차를 비교하는 순서가, 계수를 구하는 계산과 설정값을 선택하는 계산의 차이를 보여준다.

The ridge regression can be written as

min_{w} \frac{1}{2} {| y - Φ^{T} W |}_{2}^{2} + \frac{λ}{2} {| w |}_{2}^{2}

or as a bounded constrained form :

min_{w} \frac{1}{2} {| y - Φ^{T} W |}_{2}^{2}, s \cdot t \cdot {| w |}_{2}^{2} \leq B

A small (tight) bound B corresponds to large penalty λ and vice versa .

Then,

\frac{\partial}{\partial w [\frac{1}{2} {| y - Φ^{T} W |}_{2}^{2} + \frac{λ}{2} {| w |}_{2}^{2}]} = - Φ y + (Φ Φ^{T} + λ I) w

Equating to zero yields

w_{Ridge} = {(Φ Φ^{T} + λ I)}^{- 1} Φ y

Find λ

Fix λ → Find

w

by Training → Validation error

Cross - validataion

Illusstration

Square loss + L_{2} n o r m regularizer : \begin{matrix} \frac{1}{2} {| y - Φ^{T} W |}_{2}^{2} & + & \frac{λ}{2} {| w |}_{2}^{2} \\ L S f i t & regularizer \end{matrix}

Logistic Regression

점수를 확률로 바꾸어 두 범주를 구별한다

wᵀx는 제한이 없는 점수이고, σ를 적용한 결과는 0과 1 사이의 확률로 읽는다. y가 0 또는 1일 때 조건부 평균과 y=1의 확률을 연결할 수 있다. σ의 분모가 1+e의 지수항으로 구성되는 것을 확인한다.

\exp e c t a t i o n E

model [w, x] = w^{T} x \Leftrightarrow E [y ∣ x]

Binary classification

y \in {0, 1}

E [y ∣ x] = P [y = 1 ∣ x]

model [w, x] = P [y = 1 ∣ x]

σ [w^{T} x] = P [y = 1 ∣ x]

\log i s t i c function = \frac{1}{1 + e^{- w^{T} x}}

Logistic Regression

Predict a binary output

y_{n}

∈ {0, 1} from an input

x_{n}

The logistic regression models the input - output by a conditional Bernouli distribution

E [y_{n} ∣ x_{n}] = P [y_{n} = 1 ∣ x_{n}] = σ [w^{T} x_{n}]

where

σ [ξ] = \frac{1}{1 + e^{- ξ}} = \frac{e^{ξ}}{1 + e^{ξ}}

Discriminative model : Directly model

p [y ∣ x]

Error function

확률 예측의 오차를 로그로 측정한다

이진 교차엔트로피에는 정답이 1인 경우와 0인 경우에 해당하는 두 로그 항이 있다. 정답 범주의 확률을 낮게 주면 손실이 커지는 구조이다. 여러 범주로 확장하면 정답 지시값과 각 범주의 예측 확률을 곱한 로그 항을 모두 더한다.

Regression ⇔ square loss

Binary classification ⇔ cross - entropy error

H [p; q] = E_{p} [- \log [q]]

= - \sum_{x} p [x] \log [q [x]]

Cross entropy error

p \in {y, 1 - y}, q \in {\hat{y}, 1 - \hat{y}}

ϵ = \sum_{n = 1}^{N} (- y_{n} \log [{\hat{y}}_{n}] - (1 - y_{n}) \log [1 - {\hat{y}}_{n}])

p \in {y_{1}, y_{2}, \dots, y_{k}}, q \in {{\hat{y}}_{1}, {\hat{y}}_{2}, \dots, {\hat{y}}_{k}}

$ε = Underoverscript[∑, n = 1, arg3] Underoverscript[∑, k = 1, arg3] (-y_ (k, n) Log[Overscript[y,^] _ (k, n)])$

ex

제시된 확률 예제를 직접 읽는다

예측이 0.7·0.2·0.1이고 정답이 첫 번째 범주라면, 정답 벡터의 0인 성분 때문에 나머지 항은 없어지고 −Log(0.7)이 남는다. 원문의 0.356675는 이 계산 결과이다. 중요한 점은 정답 범주의 확률이 손실에 어떻게 연결되는지이다.

model \to \hat{y} = (\begin{matrix} 0.7 \\ 0.2 \\ 0.1 \end{matrix}), Target y = (\begin{matrix} 1 \\ 0 \\ 0 \end{matrix})

C E = - 1 \log [0.7] - 0 \log [0.2] - 0 \log [0.1]

= - \log [0.7] = 0.356675

Logistic Regression:MLE

확률의 곱을 로그의 합으로 바꾼다

각 샘플의 정답 확률을 곱하면 우도가 된다. 로그를 취하면 샘플별 합으로 바뀌어 학습 목적을 다루기 쉬워진다. 로그우도를 크게 만드는 것과 그 음수를 작게 만드는 것은 같은 방향의 목표이다.

Given {(

x_{n}

y_{n}

) | n = 1, …, N}, the likelihood is given by

p [y ∣ X, w] = \prod_{n = 1}^{N} {p [y_{n} = 1 ∣ x_{n}]}^{y}_{n} {(1 - p [y_{n} = 1 ∣ x_{n}])}^{1 - y_{n}}

= \prod_{n = 1}^{N} {σ [w^{T} x_{n}]}^{y}_{n} {(1 - σ [w^{T} x_{n}])}^{1 - y_{n}}

Then log - likelihood function is given by

L = \sum_{n = 1}^{N} \log [p [y_{n} ∣ x_{n}]] = \sum_{n = 1}^{N} {y_{n} \log [{\hat{y}}_{n}] + (1 - y_{n}) \log [1 - {\hat{y}}_{n}]}

where

{\hat{y}}_{n}

σ [w^{T} x_{n}]

This is a nonlinear function of w whose maximum cannot be computed in a closed form .

Iterative re - weighted least squares (IRLS) is a popular algorithm, derived from Neton method .

Iterative, Gradient descent

x^{k} \leftarrow x^{k - 1} - α \frac{\partial f}{\partial x} ∣_{x = x^{k - 1}}

Logistic Regression:IRLS

IRLS와 다중 범주 확장을 읽는다

IRLS 구간에서는 기울기뿐 아니라 헤시안으로 표현한 곡률도 사용해 계수의 갱신량을 구한다. 뒤의 Softmax는 여러 범주의 점수를 지수화한 뒤 그 합으로 나누어 확률을 만든다. 분모의 합 범위와 범주 첨자를 먼저 확인해야 정규화의 의미가 유지된다.

Newton ' s update has the form

Δw=-	${(\sum_{n = 1}^{N} {\hat{y}}_{n} (1 - {\hat{y}}_{n}) x_{n} {x_{n}}^{T})}^{- 1}$	$(- \sum_{n = 1}^{N} (y_{n} - {\hat{y}}_{n}) x_{n})$
	$inverse o f Hessian, {(\nabla^{2} J [w])}^{- 1}$	gradient,∇J[w]

Newton ' s update reduces to iterative re - weighted least squares (IRLS)

w \leftarrow w + {(X S X^{T})}^{- 1} X S b

where

$수식$

Multiclass Extension: Softmax Regression

p [y = k ∣ x] = \frac{e^{{w_{k}}^{T} x}}{e^{{w_{1}}^{T} x} + \dots + e^{{w_{k}}^{T} x}}

정리하면

회귀와 분류는 출력의 의미와 오차를 정의하는 방식이 다르다. 무엇을 예측하는지 먼저 정해야 같은 수식의 계수와 손실을 올바르게 읽을 수 있다.

Rest Math · https://rmath.com/articles/linear-models.html · 2026.09.08 v5 · 해설·음성판

먼저 이해할 내용

기호를 먼저 읽기

이 글의 흐름

Universal Approximation

01모델이 해결할 문제를 먼저 정한다

Model = Approximation

Linear Models

02회귀와 이진 분류를 구별한다

Linear models for regression

03오차를 샘플별로 계산하고 모은다

Problem Setup

04입력 표현과 계수를 분리한다

Basic Function

Linear models

Neural networks

Kernel regression

Least Squares Method

05최소제곱을 벡터와 행렬로 정리한다

Regularization

06정확히 맞추는 것과 복잡도를 함께 고려한다

Ridge Regression

07Ridge는 계수의 제곱 크기를 함께 줄인다

Find λ

Illusstration

Logistic Regression

08점수를 확률로 바꾸어 두 범주를 구별한다

Logistic Regression

Error function

09확률 예측의 오차를 로그로 측정한다

Cross entropy error

ex

10제시된 확률 예제를 직접 읽는다

Logistic Regression:MLE

11확률의 곱을 로그의 합으로 바꾼다

Logistic Regression:IRLS

12IRLS와 다중 범주 확장을 읽는다

Multiclass Extension: Softmax Regression

정리하면

함께 읽을 노트

모델이 해결할 문제를 먼저 정한다

회귀와 이진 분류를 구별한다

오차를 샘플별로 계산하고 모은다

입력 표현과 계수를 분리한다

최소제곱을 벡터와 행렬로 정리한다

정확히 맞추는 것과 복잡도를 함께 고려한다

Ridge는 계수의 제곱 크기를 함께 줄인다

점수를 확률로 바꾸어 두 범주를 구별한다

확률 예측의 오차를 로그로 측정한다

제시된 확률 예제를 직접 읽는다

확률의 곱을 로그의 합으로 바꾼다

IRLS와 다중 범주 확장을 읽는다