수학과 기하 / NOTE 14

자코비안 행렬

Jacobian Matrix

다변수 함수의 편미분을 행렬로 표현하는 원문을 읽습니다.

♫ 이 문서 듣기

개념에서 수식으로

먼저 이해할 내용

여러 입력을 조금 바꾸었을 때 여러 출력이 각각 얼마나 변하는지 한눈에 보려면 변화율을 표로 모을 수 있다. 자코비안은 이 변화율을 행렬로 정리한 것이다.

기호를 먼저 읽기

x∈ℝⁿ
n개 성분을 가진 입력벡터
f(x)∈ℝᵐ
m개 성분을 가진 출력 또는 잔차벡터
Jᵢⱼ
입력 xⱼ가 출력 fᵢ에 미치는 국소 변화율
Jᵀf
이 문서의 잔차 최소화 문맥에서 사용하는 변화 방향

이 글의 흐름

입력과 출력의 개수를 확인하고, 출력별로 각 입력에 대한 편미분을 계산한다. 그 값을 m행 n열에 놓은 뒤 오차를 줄이는 방향과 연결한다.

주제와 표기

Jacobian matrix and determinant

입력 개수와 출력 개수를 먼저 센다

f:ℝⁿ→ℝᵐ은 입력 성분이 n개이고 출력 성분이 m개라는 뜻이다. 따라서 자코비안은 출력 하나당 한 행, 입력 하나당 한 열을 갖는다. 예를 들어 입력 2개와 출력 3개를 다룬다면 자코비안은 3행 2열이 된다.

f:RnRm,(m×nmatrix)
xRn,f[x]Rm

한 성분을 바꾸었을 때의 반응을 기록한다

∂fᵢ/∂xⱼ는 다른 입력을 고정하고 xⱼ를 조금 바꾸었을 때 fᵢ가 얼마나 민감하게 변하는지 나타낸다. 큰 값은 작은 입력 변화에도 출력이 크게 달라질 수 있음을, 0은 그 지점에서의 일차적인 변화가 없음을 뜻한다.

Ji,j=fixj

잔차와 기울기를 같은 것으로 보지 않는다

Jᵀf는 각 출력의 잔차를 입력 방향으로 모아 오차를 줄이는 방향을 찾는 문맥에서 읽는다. 엄밀하게는 벡터함수의 미분인 J와 스칼라 제곱오차의 기울기는 서로 다르다. 원문의 ∇f 표기를 모든 벡터함수에 적용되는 일반 미분 공식으로 확대하지 않는다.

f=JTf
수식

정리하면

자코비안은 입력과 출력 사이의 국소적인 연결표이다. 잔차 자체, 자코비안, 하나의 스칼라 오차에 대한 기울기를 구별하면 행렬의 차원과 계산 목적이 명확해진다.