Gradient, Jacobian Matrix, Hessian Matrix, Laplacian

Gradient

---

어떤 다변수 함수 $f(x_{1}, x_{2},,...,x_{n})$가 있을 떄, $f$의 Gradient는 아래와 같이 정의됨.

$$\bigtriangledown f = \begin{pmatrix}
\frac{\partial f}{\partial x_{1}}, & \frac{\partial f}{\partial x_{2}}, & ..., & \frac{\partial f}{\partial x_{n}}
\end{pmatrix}$$

Gradient는 위 식과 같이 각 변수로의 일차 편미분 값으로 구성되는 벡터이다. 이 벡터는 $f$의 값이 가장 가파르게 증가하는 방향을 나타냅니다. 벡터의 크기는 증가의 기울기(가파른 정도)를 나타낸다.

 

Ex)  $f(x_{1},x_{2})=5x_{1}+8x_{2}+x_{1}x_{2}-x_{1}^{2}-2x_{2}^{2}$의 Gradient는

$$Df(x) = (\bigtriangledown f(x))^{T} = \begin{bmatrix}
\frac{\partial f}{\partial x_{1}} & \frac{\partial f}{\partial x_{2}} 
\end{bmatrix} = \begin{bmatrix}
5 + x_{2}- x_{2} - 2x_{1},  & 8  + x_{1} - 4x_{2}
\end{bmatrix}$$

또한 반대로 Gradient에 음수를 취하면 즉, $- \bigtriangledown f$는 $f$값이 가장 가파르게 감소하는 방향을 나타내게 됩니다.

 

이러한 Gradient의 특성은 어떤 함수를 지역적으로 선형 근사(linear approximation)하거나 혹은 Gradient descent방법처럼 함수의 극점(최대값, 최소값 지점)을 찾는 용도로 활용될 수 있습니다.

 

Gradient를 이용한 다변 scalar함수의 $f$의 점 $p$ 근처에서의 선형 근사식은 아래와 같습니다. (First order Tylor expansion).

$$f(x) \simeq f(p) + \bigtriangledown f(p)(x-p)$$

Jacobian Matrix

---

어떤 $f : R^{n} \rightarrow R^{m}$ 함수 $F(x_{1}, ..., x_{n}) = (f_{1}(x_{1}, ..., x_{n}), ..., f_{m}(x_{1}, ..., x_{n}))$에 대한 Jacobian Matrix은 아래와 같이 정의된다.

$$J_{f} = \begin{pmatrix}
\frac{\partial f_{1}}{\partial x_{1}} & \cdots & \frac{\partial f_{1}}{\partial x_{n}}\\ 
\vdots & \ddots & \vdots \\ 
\frac{\partial f_{m}}{\partial x_{1}} & \vdots & \frac{\partial f_{m}}{\partial x_{n}}
\end{pmatrix}$$ 

 

Hessian Matrix

---