RL Researcher

미분성 (Differentiability) 본문

Optimization

미분성 (Differentiability)

Lass_os 2021. 7. 7. 15:39
미분학은 임의의 함수를 $Affine \ function$으로 근사한다라는 개념에 기초한다.

 

모든 $x \in R^{n}$에 대해서 $linear \ function \ \ \mathcal{L} : R^{n} \rightarrow R^{m}$ 그리고 벡터 $y \in R^{m}$을 만족한다면 함수  $\mathcal{A} : R^{n} \rightarrow R^{m}$은 $affine$하다.

$$\mathcal{A}(x)=\mathcal{L}(x)+y$$

function $f:R^{n} \rightarrow R^{m}$ 점 $x_{0} \in R^{n}$에 대해서 고려해보면, 우리는 점 $x_{0}$ $f$ 근처에 가까운 $affine \ function$ $\mathcal{A}$를 찾을려고 합니다.

 

처음으로, 조건을 부과하는 것은 당연하다.

$$\mathcal{A}(x_{0}) = f(x_{0})$$

왜냐하면 $\mathcal{A}(x)=\mathcal{L}(x)+y$를 통해 $y=f(x_{0})-\mathcal{L}(x_{0})$를 얻을 수 있습니다.

$\mathcal{L}$의 linearity에 따르면,

$$\mathcal{L}+y=\mathcal{L}(x)-\mathcal{L}(x_{0})+f(x_{0})=\mathcal{L}(x-x_{0})+f(x_{0})$$

따라서 우리는 아래와 같이 쓸 수 있다.

$$\mathcal{A}(x)=\mathcal{L}(x-x_{0})+f(x_{0})$$

다음으로 우리는 $\mathcal{A}(x)$가 $x_{0}$에 접근하는 것보다 $f(x)$에 더 빨리 접근해야 한다. 그러므로,

$$\underset{x \rightarrow x_{0}, x \in \Omega}{lim} \frac{\left \| f(x)-\mathcal{A}(x) \right \|}{\left \| x-x_{0} \right \|}=0$$

$\mathcal{A}$에 대한 위의 조건은 주어진 지점에서의 근사 오차가 $x_{0}$에서의 지점 거리에 비해 작다는 점에서 $\mathcal{A}$가 $x_{0}$ 근처 $f$에 근사하도록 보장한다.

Summary


function $f: \Omega \rightarrow R^{m}, \Omega \subset R^{n}$은 $x_{0}$에 근사하는 affine function이 있는 경우 $x_{0} \in \Omega$에서 미분이 된다. 즉 linear function $\mathcal{L}:R^{n} \rightarrow R^{m}$가 있는 경우,

$$\underset{x \rightarrow x_{0},x \in \Omega}{lim} \frac{\left \| f(x)-(\mathcal{L}(x-x_{0})+f(x_{0})) \right \|}{\left \| x-x_{0} \right \|}=0$$

위의 linear function $\mathcal{L}$은 $f$와 $x_{0}$에 의해 고유하게 결정되며, $x_{0}$에서의 $f$의 도함수라고 한다. (function $f$는 domain $\Omega$의 모든 점에서 $f$가 미분화된다면 $\Omega$에서 미분화 된다고 한다.)

 

'Optimization' 카테고리의 다른 글

Gradient, Jacobian Matrix, Hessian Matrix, Laplacian  (0) 2021.07.07
Bounded sequence  (0) 2021.07.06
Taylor Expansion  (0) 2021.07.06
Comments