RL Researcher

미분성 (Differentiability) 본문

Optimization

미분성 (Differentiability)

Lass_os 2021. 7. 7. 15:39
미분학은 임의의 함수를 Affine function으로 근사한다라는 개념에 기초한다.

 

모든 xRn에 대해서 linear function  L:RnRm 그리고 벡터 yRm을 만족한다면 함수  A:RnRmaffine하다.

A(x)=L(x)+y

function f:RnRmx0Rn에 대해서 고려해보면, 우리는 점 x0 f 근처에 가까운 affine function A를 찾을려고 합니다.

 

처음으로, 조건을 부과하는 것은 당연하다.

A(x0)=f(x0)

왜냐하면 A(x)=L(x)+y를 통해 y=f(x0)L(x0)를 얻을 수 있습니다.

L의 linearity에 따르면,

L+y=L(x)L(x0)+f(x0)=L(xx0)+f(x0)

따라서 우리는 아래와 같이 쓸 수 있다.

A(x)=L(xx0)+f(x0)

다음으로 우리는 A(x)x0에 접근하는 것보다 f(x)에 더 빨리 접근해야 한다. 그러므로,

limxx0,xΩf(x)A(x)xx0=0

A에 대한 위의 조건은 주어진 지점에서의 근사 오차가 x0에서의 지점 거리에 비해 작다는 점에서 Ax0 근처 f에 근사하도록 보장한다.

Summary


function f:ΩRm,ΩRnx0에 근사하는 affine function이 있는 경우 x0Ω에서 미분이 된다. 즉 linear function L:RnRm가 있는 경우,

limxx0,xΩf(x)(L(xx0)+f(x0))xx0=0

위의 linear function Lfx0에 의해 고유하게 결정되며, x0에서의 f의 도함수라고 한다. (function f는 domain Ω의 모든 점에서 f가 미분화된다면 Ω에서 미분화 된다고 한다.)

 

'Optimization' 카테고리의 다른 글

Gradient, Jacobian Matrix, Hessian Matrix, Laplacian  (0) 2021.07.07
Bounded sequence  (0) 2021.07.06
Taylor Expansion  (0) 2021.07.06