일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- 딥러닝
- Python Programming
- Jacobian Matrix
- pandas
- reinforcement learning
- Deep Learning
- statistics
- optimization
- 논문
- Series
- machine learning
- list
- Laplacian
- 사이킷런
- 유니티
- Linear algebra
- neural network
- 김성훈 교수님
- ML-Agent
- David Silver
- 판다스
- paper
- 리스트
- 모두를 위한 RL
- convex optimization
- unity
- rl
- 강화학습
- 데이터 분석
- Hessian Matrix
RL Researcher
미분성 (Differentiability) 본문
미분학은 임의의 함수를 Affine function으로 근사한다라는 개념에 기초한다.
모든 x∈Rn에 대해서 linear function L:Rn→Rm 그리고 벡터 y∈Rm을 만족한다면 함수 A:Rn→Rm은 affine하다.
A(x)=L(x)+y
function f:Rn→Rm 점 x0∈Rn에 대해서 고려해보면, 우리는 점 x0 f 근처에 가까운 affine function A를 찾을려고 합니다.
처음으로, 조건을 부과하는 것은 당연하다.
A(x0)=f(x0)
왜냐하면 A(x)=L(x)+y를 통해 y=f(x0)−L(x0)를 얻을 수 있습니다.
L의 linearity에 따르면,
L+y=L(x)−L(x0)+f(x0)=L(x−x0)+f(x0)
따라서 우리는 아래와 같이 쓸 수 있다.
A(x)=L(x−x0)+f(x0)
다음으로 우리는 A(x)가 x0에 접근하는 것보다 f(x)에 더 빨리 접근해야 한다. 그러므로,
limx→x0,x∈Ω‖f(x)−A(x)‖‖x−x0‖=0
A에 대한 위의 조건은 주어진 지점에서의 근사 오차가 x0에서의 지점 거리에 비해 작다는 점에서 A가 x0 근처 f에 근사하도록 보장한다.
Summary
function f:Ω→Rm,Ω⊂Rn은 x0에 근사하는 affine function이 있는 경우 x0∈Ω에서 미분이 된다. 즉 linear function L:Rn→Rm가 있는 경우,
limx→x0,x∈Ω‖f(x)−(L(x−x0)+f(x0))‖‖x−x0‖=0
위의 linear function L은 f와 x0에 의해 고유하게 결정되며, x0에서의 f의 도함수라고 한다. (function f는 domain Ω의 모든 점에서 f가 미분화된다면 Ω에서 미분화 된다고 한다.)
'Optimization' 카테고리의 다른 글
Gradient, Jacobian Matrix, Hessian Matrix, Laplacian (0) | 2021.07.07 |
---|---|
Bounded sequence (0) | 2021.07.06 |
Taylor Expansion (0) | 2021.07.06 |