일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Laplacian
- neural network
- rl
- 유니티
- 모두를 위한 RL
- ML-Agent
- 데이터 분석
- Series
- 딥러닝
- 리스트
- 김성훈 교수님
- 판다스
- paper
- list
- optimization
- 강화학습
- pandas
- Deep Learning
- statistics
- David Silver
- machine learning
- convex optimization
- Linear algebra
- Jacobian Matrix
- unity
- 논문
- Hessian Matrix
- Python Programming
- 사이킷런
- reinforcement learning
RL Researcher
미분성 (Differentiability) 본문
미분학은 임의의 함수를 $Affine \ function$으로 근사한다라는 개념에 기초한다.
모든 $x \in R^{n}$에 대해서 $linear \ function \ \ \mathcal{L} : R^{n} \rightarrow R^{m}$ 그리고 벡터 $y \in R^{m}$을 만족한다면 함수 $\mathcal{A} : R^{n} \rightarrow R^{m}$은 $affine$하다.
$$\mathcal{A}(x)=\mathcal{L}(x)+y$$
function $f:R^{n} \rightarrow R^{m}$ 점 $x_{0} \in R^{n}$에 대해서 고려해보면, 우리는 점 $x_{0}$ $f$ 근처에 가까운 $affine \ function$ $\mathcal{A}$를 찾을려고 합니다.
처음으로, 조건을 부과하는 것은 당연하다.
$$\mathcal{A}(x_{0}) = f(x_{0})$$
왜냐하면 $\mathcal{A}(x)=\mathcal{L}(x)+y$를 통해 $y=f(x_{0})-\mathcal{L}(x_{0})$를 얻을 수 있습니다.
$\mathcal{L}$의 linearity에 따르면,
$$\mathcal{L}+y=\mathcal{L}(x)-\mathcal{L}(x_{0})+f(x_{0})=\mathcal{L}(x-x_{0})+f(x_{0})$$
따라서 우리는 아래와 같이 쓸 수 있다.
$$\mathcal{A}(x)=\mathcal{L}(x-x_{0})+f(x_{0})$$
다음으로 우리는 $\mathcal{A}(x)$가 $x_{0}$에 접근하는 것보다 $f(x)$에 더 빨리 접근해야 한다. 그러므로,
$$\underset{x \rightarrow x_{0}, x \in \Omega}{lim} \frac{\left \| f(x)-\mathcal{A}(x) \right \|}{\left \| x-x_{0} \right \|}=0$$
$\mathcal{A}$에 대한 위의 조건은 주어진 지점에서의 근사 오차가 $x_{0}$에서의 지점 거리에 비해 작다는 점에서 $\mathcal{A}$가 $x_{0}$ 근처 $f$에 근사하도록 보장한다.
Summary
function $f: \Omega \rightarrow R^{m}, \Omega \subset R^{n}$은 $x_{0}$에 근사하는 affine function이 있는 경우 $x_{0} \in \Omega$에서 미분이 된다. 즉 linear function $\mathcal{L}:R^{n} \rightarrow R^{m}$가 있는 경우,
$$\underset{x \rightarrow x_{0},x \in \Omega}{lim} \frac{\left \| f(x)-(\mathcal{L}(x-x_{0})+f(x_{0})) \right \|}{\left \| x-x_{0} \right \|}=0$$
위의 linear function $\mathcal{L}$은 $f$와 $x_{0}$에 의해 고유하게 결정되며, $x_{0}$에서의 $f$의 도함수라고 한다. (function $f$는 domain $\Omega$의 모든 점에서 $f$가 미분화된다면 $\Omega$에서 미분화 된다고 한다.)
'Optimization' 카테고리의 다른 글
Gradient, Jacobian Matrix, Hessian Matrix, Laplacian (0) | 2021.07.07 |
---|---|
Bounded sequence (0) | 2021.07.06 |
Taylor Expansion (0) | 2021.07.06 |