Taylor Expansion

$\boldsymbol{Taylor \ expansion}$은 $\boldsymbol{Taylor \ series}$로도 불리며, Optimization Method를 이해하는데 매우 중요하다.

first fundamental theorem of calclus로부터 아래의 수식이 성립함을 알 수 있다.

$$f(x+h)=f(x)+\int_{0}^{h}f^{'}(x+a)da$$

정의를 중복해서 적용하면 $x$ 주변의 $f$의 Taylor expansion을 산출한다.

$$f(x+h)=f(x)+\int_{0}^{h}(f^{'}(x)+\int_{0}^{a}f^{''}(x+b)db)da \\ = f(x)+f^{'}(x)h+\int_{0}^{h} \int_{0}^{a} f^{''}(x+b)db \ da \\ = f(x)+f^{'}(x)h+\int_{0}^{h} \int_{0}^{a}(f^{''}(x)+ \int_{0}^{b}f^{'''}(x+c)dc)db \ da \\ =f(x)+f^{'}(x)h +\frac{f^{''}(x)}{2!}+ \int_{0}^{h} \int_{0}^{a} \int_{0}^{b} f^{'''}(x+c)dc \ db \ da \\ \vdots \\ =f(x) + \frac{f^{'}(x)}{1!}h + \frac{f^{''}(x)}{2!}h^{2}+\frac{f^{'''}(x)}{3!}h^{3}+\cdots \\ = \sum_{n=0}^{\infty}\frac{f^{n} (x)}{n!}h^{n}$$