티스토리

RL Researcher

검색하기

블로그 홈

RL Researcher

lass-os.tistory.com/m

ML, DL, RL, Mathematics, Optimization

구독자: 2

방명록 방문하기

주요 글 목록

01. Introduction to Vectors 두 개의 벡터 $v,w$가 있다고 하자.(벡터에 어떠한 scalar값을 곱한 것을 $cv, dw$라고 정의) Combining two operation called "$\boldsymbol{linear \ combination}$". $$cv + dw = c\begin{bmatrix} 1\\1 \end{bmatrix} = d\begin{bmatrix} 2\\3 \end{bmatrix}=\begin{bmatrix} c+2d\\c+3d \end{bmatrix}$$ 벡터 $cv$는 line을 따라 놓여 있지만, $w$ 벡터는 line 위에 있지 않다. 두 벡터의 조합인 $cv + dw$는 2차원 평면을 채운다. (항상 그렇지는 않지만, 벡터와 그들의 조합은 평면(plane)이나 선(line) 위에 놓인다.) .. 공감수 0 댓글수 0 2021. 7. 14.
Gradient, Jacobian Matrix, Hessian Matrix, Laplacian Gradient 어떤 다변수 함수 $f(x_{1}, x_{2},,...,x_{n})$가 있을 떄, $f$의 Gradient는 아래와 같이 정의됨. $$\bigtriangledown f = \begin{pmatrix} \frac{\partial f}{\partial x_{1}}, & \frac{\partial f}{\partial x_{2}}, & ..., & \frac{\partial f}{\partial x_{n}} \end{pmatrix}$$ Gradient는 위 식과 같이 각 변수로의 일차 편미분 값으로 구성되는 벡터이다. 이 벡터는 $f$의 값이 가장 가파르게 증가하는 방향을 나타냅니다. 벡터의 크기는 증가의 기울기(가파른 정도)를 나타낸다. Ex) $f(x_{1},x_{2})=5x_{1}+8x_.. 공감수 0 댓글수 0 2021. 7. 7.
미분성 (Differentiability) 미분학은 임의의 함수를 $Affine \ function$으로 근사한다라는 개념에 기초한다. 모든 $x \in R^{n}$에 대해서 $linear \ function \ \ \mathcal{L} : R^{n} \rightarrow R^{m}$ 그리고 벡터 $y \in R^{m}$을 만족한다면 함수 $\mathcal{A} : R^{n} \rightarrow R^{m}$은 $affine$하다. $$\mathcal{A}(x)=\mathcal{L}(x)+y$$ function $f:R^{n} \rightarrow R^{m}$ 점 $x_{0} \in R^{n}$에 대해서 고려해보면, 우리는 점 $x_{0}$ $f$ 근처에 가까운 $affine \ function$ $\mathcal{A}$를 찾을려고 합니다. 처음.. 공감수 0 댓글수 0 2021. 7. 7.
Triangle Factors and Row exchanges 아래와 같은 연립 방적식인 $Ax=b$가 있다고 하자. $$Ax = \begin{bmatrix} 2 & 1 & 1\\ 4 & -6 & 0\\ -2 & 7 & 2 \end{bmatrix} \begin{bmatrix} u\\ v\\ w \end{bmatrix} = \begin{bmatrix} 5\\ -2\\ 9 \end{bmatrix}=b$$ 이 행렬에서는 3번의 소거 단계가 있다. 1. 1st equation의 2배를 2nd equation에서 뺀다. 2. 2nd equation의 -1배를 3rd equation에서 뺀다. 3. 1st equation의 -1배를 3rd equation에서 뺀다. 위의 단계를 수행하게 되면 if and only if인 연립 방정식 $Ux=c$가 나오는데, $U$는 coeff.. 공감수 0 댓글수 0 2021. 7. 7.
Bounded sequence sequence $(x_{n})$의 모든 원소의 absolute value가 어떠한 실수 $M > 0$보다 작거나 같은 경우에 Sequence $(x_{n})$는 bounded 라고 한다. 모든 $n \in \mathbb{N}$에 대해서 $\left | x_{n} \right | \le M$인 실수 $M > 0$이 존재하면 sequence $(x_{n})$은 bounded이다. 모든 $n \in \mathbb{N}$에 대해 $x_{n} \le A$인 실수 $A$가 존재한다면, sequence $(x_{n})$은 bounded above라고 하고, $A$는 upper bound라고 한다. (upper bound 중에서 가장 작은 upper bounded는 least upper bounded 또는 supre.. 공감수 0 댓글수 0 2021. 7. 6.
Taylor Expansion $\boldsymbol{Taylor \ expansion}$은 $\boldsymbol{Taylor \ series}$로도 불리며, Optimization Method를 이해하는데 매우 중요하다. first fundamental theorem of calclus로부터 아래의 수식이 성립함을 알 수 있다. $$f(x+h)=f(x)+\int_{0}^{h}f^{'}(x+a)da$$ 정의를 중복해서 적용하면 $x$ 주변의 $f$의 Taylor expansion을 산출한다. $$f(x+h)=f(x)+\int_{0}^{h}(f^{'}(x)+\int_{0}^{a}f^{''}(x+b)db)da \\ = f(x)+f^{'}(x)h+\int_{0}^{h} \int_{0}^{a} f^{''}(x+b)db \ da \\ = f.. 공감수 0 댓글수 0 2021. 7. 6.
Inverse & Transpose & Symmetric Matrix $A$라는 행렬의 역행렬(Inverse matrix)은 $A^{-1}$으로 표기한다. Properties) 1. A가 가역 행렬(invertible matrix)이면 $Ax=b$의 유일한 해인 $x=A^{-1}b$가 존재한다. 2. 영벡터가 아닌 $x$가 존재하지만 $Ax=0$이면 $A$의 역행렬은 존재하지 않는다. 3. $2 \times 2$ matrix가 invertible matrix려면 $ad-bc \neq 0$이여야 한다. ($ad-bc$는 determinant이며 $det(A)$가 0이 아닐때 역행렬이 존재한다.) $$\begin{bmatrix} a & b\\ c &d \end{bmatrix}^{-1}=\frac{1}{ad-bc}\begin{bmatrix} d & -b\\ -c & a \end.. 공감수 0 댓글수 0 2021. 7. 2.
Hyperplane $u_{1}, u_{2}, ...,u_{n}, v \in \mathbb{R}$이고, 적어도 한개 이상의 $u_{i}$가 0이 아니라고 했을 때, 집합 $x=[x_{1}, x_{2}, ..., x_{n}]^{T}$ 안의 모든 점들은 아래의 선형 방정식(linear equation)을 만족합니다. $$u_{1}x_{1} + u_{2}x_{2} + \cdots + u_{n}x_{n} = v$$ 우리는 위의 수식을 $\mathbb{R}^{n}$공간의 $\boldsymbol{hyperplane}$이라고 합니다. ($\boldsymbol{hyperplane}$은 아래의 수식으로 설명할 수 있습니다.) $$\left \{\boldsymbol{x} \in \mathbb{R}^{n} : \boldsymbol{u}^{T}.. 공감수 0 댓글수 0 2021. 7. 1.
Line Segment 우선 $\mathbb{R}^{n}$ 차원에 대해서 정의하면, $\mathbb{R}^{n}$ 차원 공간의 elements는 n-component vector $x=[x_{1},x_{2},...,x_{n}]^{T}$이다. $\mathbb{R}^{n}$서 두점 $x$와 $y$사이의 $\boldsymbol{line \ segment}$는 점 $x$와 $y$를 접합하는 직선 상의 점 집합입니다. $z$가 $x$와 $y$ 사이의 $\boldsymbol{line \ segment}$에 있는 경우는 아래와 같이 정의할 수 있습니다. $$z-y=\alpha (x-y)$$ $\alpha$는 $[0,1]$ 사이의 실수. 위의 방정식은 $z=\alpha x+(1-\alpha)y$로 다시 쓸 수 있으므로, 따라서 $x$와 $y.. 공감수 0 댓글수 0 2021. 7. 1.
초평면 (Hyperplane) What is Hyperplane? 초평면의 "초" 는 뛰어넘을 초(超)이며, 평면을 뛰어넘는 평면이라는 뜻임. (Plane에서 확장된 개념) 아래의 두 개의 변수로 만들어진 1차식을 봅시다. $$ax+by+c=0$$ 위 식은 2차원 평면에 그려지는 직선의 방정식이다. 변수를 하나 추가해보겠습니다. $$ax+by+cz+d=0$$ 위 식은 3차원 공간 상에 그려지는 평면의 방정식입니다. 변수를 하나 더 추가해 보겠습니다. $$a_{1}x_{1}+a_{2}x_{2}+a_{3}x_{3}+a_{4}x_{4}+c=0$$ 위의 식은 어떻게 정의할 수 있을까요? $\Rightarrow$ 정의는 "plane"을 일반화하여 "Hyperplane"으로 부르기로 하였습니다. 일차식으로 만들어지는 도형을 전부 "Hyperpl.. 공감수 0 댓글수 0 2021. 7. 1.
Statistics - Basic of Statistics What is Statistics? 모집단(Population)에서 표본(Sample)을 추출하여 표본을 분석해 모집단을 추정하고 추론하는 것. 모집단 (Population) : 분석의 대상이 되는 모든 개체들을 모은 집합. 일반적으로는 시간적이나 공간적인 제약이 존재하여 모집단 전체를 대상으로 분석은 불가능하다. 표본 (Sample) : 모집단의 일부분의 관측값들을 추출한 것. * 우리가 하게 되는 Statistics에서는 표본의 통계량(Statistic)을 통해서 모집단의 요약값인 Parameter를 추정하는 것이다. 모수 (Parameter) : 표본을 통해서 뽑아낸 통계량을 이용해 수치로 표현되는 모집단의 특성. 통계량 (Statistic) : 표본의 관측값들에 의해서 결정되는 양. Types o.. 공감수 0 댓글수 0 2021. 6. 25.
Law of Large Numbers 큰 population에서 무작위로 뽑은 sample average가 전체 population의 average와 가까울 가능성이 높다는 통계와 확률 분야의 기본 개념이다. Week Law of Larfe Numbers라고도 한다 Law of Large Numbers는 population 전체를 조사, 관측하지 않더라도 population으로부터 충분히 큰 표본을 뽑아 sample average를 계산하면 그것이 모평균과 같아진다는 점을 보여주기 때문에, sample average를 통한 모평균의 예측방법(Generally, 표본 통계량을 통한 모수의 추정 방법)이 타탕함을 보여주는 매우 중요한 법칙임. ex) 모든 학생의 평균 성적을 조사한다고 했을 때, 학교 전체를 조사할 수 없으므로 일정 학교만을 무.. 공감수 0 댓글수 0 2021. 6. 6.
01. Introduction to Reinforcement Learning What is Reinforcement Learning? 강아지한테 공 잡는 법을 가르친다고 하였을 때, 강아지가 공을 잡기 위해 어떻게 움직여야 하는지 하나하나 가르치기에는 매우 어려워 보입니다. 강화학습은 행동을 직접 가르치는 대신, 강아지가 공을 잘 받으면 쿠키를 주고, 공을 못 받으면 쿠키를 주지 않는 방식으로 가르치는 것입니다. 강아지는 쿠키를 얻을 수 있는 행동을 반복적으로 학습하고, 결과적으로 공을 잘 받게 될 것입니다. Reinforcement Learning은 무엇을 어떻게 하라고 직접적으로 가르치는 대신, 행동에 따라 Reward를 주는 간접 방식으로 가르칩니다. 강화학습에서의 보상은 Positive Reward와 Negative Reward 모두 가능합니다. Agent는 Trial a.. 공감수 0 댓글수 0 2021. 4. 3.
Chapter 1 - Introduction Mathematical optimization $mathematical \ optimization \ problem$, 또는 $optimization \ problem$ 은 다음과 같은 형식으로 가지고 있습니다. vector $x = (x_{1},...,x_{n})$ : 문제의 $optimization \ variable$ or $decision \ variable$ function $f_{0}:R^{n}\rightarrow R$ : $objective \ function$ function $f_{i}:R^{n}\rightarrow R, \ i=1,...,m$ : $(ineuqality) \ constraint \ functions$ $b_{1},...,b_{m}$ : limits, or bound fo.. 공감수 0 댓글수 0 2021. 3. 21.
[Statistics] Bayes' theorem 베이즈 정리는 데이터라는 조건이 주어졌을 때의 조건부 확률을 구하는 공식이다. 베이즈 정리를 쓰면 데이터가 주어지기 전의 사전확률값이 데이터가 주어지면서 어떻게 변하는지 계산할 수 있다. 따라서 데이터가 주어지기 전에 이미 어느 정도 확률값을 예측하고 있을 때 이를 새로 수집한 데이터와 합쳐서 최종 결과에 반영할 수 있다. 데이터의 개수가 부족한 경우 유용하게 사용된다. 데이터를 매일 추가적으로 얻는 상황에서도 매일 전체 데이터를 대상으로 새로 분석작업을 할 필요 없이 어제 분석결과에 오늘 들어온 데이터를 합쳐서 업데이트만 하면 되므로 유용하게 활용이 가능하다. 베이즈 정리 공식 조건부 활률을 구하는 베이즈 정리의 공식은 다음과 같다. $$P(A \mid B)=\frac{P(B \mid A)P(A)}{P.. 공감수 0 댓글수 1 2021. 3. 16.
[Linear algebra] Eigen Value, Eigen Vector Eigen Value, Eigen Vactor란? 고유값(eigenvalue), 고유벡터(eigenvector)에 대한 수학정 정의는 다음과 같다. 행렬 A를 선형변환(Linear transform)으로 봤을 때, 선형변환 A에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터 를 고유벡터(eigenvactor)라고 하고, 이 상수배 값을 고유값(eigenvalue)라고 한다. 고유값(eigenvalue), 고유벡터(eigenvector)는 $n \times x$ 정방행렬에 대해서만 정의된다. A에 대해 $Av = \lambda v$를 만족하는 0이 아닌 열벡터 v를 고유벡터, 상수 $\lambda$를 고유값이라고 정의한다. $Av = \lambda v$ -- (1) $\begin{pmatri.. 공감수 0 댓글수 0 2021. 3. 15.
Lecture 2 : Convex Optimization (Stanford) Convex sets affine and convex sets some important examples operations that preserve convexity generalized inequalities separating and supporting hyperplanes dual cones and generalized inequalities Affine set 아래에 그림의 $x_{1}$과 $x_{2}$를 통하는 모든 점들을 Affine set이라고 부름. $$x = \theta x_{1}+(1-\theta)x_{2}\ \ \ \ \ (\theta \in R)$$ affine set : set에서 두 개의 다른 점을 통과하는 선을 포함함. example : linear equations $\le.. 공감수 0 댓글수 0 2021. 3. 14.
Lecture 1-Convex Optimization (Stanford) Question Question 1 The symbol x⋆ usually denotes a feasible point the optimal value of the problem a solution Question 2 Least squares is a special case of convex optimization. true false Question 3 Almost any problem you'd like to solve in practice is convex. true false Question 4 Convex optimization problems are attractive because they always have a unique solution. true false Question 5 In device siz.. 공감수 0 댓글수 0 2021. 3. 12.
Convex optimization 1.1 Mathematical optimization 수학적 최적화 문제, 또는 그냥 최적화 문제는 다음과 같은 형식을 가집니다. vector $x=(x_{1},...,x_{n})$ called optimization variable(최적화 변수). function $f_0 : R^{n}\rightarrow R$ called objective function(목적함수). function $f_{i} : R^{n}\rightarrow R, \ \ i=1,...,m$ called (inequality)constraint functions(부등식)제약함수. constant $b_{1},...,b_{m}$ constraints에 대한 limits or bounds. vector $x^{*}$은 called so.. 공감수 0 댓글수 0 2021. 3. 10.
강화학습 공부 자료 강화학습에 대한 공부를 하던 중 다 공부하던 것들은 재생목록에서 지우다 보니 기록을 남겨야겠다 싶어서 작성합니다. 강의 모두를 위한 RL - 김성훈 교수님의 강의 팡요랩 강의 혁펜하임 강의 (수학적 정의를 보고싶으신 분들은 여기를 참조 부탁드립니다.) Deep Mind Reinforcement Learning Lecture CS234 : Reinforcement Learning SNU Reinforcement Learning Lecture Deep RL BootCamp 2017 Deep Reinforcement Learning : CS 285 Fall 2020 POSTECH Reinforcement Learning 공감수 0 댓글수 0 2021. 2. 27.
Lecture 1 : Convex Optimization (Stanford) Introduction mathematical optimization (수학적 최적화) least-squares and linear programming (최소 제곱과 선형 계획법) convex optimization (볼록 최적화) example (예시) course goals and topics (코스 목표 및 주제) nonlinear optimization (비선형 최적화) brief history of convex optimization (볼록 최적화의 간략한 역사) Mathematical Optimization Optimization Problem의 정의 : $x = (x_{1}, ..., x_{n})$ : Optimization variables(최적화 변수), Decision variable.. 공감수 0 댓글수 0 2021. 2. 25.
MAB Problem 1. Multi-Armed Bandit Probelm MAB는 아래와 같습니다. Consider the following learning problem. You are faced repeatedly with a choice among k different options, or actions, After each choice you receive a numerical reward chosen from a stationary probability distribution that depends on the action you selected. Your objective is to maximize the expected total reward over some time period. Expected total .. 공감수 0 댓글수 0 2021. 2. 19.
Lecture 7: Policy Gradient 우리는 이전 강의들에서 $\theta$를 이용하여 State-value function 또는 Action-value Function에 근사하는 방법을 배웠었습니다. 이때까지는 Value-Function으로부터 생성된 Policy를 사용했었지만 이번 강의에서는 Policy를 Parameterise를 할 것입니다. $$\pi_{\theta}(s, a) = P[a \mid s, \theta]$$ 우리는 RL의 model-free기법에 초점을 맞추고 있을 것입니다. 저희가 이전까지 배웠던 것들은 전부 Value-Based Methods였습니다. 다른 방법으로는 Policy Based가 있습니다. (Value-function을 아예 학습하지 않고 Policy를 배우는 것) Value Based와 Policy Ba.. 공감수 0 댓글수 0 2021. 2. 17.
Playing Atari with Deep Reinforcement Learning 1. Abstract High-Dimensional Sensory Input으로부터 RL을 통해 Control Policy를 성공적으로 학습하는 DL Model을 선보입니다. Paper에서 구현한 Atari Game의 모델은 CNN이며, 변형된 Q-Learning을 사용해 학습되었습니다. Paper에서의 Q-Learning이란 input이 raw_pixel이고, output은 미래의 보상을 예측하는 Value function입니다. 게임을 학습할 때, 픽셀값들을 입력으로 받고, 각 행동에 대해 점수를 부여하고, 어떤 행동에 대한 결과값을 함수를 통해 받게 됩니다. 2600개 가량의 컴퓨터 게임들을 학습시키는데 동일한 모델과 학습 알고리즘을 사용했고, 성공적인 결과를 보여주었습니다. 2. Introduct.. 공감수 0 댓글수 0 2021. 2. 15.
Human-level control through deep reinforcement learning 본 논문에서는 DQN Algorithm이 사용되었습니다. 앞으로 계속 업데이트 해 나갈 예정입니다. 여기서 DQN이란 Deep Q-Network의 약자이며, 인공신경망 즉 심층 인공신경망(Deep NN)이라고 합니다. 이 Algorithm에서는 수신 필드의 효과를 모방하기 위해서 타일형의 Convolutional Filter의 Layer를 사용합니다. Agent의 목표는 Cumulative Reward를 Maximise하는 방식으로 Action을 선택하는 것입니다. Deep Convolutional Neural Network를 사용하여 Optimal한 Value Function에 Approximation합니다. $$Q^{*}(s,a) = \underset{\pi}{max}E[r_{t} + \gamma r.. 공감수 0 댓글수 0 2021. 2. 15.
Background-Machine_Learning Website : github.com/Unity-Technologies 1. Background : Machine Learning ML-Agents Toolkit의 많은 사용자가 공식적인 기곗 학습 배경이 없을 수 있다는 점을 감안할 때 이 페이지에서는 ML-Agents Toolkit을 쉽게 이해할 수 있도록 개요를 제공합니다. 그러나 온라인에 환상적인 리소스가 있으므로 기계 학습에 대한 철저한 처리를 제공하지 않을 것입니다. 인공지능의 한 분야인 ML은 데이터에서 학습 패턴에 중점을 둡니다. ML Algorithm의 세가지 주요 클래스는 Unsupervised Learning, Supervised Learning, Reinforcement Learning입니다. Algorithm의 각 클래스는 다른 유.. 공감수 0 댓글수 0 2021. 2. 13.
Lecture 7: DQN Q 함수의 근사가 Q-Net입니다. Q-Nets 자체도 쉬운 문제에 대해서 불안정한 상태를 보였습니다. 여러 문제들 때문에 $\hat{Q}$는 Q에 수렴하지 못했습니다. 위의 Q-Net의 문제를 해결한 알고리즘이 DQN알고리즘입니다. 두가지 큰 문제가 무엇인지 봅시다. 샘플 데이터간의 상관계수가 있다 타겟이 흔들린다. Q-Net을 초기화 시킨 후, initalize하고, Q-Net을 통해서 어떠한 Action을 할지 정합니다. 그런 다음 루프를 돌면서 Action을 취하면서 이동한 State에 대해서 환경과 보상을 받아옵니다. CartPole예제를 들면 5개의 Episode들이 받아오는 값들이 상관적일 것입니다. 두번째 문제는 타겟이 움직인다는 문제인데. 예측값과 Y Label(target)간의 오차를 .. 공감수 0 댓글수 0 2021. 2. 10.
Lecture 6: Q-Network 우리는 앞서 Q-Table에 대해서 완벽히 이해했었습니다. 어떠한 State에 대해서 Action이 주어지면 Q값을 최대화 할수 있는 방법으로 진행하게 되는 것입니다. 미로 문제 같은 경우 100x100x4형태의 array가 필요합니다. 위의 예제가 $2^{80 \times 80}$이므로 계산을 수행해 보았습니다. 우리는 위와 같이 실전 문제에 대해서는 Q-Table을 적용하지 못합니다. 위처럼 실행활에 Q-Table은 이용하지 못합니다. 그럴때 이용하느 것이 있습니다. 바로 Q-Network입니다. State에 대한 Action을 수행하게 되었을 때 어떠한 값을 출력합니다. 입력과 출력이 사용자가 조절이 가능하기 때문에 입력을 State만 줘 보겠습니다. 우리가 앞으로 사용하게 될 Q-NN입니다.(Ne.. 공감수 0 댓글수 0 2021. 2. 10.
Lecture 5: Windy Frozen Lake Nondeterministic world! 실제 Frozen Lake문제는 바람이 부는 Frozen Lake문제입니다. Agent가 $s$에서 시작한다고 했을 때, 강의 환경을 알지 못합니다. 잘하면 $s_{1}$이라는 State에 도착을 하겠지만, 바람도 심하게 불고 미끄럽기 때문에 아래쪽이나 2칸을 더 가게되는 상황이 발생할 수 있습니다. 그래서 오른쪽으로 갈려고 해도 항상 오른쪽으로 가지는 것이 아닙니다. 우리는 위에서 설명한 이것을 nondeterministic 즉 Stochastic이라고 부릅니다. 오른쪽으로 간다고 했을 때 오른쪽으로 갈수 없을 수도 있으며 다른 위치에 도착해 있을 수도 있기 때문에 보상도 다를 수 있습니다. 우리가 이전까지 했던 바람이 불지않는 Frozen Lake는 Deterministic Game이라고 부릅니다. .. 공감수 0 댓글수 0 2021. 2. 10.
Lecture 4: Q-Learning (table) 전 게시글에서 봤던 Dummy Q-Learning algorithm입니다. 이것은 문제가 있습니다.. 이 문제가 어떠한 문제인지 알아보겠습니다. 우리는 Q값을 다음과 같이 업데이트 시켰습니다. 결과를 보게 되면 문제가 있다는 것을 눈치채실 겁니다. 이것을 현재값을 이용하는 Exploit과 탐험을 통해 더 좋은 Q값을 찾아 나서는 Exploration이 있습니다. 식당을 예로 들어보겠습니다. 많은 식당들 중 처음에는 아무곳도 가보지 않았기 때문에 전부 0점입니다. 어느 시점에서 이 식당들을 1번 씩 다 갔을 때 평일은 Exploit을 하고, 주말에는 Exploration을 하자라는 예가 있습니다. Q-Learning에서도 어떤 길을 갈 것인가에서 Exploit과 Exploration이 충돌합니다. 이것을 .. 공감수 0 댓글수 0 2021. 2. 9.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.