RL Researcher

이번시간에는 Model-Free(Environment를 알지 못할때)에 대해서 알아보겠습니다. Monte-Carlo기법은 에피소드에서의 경험으로부터 직접 배웁니다. Monte-Carlo기법은 Model-Free 이며(환경에 대해서 모름), MDP의 변환이나 보상에 대해서 알지 못합니다. Monte-Carlo기법은 부트스트랩이 존재하지 않으며 다 끝난 에피소드를 거치면서 배웁니다. Monte-Carlo기법은 episodic MDPs에만 Monte-Carlo가 적용가능합니다. 모든 Episode들은 반드시 종료되어야 합니다. 목표 : 정책 $\pi$에 따른 Episode에서의 경험으로부터 $v_{\pi}$를 배웁니다. $$S_{1},A_{1},R_{2},...,S_{k}\sim\pi$$ 반환값은 총 할인된 ..

동적 계획법은 큰 문제를 작은문제들로 나누고 작은 문제들의 해결책들을 찾은 후 모아 큰 문제를 푸는 것입니다. 동적 계획법의 두가지 조건에 대해서 보겠습니다. 큰 문제가 작은 문제들로 나뉠 수 있어야 합니다. Subproblem을 풀면 문제에 대한 정답을 저장해 두었다가 나중에 재사용합니다. MDP는 위 두 조건을 만족합니다. 동적 계획법은 MDP의 모든 지식을 알고 있습니다. 동적 계획법이 MDP의 계획에 사용됩니다. 쉽게 생각하면, Prediction은 value function을 찾는 문제이고, Control문제는 policy를 찾는 문제입니다. Prediction의 경우 입력: MDP $$ 그리고 정책 $\pi$ 또는: MRP $$ 출력 : 가치함수 $v_{\pi}$ Control의 경우 입력: ..

MDP는 강화학습에서의 환경을 나타냅니다. Environment가 모두 관찰가능한 상황일 경우에 이것을 MDP라고 부릅니다. 현재의 State가 Process에 대해 완전히 표현하는 것입니다. 거의 모든 강화학습 문제는 MDP문제로 정의할 수 있습니다. 현재가 있다면 미래는 과거와 독립적이다. $$P[S_{t+1} \mid S_{t}\ = P[S_{t+1} \mid S_{1}, ..., S_{t}]$$ Markov State인 $s$ 그리고 다음상태가 $s^{'}$, 상태천이 확률은 다음과 같이 정의됩니다. $$P_{ss'} = P[S_{t+1} = s' \mid S_{t} = s]$$ 상태천이 행렬 $P$는 State $s$에서 다음 상태인 $s'$으로 갈때의 천이 확률을 정의합니다. Markov Pr..

본 글은 David Silver 교수님의 강의를 기반으로 작성하였습니다. Machine Learning의 종류는 3가지종류로 분류됩니다. Supervised Learning(지도학습) : 지도학습의 핵심은 Supervisor가 존재한다는 것입니다. 정답을 주고 학습을 시킨다고 보면 되겠습니다. 기계는 정답지와 자신이 추론한 정답의 오차를 비교하면서 학습하게 되는 것입니다. Unsupervised Learning(비지도 학습) : 비지도학습의 핵심은 정답이라고 말하는 Label이 존재하지 않습니다. 기계는 정답이 없이 학습을 통해 입력 데이터들의 패턴을 찾아내어 그 데이터들의 분류를 찾아내는 것입니다. Reinforcement Learning(강화 학습) : 본 주제가 강화학습이니 만큼 강화학습은 다른 기..