목록reinforcement learning (23)

RL Researcher

Lecture 6: Value Function Approximation

RL은 다음과 같이 큰 문제들을 풀 수 있습니다 Backgammon Game : $10^{20}$개의 State Computer Go : $10^{170}"$개의 State Helicopter : 연속적인 공간 내에서 움직이기 때문에 값이 무한적입니다. 지난 2개의 강의에서 배웠던 Model-Free 메소드인 MC, TD에서 Prediction과 Control 문제를 어떻게 확장할 수 있을까요? 위의 질문에 답을 할 수 있는 Value Function Approximation을 통해서 Scale up이 가능합니다. 우리는 전 강의들 까지는 lookup table 방식으로 value function을 표현해 왔습니다. $V(s)$는 State $s$의 개수만큼 빈칸이 존재했습니다. $Q(s,a)$는 모든 ..
Reinfrocement Learning/David-Silver Lecture 2021. 2. 4. 16:59
Lecture 5: Model-Free Control

다시 한번 Prediction과 Control의 차이을 알아보겠습니다. Prediction (Value Function을 찾는 문제입니다.) 입력 : MDP $
Reinfrocement Learning/David-Silver Lecture 2021. 2. 3. 17:28
Lecture 4: Model-Free Prediction

이번시간에는 Model-Free(Environment를 알지 못할때)에 대해서 알아보겠습니다. Monte-Carlo기법은 에피소드에서의 경험으로부터 직접 배웁니다. Monte-Carlo기법은 Model-Free 이며(환경에 대해서 모름), MDP의 변환이나 보상에 대해서 알지 못합니다. Monte-Carlo기법은 부트스트랩이 존재하지 않으며 다 끝난 에피소드를 거치면서 배웁니다. Monte-Carlo기법은 episodic MDPs에만 Monte-Carlo가 적용가능합니다. 모든 Episode들은 반드시 종료되어야 합니다. 목표 : 정책 $\pi$에 따른 Episode에서의 경험으로부터 $v_{\pi}$를 배웁니다. $$S_{1},A_{1},R_{2},...,S_{k}\sim\pi$$ 반환값은 총 할인된 ..
Reinfrocement Learning/David-Silver Lecture 2021. 2. 3. 04:02
Lecture 02 : Markov Decision Processes

MDP는 강화학습에서의 환경을 나타냅니다. Environment가 모두 관찰가능한 상황일 경우에 이것을 MDP라고 부릅니다. 현재의 State가 Process에 대해 완전히 표현하는 것입니다. 거의 모든 강화학습 문제는 MDP문제로 정의할 수 있습니다. 현재가 있다면 미래는 과거와 독립적이다. $$P[S_{t+1} \mid S_{t}\ = P[S_{t+1} \mid S_{1}, ..., S_{t}]$$ Markov State인 $s$ 그리고 다음상태가 $s^{'}$, 상태천이 확률은 다음과 같이 정의됩니다. $$P_{ss'} = P[S_{t+1} = s' \mid S_{t} = s]$$ 상태천이 행렬 $P$는 State $s$에서 다음 상태인 $s'$으로 갈때의 천이 확률을 정의합니다. Markov Pr..
Reinfrocement Learning/David-Silver Lecture 2021. 2. 2. 01:44
Prev 1 2 3 4 5 6 Next