RL Researcher

1. 데이터의 유형 선형대수에서 다루는 데이터는 개수나 형태에 따라 크게 스칼라(scalar), 벡터(vector), 행렬(matrix), 텐서 (tensor) 유형으로 나뉩니다. 스칼라(Scalar) : 숫자 하나로 이루어진 데이터 벡터(Vector) : 여러 숫자로 이루어진 데이터 레코드(data record) 행렬(Matrix) : 데이터 레코드가 여럿인 데이터 집합 텐서(Tensor) : 같은 크기의 행렬이 여러 개 있는 것 Scalar 예를 들어 어떤 붓꽃 한 송이의 꽃잎 길이를 측정하면 숫자가 하나 나올 것입니다. 이 데이터는 스칼라입니다. 스칼라는 보통 와 같이 알파벳 소문자로 표기하며 실수 (real number)인 숫자 중의 하나이므로 실수 집합 의 원소라는 의미에서 다음처럼 표기합니다...

1. Sequence 수열(Sequence)은 $N$개의 숫자 또는 변수가 순서대로 나열된 것입니다. 수열의 예를 들어보겠습니다. $$1,2,3,4$$ $$x_{1},x_{2},x_{3},x_{4},x_{5},x_{6}$$ 문자에 붙은 아래 첨자는 인덱스(index)라고 부릅니다. 수열이 아주 길거나 수열의 길이가 숫자가 아닌 문자인 경우에는 ...(dots) 기호를 사용하여 다음처럼 가운데 부분을 생략할 수 있습니다. $$x_{1},x_{2},...,x_{N}$$ 2. Set 순서가 중요하지 않은 숫자들은 집합(Set)로 표시합니다. $${1,2,3,4}$$ $${x_{1},x_{2},x_{3},x_{4},x_{5},x_{6}}$$ 집합에서도 원소가 많으면 가운데를 생략할 수 있습니다. $${x_{1}..

RL은 다음과 같이 큰 문제들을 풀 수 있습니다 Backgammon Game : $10^{20}$개의 State Computer Go : $10^{170}"$개의 State Helicopter : 연속적인 공간 내에서 움직이기 때문에 값이 무한적입니다. 지난 2개의 강의에서 배웠던 Model-Free 메소드인 MC, TD에서 Prediction과 Control 문제를 어떻게 확장할 수 있을까요? 위의 질문에 답을 할 수 있는 Value Function Approximation을 통해서 Scale up이 가능합니다. 우리는 전 강의들 까지는 lookup table 방식으로 value function을 표현해 왔습니다. $V(s)$는 State $s$의 개수만큼 빈칸이 존재했습니다. $Q(s,a)$는 모든 ..

다시 한번 Prediction과 Control의 차이을 알아보겠습니다. Prediction (Value Function을 찾는 문제입니다.) 입력 : MDP $