Sutton Books/Sutton 노트 검색 결과

해당 글 33건

강화학습 Sutton [Ch6 Temporal-Difference] #1 TD Prediction

Temporal-difference (TD)는 Monte Carlo (MC)처럼 환경의 dynamics 모델없이 experience만으로 학습하고, dynamic programming (DP)처럼 return이 아닌 학습했던 estimate를 사용해서 estimate한다.(bootstrap) TD, MC, DP간의 관계는 강화학습 이론에서 자주 나오며, n-step이나 TD($\lambda$)와 같이 다양한 형태로 조합이 나올 수 있다. DP와 TD, MC는 모두 GPI에서 약간 변형된 형태로 볼 수 있다. 다만 다른 점은 모두 prediction 문제를 어떻게 해결하냐의 차이이다. 이전에도 그랬듯 주어진 정책 $\pi$로부터 가치 $v_\pi$를 구하는 prediction 문제를 다루고 최적의 정책을 ..
Sutton Books/Sutton 노트 2019. 3. 19. 09:44

강화학습 Sutton [Ch5 Dynamic Programming] #10 Summary

Summary sample episode라는 경험을 통해 최적의 가치와 정책을 학습하는 Monte Carlo를 다룸 DP보다 좋은 장점 3가지 환경의 dynamics의 모델 없이 환경과 상호작용(interaction)으로 최적의 행동을 학습한다. 모델을 구성하기 힘든 시뮬레이션이나 샘플 모델에도 사용할 수 있다. 흥미로운 상태 일부분들에만 집중해서도 사용할 수 있다.(8장에서 더 자세히 다룸) 또다른 장점은 4장에서 소개된 generalized policy iteration(GPI) 방법을 따라서 사용할 수 있다. (Policy evaluation, Policy improvement) 다만 policy evaluation에서 모델없이 한다는 점과 episode-by-episode 기반으로 한다는 점이 다..
Sutton Books/Sutton 노트 2019. 3. 18. 14:16

강화학습 Sutton [Ch5 Dynamic Programming] #9 *Per-decision Importance Sampling

Per-decision Importance Sampling return을 보상의 합으로 보고 off-policy importance sampling을 하면서 생기는 분산을 줄이는 또다른 방법이 있다. 이전 ordinary와 weighted importance sampling을 다시 떠올려보자. 여기서 $V$를 estimate 하기 때문에 estimator라고 부른다. 잘 보면 두 estimator 분자 부분은 동일하다. 그런데 여기서 첫 번째 항 $\rho_{t:T-1}R_{t+1}$을 풀어보면 다음과 같다. 이전 절에서도 그랬듯 실제로는 $ \frac{\pi(A_t|S_t)}{b(A_t|S_t)} $ 항과 $R_{t+1}$이 관련이 높고 나머지는 관련이 없다고 볼 수 있다. 왜냐하면 $R_{t+1}$ ..
Sutton Books/Sutton 노트 2019. 3. 18. 13:38

강화학습 Sutton [Ch5 Dynamic Programming] #8 *Discounting-aware Importance Sampling

지금까지 봐왔던 Off-policy는 importance-sampling weight를 discount return에 곱하는 식으로 했었다. 그런데 이것은 discounted rewards의 합이라는 내부 구조를 고려하지 않고 그저 return 하나로만 생각했다. 이렇게 하면서 생기는 문제는 분산이 늘어난다는 것이다. 예를 들어, 에피소드가 길고 $\gamma$가 1보다 많이 작다고 생각해보자. 그냥 정확하게 에피소드가 100이고, $\gamma=0$이라고 하자. 첫 번째 time step에서 return은 $G_0=R_1$이지만, importance sampling ratio는 100개 $\frac{\pi(A_0|S_0)}{b(A_0|S_0)}\frac{\pi(A_1|S_1)}{b(A_1|S_1)}\c..
Sutton Books/Sutton 노트 2019. 3. 16. 00:27

강화학습 Sutton [Ch5 Dynamic Programming] #7 Off-policy Monte Carlo Control

Off-policy Monte Carlo Control control 문제에서 off-policy 방법에 대해 다룬다. on-policy는 control을 위해 사용했던 policy의 가치(value)를 추정(estimate)하지만, off-policy는 policy가 행동하는 behavior policy와 평가(evaluate)되고 개선되는 target policy로 나뉜다. 이렇게 나누면서 생기는 장점은 target policy가 greedy 같은 deterministic policy가 되면서도, behvior policy를 통해 계속해서 새로운 다른 행동을 할 수 있다. 아래 알고리즘은 GPI와 weighted importance sampling 기반으로 하여 최적의 $\pi_\ast$와 $q_\a..
Sutton Books/Sutton 노트 2019. 3. 14. 23:41

강화학습 Sutton [Ch5 Dynamic Programming] #6 Incremental Implementation

Incremental Implementation Monte Carlo 또한 이전의 episode별로 해서 incremental implementation을 할 수 있다. 이는 2.4절에 나왔었다. 다만 차이점은 average reward가 아닌 average return으로 한다는 점이다. 그 외에는 거의 똑같이 on-policy Monte Carlo 방법에 적용된다. 하지만 off-policy Monte Carlo에서는 importance sampling(ordinary or weighted)이 고려되어야 한다. 먼저 ordinary importance sampling 같은 경우, importance sampling ratio를 구하고, 이전처럼 importance sampling ratio를 적용해 ..
Sutton Books/Sutton 노트 2019. 3. 13. 22:42

강화학습 Sutton [Ch5 Dynamic Programming] #5 Off-policy Prediction via Importance Sampling

Off-policy Prediction via Importance Sampling control을 학습하는 방법은 최적이라고 생각하는 행동을 하면서 행동 가치를 학습해야하지만, (최적의 행동을 찾기 위해) 모든 행동을 탐험(최적이 아닌 행동)을 해야한다는 것이다. 탐험하는 정책을 통해 어떻게 최적의 정책을 학습하는 걸까? 이전 절에서 나온 on-policy 방법은 최적의 정책 대신 탐험을 계속하도록 하는 최적에 가까운 정책을 하면서 타협을 한 것이다. 좀 더 간단한 방법은 두 개의 정책을 사용해, 하나는 최적의 정책을 학습하고, 다른 하나는 직접 행동하는 정책을 두는 것이다. 전자를 target policy, 후자를 behavior policy라고 부른다. target policy가 아닌 데이터에 의해서..
Sutton Books/Sutton 노트 2019. 3. 11. 14:34

강화학습 Sutton [Ch5 Dynamic Programming] #4 Monte Carlo Control without Exploring Starts

Monte Carlo Control without Exploring Starts Exploring starts라는 가정을 없애려면 어떻게 해야할까? 바로 에이전트가 계속 탐험을 할 수 있도록, 즉, 해보지 않은 행동에 대해서도 가끔 선택할 수 있도록 해야 한다. 그러한 방법에는 두 가지가 있는데 하나는 on-policy, 다른 하나는 off-policy가 있다. on-policy는 결정했던 행동들을 가지고 정책 평가와 발전을 하지만 off-policy는 다른 방법에 의해 만들어진 데이터로 정책 평가와 발전을 한다. Monte Carlo ES 또한 on-policy이며, 이번 절에서는 Monte Carlo control를 exploring starts 없이 어떻게 만드는지 보인다. off-policy는 다..
Sutton Books/Sutton 노트 2019. 3. 4. 08:44