강화학습 Sutton [Ch4 Dynamic Programming] #2 Policy Improvement
Policy Improvement 이전 시간 Policy Evaluation을 통해 임의의 정책에 대한 가치를 구했었다. 정책을 평가 하긴 했는데, 어떻게 해야 더 나은 정책으로 바꿀 수 있을까? 예를 들어, 상태 $s$에 있는데 현재 정책을 따라 그대로 행동할 것인지 아니면 새로운 행동($a\neq \pi(s)$)을 해야할지 결정해야한다면, 어떻게 결정하는게 좋을까? 쉽게 생각해보면, 일단 행동해보고 가치가 더 높은 쪽을 택하면 될 것이다. 이전에 가치함수간의 관계식을 다시 떠올려보면 다음과 같았다. 기존 정책과는 다른 행동한 것에 대한 가치 $q_\pi(s, \pi'(s))$ 가 현재 정책에 대한 상태 가치 $v_\pi(s)$보다 높다면, 더 좋은 행동이라 볼 수 있을 것이다. $$q_\pi(s, \..
