[강화학습 이론] 가치함수와 Q함수(상태 가치함수와 행동 가치함수)

wikibook.co.kr/rlrev/

파이썬과 케라스로 배우는 강화학습 (개정판): 내 손으로 직접 구현하는 게임 인공지능

 

※본문 내용은 위의 책들을 요약·정리한 것이 포함되어있습니다.

 

저번 포스팅에서 MDP를 통해 순차적 행동 결정 문제를 수학적으로 정의했다. 이제 에이전트가 최적 정책을 찾아 문제를 해결하면 되는데, 에이전트가 특정 상태에서 행동을 선택하는 기준이 되는 것이 가치함수이다. 

가치함수(상태 가치함수)

강화 학습에서 학습의 기준이 되는 것이 보상이라고 전 포스팅에서 언급했었다. 보상을 어떻게 이용할까? 당연히 앞으로 받을 보상이 큰 쪽으로 행동을 선택하면 될 것이다. 하지만 특정 시점에서 아직 받지 않은 보상(보상은 행동을 취한 뒤 다음 상태에서 받음) 들을 어떻게 고려해야 할까? 이에 대한 개념이 가치함수이다. 쉽게 말하자면 가치함수가 특정 상태에 대한 '가치'를 계산해주어 에이전트가 행동을 선택할 수 있도록 도와주는 것이다. 

가치함수란 특정 상태에서의 반환값들의 기댓값이다.  

상태 가치함수

왜 가치함수로 반환값의 기댓값을 사용하는 지는 반환값과 기댓값의 의미를 이해했다면 알 수 있을 것이다. 반환값의 기댓값을 사용하는 이유를 말로 차근차근 설명하겠다. 현재 특정 상태에서 한 에피소드가 끝날 때까지(행동의 선택들이 끝나 마지막 지점에 이를 때까지) 받은 보상들의 합을 통해 현재 상태의 가치를 판단할 수 있을 것이다.

그리드 월드로 예를 들어보자면 현재 상태에서 오른쪽으로 가는 경로(ex. →→↑)와 왼쪽으로 가는 경로(ex. ←↑→→→) 중에 고민을 하고 있다고 가정하자. 두 경로로 가는 행동들을 끝내고(에피소드가 끝나고) 받은 보상들의 값이 더욱 큰 쪽으로 가는게 효율적인 선택이라고 판단할 수 있다. 그래서 가치함수의 개념에 보상의 합을 이용하는 것이다.

하지만 보상들의 단순 합으로 상태의 가치를 판단하기엔 시간 개념을 적용할 수 없다. (이해되지 않는다면 이전 포스팅 감가율 부분 참고) 따라서 보상의 단순 합에 감가율을 적용한 반환값을 이용한다!

마지막으로 기댓값을 사용하는 이유는 반환값은 확률변수이기 때문이다. 보상 자체가 확률변수이기 때문에 (상태와 행동에 따라 변하므로) 반환값 또한 확률변수이다. 따라서 평균의 의미인 기댓값을 반환값에 적용하는 것이다.

가치함수 유도과정

 

Q함수(행동 가치함수)

위에서 설명한 가치함수는 상태의 가치를 판단하는 '상태 가치함수'이다. 상태 가치함수를 통해 다음 상태들의 가치를 판단할 수 있고, 이를 바탕으로 더 높은 가치를 가지고 있는 다음 상태로 가기 위한 행동을 선택하여 상태를 이동시킬 것이다.  하지만 그러기 위해선 다음 상태들에 대한 정보를 다 알아야 하고, 그 상태로 가기 위한 행동을 선택하더라도 상태 변환 확률 또한 고려해야 한다. (에이전트는 가치가 더 높은 특정 다음 상태로 이동하려 했는데, 어떠한 확률로 그 상태로 이동하지 못할 수도 있으니)  

따라서 상태에 대한 가치함수말고 행동에 대한 가치함수를 구할 수 있어야 하는데, 이러한 개념이 Q함수(행동 가치함수)이다. Q함수를 이용하면 행동에 대한 가치함수 값을 보고 어떤 행동을 할지 판단하면 되기 때문에, 상태들의 가치를 판단하고 어떤 행동을 했을 때 특정 다음 상태로 가게 될 확률도 고려해야 하는 번거로움이 없어진다.  즉, Q함수는 특정 상태 s에서 특정 행동 a를 취했을 때 받을 반환값에 대한 기댓값으로 특정 행동 a를 했을 때 얼마나 좋을 것인지에 대한 값이다. 

행동 가치함수

 

위의 그림으로 상태 가치함수와 행동 가치함수를 비교해보자. 상태 s에서 할 수 있는 행동이 a1과 a2로 두 가지 있다고 가정한다. 또한 상태 s에서 행동을 취했을 때 갈 수 있는 다음 상태 s'이 s'1과 s'2가 있다.

그렇다면 이 그림에서 상태s의 상태 가치함수는 행동 a1을 취한 이후에 받는 반환값들과 행동 a2를 취한 이후에 받는 반환값들을 모두 고려해서 기댓값을 구한 것이다.  

행동 가치함수에 대해 생각해보면, 상태 s에서의 행동 가치함수는 2가지가 나올 것이다. (취할 수 있는 행동이 2개이기 때문에) 한 가지 Q함수는 행동 a1을 취한 이후에 받는 반환값들에 대해서만 기댓값을 구한 것이고, 나머지 Q함수는 행동 a2를 취한 이후에 받는 반환값들에 대해서만 기댓값을 구한 것이다. 

여기서 단일 에피소드만 고려한다고 했을 때, 특정 상태에서 특정 행동을 선택하여 에피소드를 진행했는데 반환값들이라고 복수로 표현한 이유는 두 가지가 있다. 첫 번째는 그림에서도 표현되어있듯이 행동 a1을 선택하면 상태 s'1으로 갈 것이라고 예상하여도 상태 변환 확률로 인해 상태 s'2로 갈 확률이 있기 때문에 두 경우의 반환값의 기댓값을 구해야 한다. 두 번째는 상태 변환 확률이 1이어서 행동 a1을 취하면 무조건 상태 s'1으로 이동한다고 가정해도 상태 s에서의 반환값은 상태 s'1에서 즉시 받는 보상과 s'1에서의 가치함수에 감가율을 적용한 것의 합이기 때문에 기댓값 개념이 포함된다. (s'1에서의 가치함수에 기댓값 개념 포함) 두 번째 이유가 이해가 되지 않는다면 다음 포스팅에서 설명할 벨만 기대 방정식을 참고하면 된다. 일단 지금 이 문단이 이해되지 않아도 넘어가자. (스트레스ㄴㄴ) 

 

상태 가치함수와 행동 가치함수의 관계

상태 가치함수와 행동 가치함수 관계

각 행동을 했을 때의 가치인 Q함수에 그 행동이 일어날 확률을 곱해서 모든 행동에 대해 그 값을 더해주면 상태 가치함수가 된다. 위의 그림을 예시로 들어 생각을 해보자. 오른쪽은 각 행동에 대한 행동 가치함수를 표현했는데, 상태 s에서 할 수 있는 행동은 a1~a4로 상우하좌로 이동하려는 행동이다. 그림에서 진한 회색은 상태 s에서 각 행동을 했을 때 제대로 이동한 다음 상태이고 연한 회색은 상태 변환 확률로 인해 적은 확률로 다른 상태로 이동할 가능성을 나타낸 것이다. 위의 환경에서 만약 상하좌우로 이동하는 행동의 확률이 동일하다면 각 행동이 일어날 확률은 1/4이다. 4가지 경우의 행동 모두에 대해 1/4 확률과 각 행동에 대한 Q함수를 곱한 후 이 값을 모두 더해지면 상태 s에서의 상태 가치함수와 같은 값이 나온다.