[강화학습 이론] 벨만 기대 방정식과 벨만 최적 방정식

책: wikibook.co.kr/rlrev/

파이썬과 케라스로 배우는 강화학습 (개정판): 내 손으로 직접 구현하는 게임 인공지능

참고: dnddnjs.gitbooks.io/rl/content/

※본문 내용은 위의 자료들을 요약·정리한 것이 포함되어있습니다.

 

벨만 기대 방정식

벨만 기대 방정식은 현재 상태의 가치함수와 다음 상태의 가치함수 사이의 관계를 식으로 나타낸 것이다. 벨만 기대 방정식은 가치함수식에서 유도된 것인데 과정은 다음과 같다. 

 

• 우선, 가치함수의 정의에서 반환값 Gt를 풀어서 표기한 것이 두 번째 줄의 수식
• 두 번째 수식에서 반환값 부분의 두 번째 항부터 감가율(γ)로 묶어준 것이 세 번째 수식
• 세 번째 수식에서 빨간색 부분이 다음 상태의 반환값을 의미하므로 Gt+1라고 표기할 수 있음
• 네 번째 수식에서 Gt+1 또한 확률 변수로 정해져 있는 특정값이 아니기 때문에 기댓값 개념을 추가

 

이러한 과정으로 식이 유도되었는데, 특정 상태에서 어떤 행동을 하는지에 따라 보상이 달라지므로 가치함수는 항상 정책에 의존한다. 따라서 정책까지 아래 첨자로 수식에 표기한 아래 수식이 벨만 기대 방정식이다. 또한 이전 포스팅에서 행동 가치함수인 Q함수에 대해서도 이야기했었는데 Q함수도 벨만 방정식의 형태로 표현할 수 있다. 

 

벨만 기대 방정식

Q함수의 벨만 기대 방정식

위의 수식을 살펴보면 다음 상태의 기대함수를 통해 현재 상태의 기대함수를 도출한다. 따라서 처음 설명한 대로 벨만 기대 방정식은 현재 상태의 가치함수와 다음 상태의 가치함수 사이의 관계를 식으로 나타낸 것이라고 표현할 수 있다. 그렇다면 왜 굳이 가치함수를 변형해 벨만 기대 방정식을 만들었는지에 대해 생각해보자. 

가치함수의 정의

이전 포스팅에서 정의했던 가치함수로부터 기댓값을 계산하려면 앞으로 받을 모든 보상에 대해 고려해야 한다. 이는 상태가 많은 환경에서는 상당히 비효율적인 방법이다. 따라서 하나의 수식으로 풀어내는 이 방법보단 여러 번의 연속적인 계산으로 가치함수의 참 값을 알아내는 방법이 효율적이다. 이 방법에 사용하는 수식이 바로 벨만 기대 방정식이다. 벨만 방정식은 위에서 이야기한 것처럼 다음 상태의 가치함수를 통해 현재 상태의 가치함수를 계산하기 때문에 이미 저장되어있는 다음 상태의 가치함수를 이용해서 현재 상태의 가치함수를 계산한다. 처음에는 정확한 가치함수값을 얻지 못하지만 이 과정을 무수히 많이 진행하다보면 참 가치함수의 값에 수렴하게 된다. 즉, 벨만 기대 방정식에서 '=' 등호 표시는 코딩에서의 등호 기호와 의미가 가까우며 '대입'의 개념이다. 다시 말해 현재 상태의 가치함수가 참 가치함수가 될 때까지 다음 상태의 가치함수를 이용한 수식(벨만 기대 방정식에서 우항)을 현재 상태의 가치함수로 업데이트시킨다는 뜻이다. 

*여기서 참 가치함수란? 특정 상태의 가치에 대한 예측 정확도가 높은 가치함수 

 

다시 벨만 기대 방정식의 정의로 돌아와서, 위에서 표기한 벨만 기대 방정식은 기댓값으로 표현하여 좀 추상적인 것 같아 보인다. 컴퓨터가 계산 가능하도록 같은 식을 다르게 표현해보자. 기댓값은 각 사건이 벌어졌을 때의 이득과 그 사건이 벌어질 확률을 곱한 것을 전체 사건에 대해 합한 값이다. 여기서 각 사건이 벌어졌을 때의 이득은 현재 상태의 반환값인 Gt를 말하고 그 사건이 벌어질 확률은 어떠한 행동을 할 확률인 정책 π(a|s) 이다. 이때 현재 상태의 반환값인 Gt에 다음 상태의 가치함수가 포함되어있고 여기에도 기댓값을 내포하고 있으니 같은 과정을 적용하는데 여기서 사건이 벌어졌을 때의 이득에 해당하는 부분은 반환값이 아니라 저장되어있는 다음 상태에 대한 가치함수를 이용하고 사건이 벌어질 확률은 상태 변환 확률을 이용한다. 

 

 

위의 내용을 좀 더 쉽게 그림을 통해 알아보자. 

가치함수와 Q함수의 관계

위의 그림에서 흰 노드는 상태를 나타내고 회색 노드는 상태 s에서 선택한 행동을 뜻한다. 상태 s에서 뻗어나가는 가지는 각각의 행동의 개수만큼이다. 이때 이전 포스팅에서도 이야기한 것처럼 가치함수(상태 가치함수)와 Q함수(행동 가치함수)의 관계는 오른쪽 식처럼 표현 가능하다. 각 행동을 할 확률 π(a|s)와 그 행동을 해서 받는 큐함수 값(예상되는 반환값)을 곱한 것을 더하면 현재 상태 s의 가치함수가 된다는 것이다. 

보상과 상태 변환 확률에 따른 다음 상태

그런 다음 각 행동을 선택한 후에는 보상이 주어지는데, 보상을 출력하는 보상 함수에는 상태와 행동이 조건으로 들어가기 때문에 행동 노드 아래에 표기되어있다. 행동에서 뻗어나가는 가지가 여러 개인 것은 상태 변환 확률이 1이어서 행동한 대로 무조건 정해진 다음 상태가 나타나는 deterministic 한 환경이 아니라며 외부적인 요인에 의해 다른 상태로 갈 수 있기 때문이다. 따라서 Q함수는 오른쪽 수식과 같이 특정 행동을 한 뒤 즉시 받는 보상에 행동을 통해 각 다음 상태로 갈 확률 곱하기 해당 다음 상태의 가치함수를 더한 것(한 스텝 지나서 감가율 적용)으로 표현할 수 있다. 

현재 상태의 가치함수와 다음 상태의 가치함수 관계

앞에서 설명했던 두 개념을 합치면 위의 그림과 같이 나타낼 수 있다. 따라서 현재 상태의 가치함수는 다음 상태의 가치함수와 상태 변환 확률, 정책을 모두 고려하여 계산할 수 있다. 

큐함수의 벨만 기대 방정식

같은 내용을 Q함수에 대해서 표현한 그림이다. 

지금까지 본 벨만 기대 방정식은 보상과 상태 변환 확률을 모두 미리 알고 있어야 한다. 이러한 정보들을 MDP의 model이라고 하는데 모델을 미리 알고 있는 model-based 한 환경에서만 벨만 방정식을 구할 수 있다. 

 

---

벨만 최적 방정식

벨만 최적 방정식을 이야기하기 전에 최적 가치함수에 대해 먼저 알아보자. 강화학습의 목적은 앞으로 받을 보상들을 최대로 하는 정책을 찾는 것이다. 최적 가치함수란 현재 상태에서 앞으로 가장 많은 보상을 받을 정책을 따랐을 때의 가치함수이다. 즉, 현재 환경에서 취할 수 있는 가장 높은 값의 보상 총합이다. 최적 Q함수도 마찬가지로 현재 (s,a)에서 얻을 수 있는 최대의 Q함수이다. 에이전트는 각 상태 s에서 최적 큐함수 중 가장 큰 큐함수를 가진 행동을 하는 것이 최적 정책이 된다. 선택 상황에서 판단 기준은 큐함수가 되는 것이다. 

최적 가치함수와 위에서 언급했던 참 가치함수를 정리하면 아래와 같다. 

참 가치함수와 최적 가치함수

 

벨만 최적 방정식은 위에서 설명한 최적 가치함수를 벨만 기대 방정식처럼 현재 상태의 최적 가치함수와 다음 상태의 최적 가치함수 사이의 관계로 나타낸 식이다. 

 

벨만 최적 방정식과 큐함수에 대한 벨만 최적 방정식