[강화학습 이론] 강화학습이란? / MDP와 강화학습 용어

wikibook.co.kr/rlrev/

파이썬과 케라스로 배우는 강화학습 (개정판): 내 손으로 직접 구현하는 게임 인공지능

wikibook.co.kr/tensorflow-mlagents/

텐서플로와 유니티 ML-Agents로 배우는 강화학습: 다섯 가지 게임을 제작하며 살펴보는 심층 강화

※본문 내용은 위의 책들을 요약, 정리한 것을 기반으로 작성되었습니다. 

 

강화학습이란?

강화학습은 머신러닝의 한 분야이다. 머신러닝이란 기계학습이라고도 하는데, 인공지능의 한 분야로 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야이다. 이 게시물은 강화학습에 초점을 두어 아래에 작성할 MDP와 강화학습의 용어를 설명하기 위한 글이기 때문에 머신러닝의 종류나 자세한 설명은 생략하도록 하겠다. 

강화학습은 "보상"을 통해 학습하는 알고리즘이다. "보상"을 기반으로 한 학습이라는 점에서 정답과 데이터의 특성을 기반으로 학습하는 다른 머신러닝 분야들과는 구별되는 분야이다. 여기서 "보상"이란 아래에서 자세히 설명하겠지만 학습의 주체가 선택한 "행동"에 대해 "환경"이 주는 반응을 말한다. 

이를 이해하기 쉽게 예시를 들어보겠다. 강화학습을 소개할 때 가장 많이 드는 예시 중 하나인데, "자전거를 처음 타는 사람"이 있다고 생각해보자. 이 사람은 처음부터 자전거를 쉽게 타지 못할 것이다. 일단 자전거에 올라 패달을 밟을 것이고, 여러번 넘어지고 다시 시도해보는 과정에서 넘어지지 않고 자전거를 타는 방법을 학습할 것이다. 여기서 넘어지거나 또는 자전거 타기에 성공하는 것을 강화학습에서는 "보상"이라고 한다. 패달을 좀 느리게 밟아 넘어지게 되었다면(나쁜 보상) 다음에 시도할 때는 조금 빨리 밟을 것이다. 이런 식으로 자신의 행동의 결과로 나타나는 보상을 통해 학습을 진행하는 것이 강화학습이다. 참고로 강화학습에서 "강화"라는 표현은 행동심리학에서 따온 것인데, 동물이 이전에 배우지 않았지만 직접 시도하면서 행동과 그 결과로 나타나는 좋은 보상 사이의 상관관계를 학습하는 것을 말한다. 

*이 예시에서 자전거를 처음 타는 사람은 에이전트라고 하며, 강화학습을 통해 스스로 학습하는 주체(컴퓨터)를 말한다.

  

강화학습을 적용할 수 있는 문제

강화학습은 순차적 행동 결정 문제에 적용할 수 있는 알고리즘이다. 순차적 행동 결정 문제는 말 그대로 한 번의 행동 선택이 아니라, 특정 상태에서 순차적으로(연속적으로) 행동을 선택해야 하는 문제를 말한다. 

 

MDP(Markov Decision Process)

결국 컴퓨터가 학습을 하기 위해서는 순차적 행동 결정 문제를 수치화해야한다. 순차적 행동 결정 문제를 수학적으로 정의하는 방법을 MDP라고 한다. MDP의 구성요소는 5가지로 아래의 그림과 같다. 

MDP 구성요소

 

상태(S)

에이전트가 관찰 가능한 상태의 집합이고 대문자  S  로 표기한다. 상태를 구체적으로 표현한다면 자신의 "상황에 대한 관찰"이라고 할 수 있다. 에이전트가 의사결정을 하기 위해 환경에서 제공해주는 정보를 가공한 정보이다. 가공한 정보라고 표현한 이유는 상태는 사용자가 정의하기 나름이기 때문이다.  아래와 같은 그리드월드에서 환경에서 상태를 격자 상의 각 위치 정보(x좌표, y좌표)라고 정한다면 S(상태의 집합)은 36가지가 될 것이다. 

그리드월드

강화학습은 순차적인 행동결정 문제를 다루기 때문에 시간정보가 중요한데 t 시간에서의 특정 상태를 S_t 라고 표기하며 소문자  s 로 표시하기도 한다. 이 특정 시간 t에서의 상태  St 는 확률변수인데 시간에 따라 확률적으로 변하는 값이기 때문이다. 즉,  St 는 시간 t에 전체 상태 중(위의 예시에선 36가지 상태 중) 하나의 값을 가지고 있다는 뜻이다.  

 

행동(A)

에이전트가 의사결정을 통해 취할 수 있는 행동의 집합을 말하며 대문자  A 로 표기한다. 위의 그리드월드에서는 상하좌우로 이동하는 것을 말한다. (대각선으로 이동하는 것까지 포함한다고 정의하면 8가지의 행동이 있는 것이다.) 상태와 마찬가지로 시간 t에서의 특정 행동은  At = a  이라고 표기한다.  At 또한 시간 t에서 어떤 행동을 할지 정해져 있는 것이 아니므로 확률변수이다. 

 

보상(R)

보상은 에이전트가 학습할 수 있는 정보로 대문자  R 로 표시한다. 보상은 에이전트가 한 행동에 대한 환경의 피드백을 말한다. 시간 t에서 받은 보상은 Rt 이라고 표현하며 역시 특정 값이 정해지지 않았기 때문에 확률변수이다. 주의해야할 점은 보상은 다음 시점에서 받는다. 시간 t에서 어떠한 행동을 선택했다면 상태는 S_t+1가 되고 S_t+1상태에서 보상 R_t+1이 주어진다. 

*보상함수

현재 상태 s에서 행동 a를 통해 얻을 수 있는 보상 R_t+1의 기댓값을 말한다. (여기서 상태와 행동을 특정 상태와 특정 행동을 말하는 것이므로 소문자 s와 a라고 표기했음을 주의해야한다.) 보상함수는 R에 아래첨자 s, 윗첨자 a를 쓰거나 r(s,a) 라고 표현한다.

보상함수

 

보상함수는 보상에 대한 기댓값이라고 했는데 기댓값이란 어떤 확률적 사건에 대한 평균의 의미로 생각하면 된다. 수식으로 표현하면 아래와 같이 표현할 수 있다. 예시로 주사위 눈의 수에 대한 기댓값을 구해보자면 (1/6) + (2/6) + (3/6) + (4/6) + (5/6) + (6/6) = 3.5이다. 이 값의 의미를 생각해보면 주사위를 던졌을 때 나오는 눈의 값은 평균적으로 3.5 라는 뜻이다. 즉, 기댓값은 '나오게 될 숫자에 대한 예상'이라고 할 수 있다. 

위의 수식은 이산적일 때, 아래는 연속적일 때

 

상태 변환 확률 (상태 천이 확률)

상태 변환 확률은 상태 s에서 행동 a를 했을 때 다음 상태 s'이 될 확률을 말한다. s'은 시간 t에서의 특정 상태 s에서 어떤 행동을 했을 때, 다음 시점 t+1에서의 특정상태를 표현한 것이다.  즉 S_t+1 = s' 이다. 변환 확률은 환경의 모델이라고도 하며 아래 그림처럼 표기한다.

상태 변환 확률

다음 상태 s'이 될 확률이라는 표현이 의아하게 들릴 수도 있을 것이다. 이는 특정 행동을 하면 예상한 다음 상태가 되는 것이 당연하다고 생각해서 그런 것이다. 하지만 특정 상태에서 어떤 행동을 취했다고 꼭 선택한 상태에 도달하는 것은 아니다. 위의 그리드월드에서 예를 들어 설명하자면, 로봇이 현재 위치에서 왼쪽으로 가는 행동을 취했다고 가정하자. 이 때 로봇은 한칸 옆으로 이동하고자 했겠지만 하필 빙판길이 있어서 왼쪽으로 두칸 이동하게 되었다. 이러한 상황이 있을 수 있기 때문에 상태 변환 확률도 고려해야하는 것이다. 방금 설명한 예시를 수치화해보자면 빙판길에 의해 원하는 곳으로 못갈 확률이 20%라고 했을 때 로봇이 왼쪽으로 가는 행동을 선택해 원하는 상태로 이동할 상태변환확률은 0.8인 것이다. 

예상치 못하게 빙판길로 두칸 이동한 로봇

 

감가율(γ) + 반환값 (G)

미래에 받은 보상을 현재의 시점에서 고려할 때 감가하는 비율을 말한다. 초기 상태에서 효율적인 행동을 선택하기 위해서 미래의 정보를 반영하는 것이며 반영의 비중을 조절하기 위해 감가율을 조정할 수 있다. 감가율을 0에서 1사이의 값이다. 각 상태에서의 가치를 판단하기 위해서 반환값, 가치함수를 사용하는데 (정확히는 가치함수를 사용하는데 가치함수 안에 반환값이 사용된다) 반환값은 시간 t 이후 상태들에서 감가율을 적용한 보상들의 합을 말한다. 여기서 단순히 각 상태에서 보상들을 합한 것을 이용하지 않고 감가율을 적용한 이유가 감가율이 필요한 이유이다.

첫 째, 현재 받는 보상과 미래에 받는 보상을 구분하지 못한다. t 시점에서 100의 보상을 받는 것이나 후에 100의 보상을 받는 것이나 단순 보상의 합으로는 똑같이 100이기 때문에 시점을 구분할 수 없게 된다. 그렇게 되면 현재 이익이 큰 상태로 가는 행동을 취할 수 없게 된다. 

둘 째, 한 번에 받는 보상과 여러 번 나눠서 받는 보상을 구분하지 못한다. 20의 보상을 5번 나누어 받는 것과 한번에 100을 받는 것을 구분하지 못할 것이다.  

셋 째, 시간이 무한대일 경우 보상의 합을 수치적으로 구분할 수 없다. 0.1의 보상씩 받는 경우와 10씩 보상을 받는 경우는 시간이 무한대가 되면 구분할 수 없다. 

반환값: 감가율을 적용한 보상의 합

위의 같은 이유로 감가율을 적용하여 보상의 합을 구한 반환값을 이용하는 것이다. 반환값을 어떻게 이용해서 상태의 가치를 판단하는지는 가치함수 부분을 공부하면 알게 될 것이다. 반환값은 Gt  라고 표기하며 표기한 것을 보면 알 수 있듯이 확률변수이다. 확률 변수인 이유는 반환값은 보상들의 합인데 보상들이 확률변수이기 때문이다. 즉, 에피소드 마다 행동과 상태도 확률적으로 달라지고 따라서 보상도 달라지기 때문에 반환값 역시 에피소드 마다 변할 수 있다. 

 

위의 그림들은 보상테이블을 기반으로 감가율을 적용하여 반환값을 각 상태에서 구한 것이다. 보상은 사과에 도착했을 때만 1이 주어지고 나머지 상태에선 0이다. 위의 반환값을 구하는 과정은 빨간색 경로에 대해서만 나타낸 것이다. 결론적으로 제일 마지막 [감가율을 적용한 보상의 합]을 보면 빨간색 경로와 파란색 경로에 대해서 지나간 모든 상태에서 반환값을 감가율을 적용해 구한 것이 표시되어 있는데, 단순 보상의 합의 표와 비교했을 때 당장 로봇의 위치에서 위로(파란색 경로) 가는 행동을 취하는 것이 더욱 효율적인 경로를 선택한 것임을 확인할 수 있다. 

위의 방법은 가치함수가 아닌 단순히 반환값으로만 경로를 선택한 것이다. (감가율의 효능을 보이기 위함)