강화학습 - (3) 탐색과 활용

강화학습

탐색과 활용 (Exploration & Exploitation Trade-off)

탐색

탐색(Exploration)은 에이전트가 장기적인 이익을 추구할 수 있도록 환경에 대한 지식을 얻을 수 있게 해준다.

 

예제)

한 사람이 가장 좋아하는 식당에 가서 갈 때마다 위 세가지 메뉴중 하나의 메뉴를 선택한다.

$q^*(a)$는 각 메뉴의 가치를, $q(a)$는 예측된 메뉴의 가치를, $N(a)$는 해당 메뉴를 선택한 횟수를 의미한다.

선택할 때마다 이 사람은 각 메뉴에 대해 평가하고, 이를 통해 $q(a)$를 갱신한다.

갱신된 $q(a)$값이 곧 탐색을 통해 얻은 에이전트(식당에 간 사람)의 지식이 된다.

이 지식을 기반으로 이 사람은 추후에 어떤 음식을 주문할 것인지를 선택하게 된다.

 

활용

활용(Exploration)은 에이전트의 단기적인 이익을 추구하는 행위이다.

대부분의 강화학습에서는 탐욕적인(greedy) 방법을 통해 행동을 선택하기 때문에,

현재의 행동가치함수에 따라 가장 높은 보상을 줄 것으로 예상되는 행동을 선택하는 행위가 된다.

 

예제)

만약 위의 예제에서 식당에 간 사람이 첫번째 음식만을 먹어보았고,

이 음식이 마음에 들어 첫번째 음식만 계속 선택했다고 가정해 보자.

이 사람은 첫번째 음식밖에 경험하지 못했기 떄문에 첫번째 음식이 최고였지만,

$q^*(a)$에 의하면 최고의 음식은 두번째 음식이다.

따라서 에이전트(식당에 간 사람)는 절대 두번째 음식을 선택할 수 없게 된다.

 

탐색 vs. 활용

위의 예제와 같은 상황은 탐색과 활용의 딜레마에 빠지게 한다.

그렇다면 우리는 언제 탐색을 하고, 언제 탐색을 통해 모은 지식을 활용 해야할까?

활용을 한다면 현재에 기반해 좋은 보상을 얻을 수 있을 수도 있지만,

탐색을 한다면 각 행동에 대한 더 정확한 예측을 할 수 있게 된다.

하지만 한번에 이 두가지의 방법을 모두 선택할 수는 없다.

 

Epsilon Greedy

입실론 그리디(Epsilon Greedy) 기법은 이를 가장 간단히 구현한 방법이다.

먼저 $\epsilon$(입실론)의 확률로 랜덤한 행동을 선택하고,

이 확률에 걸리지 않았다면 탐욕적인 방식으로 행동을 선택한다.

 

예제)

주사위를 굴려 1이 나온다면 탐색을, 다른 숫자가 나온다면 탐욕적인 방법을 선택할 수 있다.

이 경우에는 입실론이 $\frac{1}{6}가 되는 것이다.

 

입실론 그리디를 수식으로 정의하면 다음과 같다:

$$A_t \leftarrow \begin{cases} argmax_a Q_t(a) & \mbox{with probability } 1 - \epsilon \\ a ~ Uniform({a_1 ... a_k}) & \mbox{with probability } \epsilon \end{cases}$$

 

$1 - \epsilon$의 확률로 탐욕적인 행동(argmax)을 선택하고, $\epsilon$의 확률로 랜덤한 행동을 선택한다.