강화학습 기본 완성과 PyTorch

강화학습 알고리즘을 코드 구현 중심으로 설명하고 실제 학습 가능한 코드를 제공하는 서적은 드물다. 이러한 어려움을 해소하고자 2023년에 첫 번째 책 『강화학습 기본과 PyTorch』를 출간하였고, 이어 2024년에는 두 번째 책 『강화학습 기본 다지기와 PyTorch』를 출판했다. 그리고 이번에는 세 번째 책 『강화학습 기본 완성과 PyTorch』를 독자 여러분께 선보이게 되었다.
첫 번째 책에서는 환경과 에이전트의 예제를 시작으로 Bellman 방정식을 소개하고, 전통적인 가치 기반(value-based) 강화학습인 DQN(Deep Q Network), Double DQN, Dueling DQN, PER(Prioritized Experience Replay) 등을 다루었다. 두 번째 책에서는 N-step DQN, NoisyNet, Categorical DQN(C51), QRDQN(Quantile Regression DQN), IQN(Implicit Quantile Network), FQF(Fully parameterized Quantile Function), Rainbow와 같은 다양한 알고리즘을 소개하며, 가치 기반 강화학습의 폭넓은 기법들을 설명하였다.
세 번째 책인 이번 시리즈에서는 정책 기반(policy based) 강화학습을 본격적으로 다룬다. REINFORCE-MCPG(Monte Carlo Policy Gradient), REINFORCE- Baseline, A2C(Advantage Actor Critic), A3C(Asynchronous Advantage Actor Critic), DDPG(Deep Deterministic Policy Gradient), TD3(Twin Delayed Deep Deterministic Policy Gradient), TRPO(Trust Region Policy Optimization), PPO(Proximal Policy Optimization), SAC(Soft Actor Critic) 알고리즘을 깊이 있게 다루고 있다.
이 책은 다음의 세 가지 원칙을 바탕으로 작성되었다.
1. 구현된 코드가 실제로 학습 가능해야 한다.
2. 알고리즘 설명은 코드 구현을 중심으로 한다.
3. 이해를 돕기 이해 가능한 한 그림을 적극적으로 활용한다.
알고리즘이 구현된 코드로 학습이 되지 않으면, 그 알고리즘은 실질적으로 사용할 수 없으므로 첫 번째 원칙이 필요하다. 또한, 알고리즘의 이해는 코드 구현으로 완성되므로, 두 번째 원칙에 따라 코드 구현을 중심에 두고 알고리즘을 설명하였다. 마지막으로, 다양한 그림을 사용하여 독자가 알고리즘을 직관적으로 이해할 수 있도록 했다.
이 책에서 다루는 내용은 아래 분류 그림과 같이 점선에 있는 알고리즘으로 Model-Free RL의 Policy Optimization과 Q-Learning에 속한다.
위 그림에서 보듯이 점선이 있는 마지막 일곱 개의 강화학습 기법은 모두 정책 신경망을 포함하고 있으므로 Policy Optimization에 속한다. 그리고 REINFORCE(-MCPG, -Baseline), A2C/A3C, TRPO, PPO에는 행동-가치 신경망이 없으므로 Q-Learning이 아니지만, DDPG, TD3, SAC에는 행동-가치 신경망도 있으므로 Q-Learning으로 분류했다. 참고로 REINFORCE-Baseline, A2C/A3C, TRPO, PPO에는 상태-가치 신경망이 있으므로 V-Learning 범주에 속한다고 볼 수 있다.
이 책에서 다루는 알고리즘의 수식은 각 장의 부록에 정리하였다. 특히, TRPO와 SAC에는 수식이 자주 등장하므로 아래와 같은 과정으로 기술되었다고 생각하면 도움이 된다.
이론(Theory) ⇒ 이론의 근사화(Approximation of Theory) ⇒ 코딩(Coding)
여기서 이론(Theory) 단계에서는 코딩과 무관하게 진행되어 최종적인 수식을 도출한다. 이후 이 수식을 실제 코드로 옮길 수 있도록 단순화·근사화하여 근사 수식(Approximation of Theory)을 얻는다. 마지막으로 이 근사 수식을 바탕으로 알고리즘을 코딩(Coding)한다. 비록 근사 수식을 사용하지만, 실행 결과는 원래 이론에서 기대하는 내용과 잘 부합함을 확인할 수 있다. 참고로, 이 책의 코드는 Colab에서 실행했고 주요 패키지와 버전은 다음과 같다: matplotlib(3.10.0), moviepy(1.0.3), numpy(2.0.2), Pillow(11.3.0), torch(22.8.0+cu126), gym(0.25.2), gymnasium(1.2.0)
출간 후 나올 수 있는 수정사항이나 참고자료 등은 자유아카데미 홈페이지 자료실(www.freeaca.com)을 통해 게시할 것이니 참고하기를 바란다. 이번 책은 『강화학습 시리즈 1(2023년)』과 『강화학습 시리즈 2(2024년)』에 이어지는 세 번째 책(시리즈 3)으로, 정책 기반(policy-based)의 강화학습을 집중적으로 다루고 있다. 이에 본서를 끝으로 Model-Free RL에 대한 소개를 마무리하고자 한다.