수학으로 풀어보는 강화학습 원리와 알고리즘 상세페이지

수학으로 풀어보는 강화학습 원리와 알고리즘

Name: 수학으로 풀어보는 강화학습 원리와 알고리즘
Price: 21000 KRW
Availability: OnlineOnly
Author: 박성수

데이터 사이언스 시리즈 073 | 딥러닝과 강화학습을 이해하기 위한 필수 수학 이론부터 다양한 강화학습 알고리즘, 모델 기반 강화학습까지

0명참여

박성수 저

위키북스 출판

소장	종이책 정가	30,000원
	전자책 정가	30%21,000원
	판매가	21,000원

출간 정보
- 2023.02.01. 전자책 출간
- 2021.09.17. 종이책 출간
파일 정보
- PDF
- 10.0MB
- 437쪽
ISBN
- 9791158394127
ECN
- -

듣기 기능미지원
지원 기기
- PAPER
- iOS
- Android
- PC
- Mac

수학으로 풀어보는 강화학습 원리와 알고리즘작품 소개

<수학으로 풀어보는 강화학습 원리와 알고리즘>

코딩하면서 알고리즘이 유도된 과정이 궁금하다면 이 책을 선택하기 바랍니다!

이 책은 딥러닝이나 강화학습 예제를 코딩하면서 그 배경 알고리즘의 유도 과정을 궁금해하는 사람을 위한 책이다. 술술 읽히는 책은 아니지만, 그렇다고 심하게 어려운 책도 아니다. 수학의 선수 지식으로 대학 2학년 때 배우는 공업수학을 이수한 정도면 충분하고, 딥러닝의 선수 지식으로는 텐서플로 또는 파이토치를 사용하여 MNIST와 같은 간단한 딥러닝 예제를 따라해 본 정도면 충분하다.

이 책은 강화학습뿐만 아니라 다른 머신러닝과 딥러닝의 기초가 되는 확률이론과 추정론에 대한 기본적인 이해를 바탕으로 강화학습의 여러 알고리즘을 처음부터 끝까지 생략하지 않고 수식으로 유도했다.

강화학습이 추구하는 기본 목표로부터 A2C, A3C, PPO, DDPG, SAC 및 모델 기반 강화학습 등 강화학습의 알고리즘이 무엇이고 어떤 목적으로 개발됐는지, 어떻게 수학적으로 유도했는지, 그리고 어떻게 코드로 구현해 적용했는지를 구체적으로 설명한다.

★ 이 책에서 다루는 내용 ★

- 강화학습을 이해하기 위한 기본 수학: 확률론, 추정론, 최적화, 벡터/행렬의 미분
- 강화학습 알고리즘: A2C, A3C, PPO, DDPG, SAC
- 최적제어 알고리즘: 반복적 LQR, 가우시안 LQR
- 로컬 모델 기반 강화학습: GMM, 모델 피팅 방법, LQR을 이용한 강화학습

저자 소개

박성수
서울대학교 항공우주공학과에서 학사, 동 대학교 대학원에서 석사, 그리고 국비유학으로 미국 UC Berkeley에서 박사학위를 받았다. 유학가기 전에 국방과학연구소에서 연구원으로 일했으며, 박사후에는 UC Berkeley ITS 연구소에서 포스트닥 연구원으로 일했다. 현재 세종대학교 항공우주공학과 교수이며, 유도항법제어 및 AI for Dynamics and Control 분야를 연구하고 있다.

개인 블로그: https://pasus.tistory.com/

01장: 강화학습 수학

1.1 확률과 랜덤 변수
___1.1.1 확률
___1.1.2 랜덤 변수
___1.1.3 누적분포함수와 확률밀도함수
___1.1.4 결합 확률함수
___1.1.5 조건부 확률함수
___1.1.6 독립 랜덤 변수
___1.1.7 랜덤 변수의 함수
___1.1.8 베이즈 정리
___1.1.9 샘플링

1.2 기댓값과 분산
___1.2.1 기댓값
___1.2.2 분산
___1.2.3 조건부 기댓값과 분산

1.3 랜덤벡터
___1.3.1 정의
___1.3.2 기댓값과 공분산 행렬
___1.3.3 샘플 평균

1.4 가우시안 분포

1.5 랜덤 시퀀스
___1.5.1 정의
___1.5.2 평균함수와 자기 상관함수
___1.5.3 마르코프 시퀀스

1.6 선형 확률 차분방정식

1.7 표기법

1.8 중요 샘플링

1.9 엔트로피

1.10 KL 발산

1.11 추정기
___1.11.1 최대사후 추정기
___1.11.2 최대빈도 추정기

1.12 벡터와 행렬의 미분
___1.12.1 벡터로 미분
___1.12.2 행렬로 미분

1.13 촐레스키 분해

1.14 경사하강법
___1.14.1 배치 경사하강법
___1.14.2 확률적 경사하강법

1.15 경사하강법의 개선
___1.15.1 모멘텀
___1.15.2 RMSprop
___1.15.3 아담

1.16 손실함수의 확률론적 해석
___1.16.1 가우시안 오차 분포
___1.16.2 베르누이 오차 분포

02장: 강화학습 개념

2.1 강화학습 개요

2.2 강화학습 프로세스와 표기법

2.3 마르코프 결정 프로세스
___2.3.1 정의
___2.3.2 가치함수
___2.3.3 벨만 방정식
___2.3.4 벨만 최적 방정식

2.4 강화학습 방법

03장: 정책 그래디언트

3.1 배경

3.2 목적함수

3.3 정책 그래디언트

3.4 REINFORCE 알고리즘

04장: A2C

4.1 배경

4.2 그래디언트의 재구성

4.3 분산을 감소시키기 위한 방법

4.4 A2C 알고리즘

4.5 A2C 알고리즘 구현
___4.5.1 테스트 환경
___4.5.2 코드 개요
___4.5.3 액터 클래스
___4.5.4 크리틱 클래스
___4.5.5 에이전트 클래스
___4.5.6 학습 결과
___4.5.7 전체 코드

05장: A3C

5.1 배경

5.2 그래디언트 계산의 문제
___5.2.1 샘플의 상관관계
___5.2.2 n-스텝 가치 추정

5.3 비동기 액터-크리틱(A3C) 알고리즘

5.4 그래디언트 병렬화 방식의 A3C 알고리즘 구현
___5.4.1 테스트 환경
___5.4.2 코드 개요
___5.4.3 액터 클래스
___5.4.4 크리틱 클래스
___5.4.5 에이전트 클래스
___5.4.6 학습 결과
___5.4.7 전체 코드

5.5 데이터 병렬화 방식의 A3C 알고리즘 구현
___5.5.1 코드 개요
___5.5.2 전체 코드

06장: PPO

6.1 배경

6.2 그래디언트의 재구성

6.3 정책 업데이트와 성능

6.4 PPO 알고리즘

6.5 어드밴티지 추정의 일반화 (GAE)

6.6 PPO 알고리즘 구현
___6.6.1 테스트 환경
___6.6.2 코드 개요
___6.6.3 액터 클래스
___6.6.4 크리틱 클래스
___6.6.5 에이전트 클래스
___6.6.6 학습 결과
___6.6.7 전체 코드

07장: DDPG

7.1 배경 240

7.2 그래디언트의 재구성

7.3 DDPG 알고리즘

7.4 DDPG 알고리즘 구현
___7.4.1 테스트 환경
___7.4.2 코드 개요
___7.4.3 액터 클래스
___7.4.4 크리틱 클래스
___7.4.5 액터-크리틱 에이전트 클래스
___7.4.6 학습 결과
___7.4.7 전체 코드

08장: SAC

8.1 배경

8.2 소프트 벨만 방정식

8.3 소프트 정책 개선

8.4 SAC 알고리즘

8.5 SAC 알고리즘 구현
___8.5.1 테스트 환경
___8.5.2 코드 개요
___8.5.3 액터 클래스
___8.5.4 크리틱 클래스
___8.5.5 에이전트 클래스
___8.5.6 학습 결과
___8.5.7 전체 코드

09장: 모델 기반 강화학습 기초

9.1 배경

9.2 최적제어
___9.2.1 LQR
___9.2.2 확률적 LQR
___9.2.3 가우시안 LQR
___9.2.4 반복적 LQR

9.3 모델 학습 방법

10장: 로컬 모델 기반 강화학습

10.1 배경

10.2 로컬 모델 피팅 기반 LQR

10.3 로컬 모델 피팅
___10.3.1 조건부 가우시안 방법
___10.3.2 GMM 사전분포를 이용한 로컬 모델 업데이트

10.4 로컬 제어 법칙 업데이트
___10.4.1 대체 비용함수 계산
___10.4.2 KL 발산 계산
___10.4.3 h 조정
___10.4.4 e 조정

10.5 가우시안 LQR을 이용한 강화학습 알고리즘

10.6 가우시안 LQR을 이용한 강화학습 알고리즘 구현
___10.6.1 테스트 환경
___10.6.2 코드 개요
___10.6.3 궤적 생성
___10.6.4 로컬 모델 피팅
___10.6.5 가우시안 LQR
___10.6.6 가우시안 혼합 모델
___10.6.7 LQR-FLM 에이전트 클래스
___10.6.8 학습 결과
___10.6.9 전체 코드

10.7 GPS로의 발전

참고문헌

리뷰

구매자 별점

0.0 점

점수비율

0명이 평가함

리뷰 작성 영역

이 책을 평가해주세요!

내가 남긴 별점 0.0

별로예요

그저 그래요

보통이에요

최고예요

별점 취소

별 1개 별 2개 별 3개 별 4개 별 5개

스포일러가 있습니다.

구매자 표시 기준은 무엇인가요?

'구매자' 표시는 리디에서 유료도서 결제 후 다운로드 하시거나 리디셀렉트 도서를 다운로드하신 경우에만 표시됩니다.

무료 도서 (프로모션 등으로 무료로 전환된 도서 포함): '구매자'로 표시되지 않습니다.
시리즈 도서 내 무료 도서: '구매자’로 표시되지 않습니다. 하지만 같은 시리즈의 유료 도서를 결제한 뒤 리뷰를 수정하거나 재등록하면 '구매자'로 표시됩니다.
영구 삭제: 도서를 영구 삭제해도 ‘구매자’ 표시는 남아있습니다.
결제 취소: ‘구매자’ 표시가 자동으로 사라집니다.