구글 BERT의 정석

인간보다 언어를 더 잘 이해하고 구현하는 고성능 AI 언어 모델 BERT



이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명한다. 다음으로 BioBERT 및 ClinicalBERT와 같은 특정 도메인에 해당하는 BERT 모델을 배우고 BERT의 재미있는 변형 모델인 VideoBERT도 살펴본다. 특별히, 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필하여 붙였다. 이 책을 따라 모든 학습을 마치고 나면 BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것이다.



주요 내용

트랜스포머 모델
BERT의 작동 원리
마스크 언어 모델과 다음 문장 예측 태스크를 활용한 사전 학습
BERT를 활용해 상황에 맞는 단어 및 문장 임베딩 생성
다운스트림 태스크를 위한 BERT 파인 튜닝
ALBERT, RoBERTa, ELECTRA, SpanBERT 모델
지식 증류 기반 BERT 모델
XLM 및 XLM-R 언어 모델
sentence-BERT. VideoBERT, BART 모델
KoBERT, KoGPT2, KoBART 모델