목차 일부
지은이ㆍ옮긴이 소개 = 4
옮긴이의 글 = 5
이 책에 대하여 = 7
PART Ⅰ BERT 시작하기
CHAPTER 1 트랜스포머 입문
1.1 트랜스포머 소개 = 22
1.2 트랜스포머의 인코더 이해하기 = 23
1.3 트랜스포머 디코더 이해하기 = 45
1.4 인코더와 디코더 결합 = 64
1.5 트랜...
더보기
목차 전체
지은이ㆍ옮긴이 소개 = 4
옮긴이의 글 = 5
이 책에 대하여 = 7
PART Ⅰ BERT 시작하기
CHAPTER 1 트랜스포머 입문
1.1 트랜스포머 소개 = 22
1.2 트랜스포머의 인코더 이해하기 = 23
1.3 트랜스포머 디코더 이해하기 = 45
1.4 인코더와 디코더 결합 = 64
1.5 트랜스포머 학습 = 65
1.6 마치며 = 65
1.7 연습 문제 = 66
1.8 보충 자료 = 66
CHAPTER 2 BERT 이해하기
2.1 BERT 기본 개념 = 68
2.2 BERT의 동작 방식 = 70
2.3 BERT의 구조 = 72
2.4 BERT 사전 학습 = 75
2.5 하위 단위 토큰화 알고리즘 = 94
2.6 마치며 = 105
2.7 연습 문제 = 105
2.8 보충 자료 = 106
CHAPTER 3 BERT 활용하기
3.1 사전 학습된 BERT 모델 탐색 = 108
3.2 사전 학습된 BERT에서 임베딩을 추출하는 방법 = 109
3.3 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법 = 118
3.4 다운스트림 태스크를 위한 BERT 파인 튜닝 방법 = 123
3.5 마치며 = 139
3.6 연습 문제 = 140
3.7 보충 자료 = 140
PART Ⅱ BERT 파생 모델
CHAPTER 4 B ERT의 파생 모델 Ⅰ ALBERT, RoBERTa, ELECTRA, SpanBERT
4.1 ALBERT = 144
4.2 ALBERT에서 임베딩 추출 = 149
4.3 RoBERTa = 151
4.4 ELECTRA 이해하기 = 157
4.5 SpanBERT로 스팬 예측 = 166
4.6 마치며 = 172
4.7 연습 문제 = 172
4.8 보충 자료 = 173
CHAPTER 5 BERT 파생 모델 Ⅱ 지식 증류 기반
5.1 지식 증류 소개 = 176
5.2 DistilBERT : BERT의 지식 증류 버전 = 182
5.3 TinyBERT 소개 = 186
5.4 BERT에서 신경망으로 지식 전달 = 200
5.5 마치며 = 206
5.6 연습 문제 = 206
5.7 보충 자료 = 207
PART Ⅲ BERT 적용하기
CHAPTER 6 텍스트 요약을 위한 BERTSUM 탐색
6.1 텍스트 요약 = 212
6.2 텍스트 요약에 맞춘 BERT 파인 튜닝 = 214
6.3 ROUGE 평가 지표 이해하기 = 226
6.4 BERTSUM 모델의 성능 = 229
6.5 BERTSUM 모델 학습 = 230
6.6 마치며 = 232
6.7 연습 문제 = 233
6.8 보충 자료 = 233
CHAPTER 7 다른 언어에 BERT 적용하기
7.1 M-BERT 이해하기 = 236
7.2 M-BERT는 다국어 표현이 어떻게 가능한가? = 241
7.3 XLM = 249
7.4 XLM-R 이해하기 = 253
7.5 언어별 BERT = 256
7.6 마치며 = 271
7.7 연습 문제 = 272
7.8 보충 자료 = 273
CHAPTER 8 sentence-BERT 및 domain-BERT 살펴보기
8.1 sentence-BERT로 문장 표현 배우기 = 276
8.2 sentence-transformers 라이브러리 탐색 = 285
8.3 지식 증류를 이용한 다국어 임베딩 학습 = 291
8.4 domain-BERT = 296
8.5 마치며 = 304
8.6 연습 문제 = 305
8.7 보충 자료 = 305
CHAPTER 9 VideoBERT, BART
9.1 VideoBERT로 언어 및 비디오 표현 학습 = 308
9.2 BART 이해하기 = 315
9.3 BERT 라이브러리 탐색 = 322
9.4 마치며 = 337
9.5 연습 문제 = 338
9.6 보충 자료 = 338
CHAPTER 10 한국어 언어 모델 : KoBERT, KoGPT2, KoBART
10.1 KoBERT = 341
10.2 KoGPT2 = 345
10.3 KoBART = 348
부록 : 연습 문제 정답 = 355
찾아보기 = 363
더보기 닫기