BPE 토크나이저 — 가장 자주 붙는 두 조각을 합치는 바이트 쌍 인코딩
BPE(Byte Pair Encoding)는 글을 모델이 다루는 숫자 조각인 토큰으로 나누는 방법입니다. 가장 자주 붙어 나오는 두 조각을 하나로 합치는 일을 반복합니다. 왜 필요한지, 어떻게 학습하고 쓰는지, 관련 용어를 설명합니다.
그림으로 보면
-
작은 조각
글을 가장 작은 단위로 쪼갭니다.
-
자주 붙는 쌍
가장 자주 붙어 나오는 두 조각을 찾습니다.
-
새 조각
그 쌍을 새 조각 하나로 합칩니다.
BPE 란
BPE 는 Byte Pair Encoding( 쌍 인코딩)의 약자입니다. 글을 모델이 다룰 수 있는 숫자 조각인 으로 나누는 방법입니다.
원래는 1994년에 나온 압축 방법입니다. 지금은 를 만드는 방법으로 쓰입니다. 계열 모델이 모두 이 방식을 씁니다.
핵심 생각은 하나입니다. 가장 자주 붙어 나오는 두 조각을 하나로 합치는 일을 반복합니다.
자주 하는 말에 짧은 이름을 붙이는 것과 같습니다. 사람들이 매일 쓰는 긴 말을 줄여 부르듯이, BPE 는 글자를 그렇게 줄입니다.
왜 필요한가
모델은 글자를 직접 읽지 못하고 숫자만 다룹니다. 글을 숫자로 바꾸는 방법은 세 가지가 있습니다.
| 방법 | 장점 | 단점 |
|---|---|---|
| 글자 단위 | 가 작고 모르는 낱말이 없습니다 | 글이 너무 길어져 이 느립니다 |
| 낱말 단위 | 글이 짧아집니다 | 어휘가 수백만 개로 늘고, 처음 보는 낱말을 처리하지 못합니다 |
| BPE (조각 단위) | 둘의 중간입니다. 자주 나오는 것은 통째로, 드문 것은 잘게 나눕니다 | 직접 학습시켜야 합니다 |
- 글자 단위 lower 조각 5개
- 낱말 단위 lower 조각 1개
- BPE (조각 단위) lower 조각 2개
한국어에서는
한국어는 먹었습니다, 먹었어요, 먹었는데처럼 어미가 다양합니다. 그래서 낱말 단위가 특히 불리합니다. BPE 는 먹었 + 습니다처럼 스스로 나누는 법을 배웁니다.
- 먹었습니다
- 먹었어요
- 먹었는데
같은 조각어미
학습 과정
BPE 토크나이저는 학습용 글 모음(말뭉치)을 보고 어떤 쌍을 합칠지 배웁니다. 네 단계입니다.
-
쪼개기
글 전체를 가장 작은 단위(바이트 또는 글자)로 쪼갭니다. 이것이 처음 어휘입니다.
-
쌍 세기
붙어 있는 두 조각의 쌍이 각각 몇 번 나오는지 셉니다.
-
합치기
가장 많이 나온 쌍을 새 조각 하나로 합치고, 어휘에 추가합니다.
-
반복
원하는 어휘 수가 될 때까지 2~3번을 반복합니다.
원하는 어휘 수가 될 때까지 2~3번 반복
예로 따라 하기
글 "aaabdaaabac" 로 직접 해 봅니다. 글자 11개에서 시작합니다.
-
처음
aaabdaaabac
조각 11개
-
"aa" 가 가장 많습니다(4번). Z = "aa" 로 합칩니다.
ZabdZabac
조각 9개
-
"ab" 가 가장 많습니다(2번). Y = "ab" 로 합칩니다.
ZYdZYac
조각 7개
-
"ZY" 가 가장 많습니다(2번). X = "ZY" 로 합칩니다.
XdXac
조각 5개
다음에 합칠 쌍새로 생긴 조각
2번째 단계에서는 "Za" 도 2번으로 횟수가 같습니다. 횟수가 같을 때 어느 쌍을 고를지는 토크나이저마다 정해 둔 규칙을 따릅니다. 여기서는 "ab" 를 골랐습니다.
글자 11개가 조각 5개로 줄었습니다. 합친 순서(aa → Z, ab → Y, ZY → X)가 곧 토크나이저가 배운 내용입니다. 어휘는 처음 글자 4개에 병합 3번을 더해 7개가 되었습니다.
사용 과정
학습이 끝난 토크나이저는 두 가지 일을 합니다.
인코딩
새 글을 가장 작은 단위로 쪼갭니다. 그다음 학습 때 배운 병합 규칙을 배운 순서대로 적용해 목록으로 바꿉니다.
디코딩
토큰 번호를 다시 조각으로 바꿔 이어 붙이면 원문이 됩니다.
- 글
baaab- 조각
- bX
- 토큰 번호
[1, 6]- 글
baaab
어휘(번호 : 조각)0 : a1 : b2 : c3 : d4 : Z5 : Y6 : X
인코딩 후 디코딩한 결과는 원문과 똑같아야 합니다.
용어
BPE 를 설명할 때 함께 나오는 낱말입니다.
조각과 번호
- 토큰 token
- 모델이 다루는 글의 최소 조각입니다. 글자 하나일 수도, 낱말 일부나 전체일 수도 있습니다.
- 토큰 ID token ID
- 토큰마다 붙은 번호입니다. 모델에 실제로 들어가는 값입니다.
- 어휘 vocabulary, vocab
- 토큰 전체 목록입니다.
- 어휘 크기 vocab size
- 처음 단위 수에 병합 횟수를 더한 값입니다. 크면 글이 짧아지지만 모델의 표가 커집니다. 예를 들어 는 바이트 256개에 병합 50,000번과 1개를 더해 50,257개입니다.
합치기
- 쌍 pair
- 나란히 붙어 있는 두 토큰입니다.
- 병합 merge
- 쌍 하나를 새 토큰 하나로 합치는 일입니다.
- 병합 규칙 merge rules
- 병합한 쌍을 순서대로 적은 목록입니다. 토크나이저를 저장한다는 것은 이 목록을 저장하는 것입니다.
- 말뭉치 corpus
- 토크나이저를 학습시키는 데 쓰는 글 모음입니다.
더 알아 둘 것
- 바이트 단위 BPE byte-level BPE
- 글자가 아니라 바이트(0~255)에서 시작하는 방식입니다. 처음 어휘가 256개로 고정됩니다. 어떤 글자나 이모지가 와도 처리하지 못하는 일이 없습니다.
- 특수 토큰 special token
- 글 내용이 아닌 신호용 토큰입니다. 글의 끝을 알리는 <eos>, 길이를 맞추는 <pad> 등이 있습니다.
- OOV out of vocabulary
- 어휘에 없는 낱말입니다. 바이트 단위 BPE 에서는 생기지 않습니다.
출처
이 페이지는 아래 논문과 문서를 쉬운 말로 줄인 것이고 2026-11-11 에 확인했습니다. 서로 다르면 원문이 맞습니다.