BPE 分词器:不断合并最常连在一起的两块的字节对编码
BPE(Byte Pair Encoding)是把文本切成词元的一种方法。词元是模型处理的带编号的小块。它不断把最常连在一起出现的两块合成一块。本页说明为什么需要它、怎么训练和使用,以及相关的术语。
看图理解
-
小块
把文本切成最小的单位。
-
常见的一对
找出最常连在一起出现的两块。
-
新的一块
把这一对合成新的一块。
什么是 BPE
BPE 是 Byte Pair Encoding(对编码)的缩写。它是把文本切成的一种方法,词元是模型能处理的带编号的小块。
它最早是 1994 年提出的一种压缩方法。现在用来造。 系列的模型都用这种方法。
核心想法只有一个:不断把最常连在一起出现的两块合成一块。
这就像给常说的话起一个简称。人们会把每天都说的长词语缩短来叫,BPE 对字符也是这样做的。
为什么需要它
模型不能直接读文字。它只处理数字。把文本变成数字有三种方法。
| 方法 | 优点 | 缺点 |
|---|---|---|
| 按字符 | 小,没有不认识的词 | 文本变得很长,很慢 |
| 按单词 | 文本变短 | 词表会涨到几百万个词,没见过的词处理不了 |
| BPE(按小块) | 介于两者之间。常见的保持完整,少见的切成小块 | 需要先训练 |
- 按字符 lower 5 块
- 按单词 lower 1 块
- BPE(按小块) lower 2 块
在韩语里
韩语的词尾变化很多,比如 먹었습니다, 먹었어요, 먹었는데。所以按单词切特别吃亏。BPE 会自己学会像 먹었 + 습니다 这样切。
- 먹었습니다
- 먹었어요
- 먹었는데
相同的一块词尾
怎么训练
BPE 分词器查看一批训练用的文本(语料库),学习该合并哪些对。一共四步。
-
切开
把全部文本切成最小的单位(字节或字符)。这就是最初的词表。
-
数对
数一数每一对相邻的小块各出现了多少次。
-
合并
把出现最多的一对合成新的一块,加进词表。
-
重复
重复第 2 步和第 3 步,直到词表达到想要的大小。
重复第 2 步和第 3 步,直到词表够大
跟着例子做
用文本 "aaabdaaabac" 来试一试。一开始有 11 个字符。
-
开始
aaabdaaabac
11 块
-
"aa" 是出现最多的一对(4 次)。把它合并为 Z = "aa" 。
ZabdZabac
9 块
-
"ab" 是出现最多的一对(2 次)。把它合并为 Y = "ab" 。
ZYdZYac
7 块
-
"ZY" 是出现最多的一对(2 次)。把它合并为 X = "ZY" 。
XdXac
5 块
下一步要合并的一对新合成的小块
在第 2 步,"Za" 也出现了 2 次。次数相同时选哪一对,每个分词器按自己定好的规则来。这里选了 "ab" 。
11 个字符变成了 5 块。合并的顺序(aa → Z, ab → Y, ZY → X)就是分词器学到的内容。 词表一开始有 4 个字符,加上 3 次合并,变成 7 个。
怎么使用
训练好的分词器做两件事。
编码
把新文本切成最小的单位。然后按学到的顺序套用训练时学到的合并规则,得到一串。
解码
把词元编号变回小块,再拼起来,就得到原文。
- 文本
baaab- 小块
- bX
- 词元编号
[1, 6]- 文本
baaab
词表(编号 : 小块)0 : a1 : b2 : c3 : d4 : Z5 : Y6 : X
先编码再解码,得到的必须和原文完全一样。
术语
讲 BPE 时总会一起出现的词。
小块和编号
- 词元 token
- 模型处理的最小文本块。它可以是一个字符、词的一部分,或者整个词。
- 词元 ID token ID
- 每个词元的编号。真正送进模型的就是这个值。
- 词表 vocabulary, vocab
- 全部词元的清单。
- 词表大小 vocab size
- 最初单位的数量加上合并的次数。词表越大,文本越短,但模型的表也越大。例如 是 256 个字节加 50,000 次合并,再加 1 个,一共 50,257 个。
合并
- 对 pair
- 挨在一起的两个词元。
- 合并 merge
- 把一对合成一个新词元。
- 合并规则 merge rules
- 按顺序记下的合并过的对的清单。保存分词器,就是保存这份清单。
- 语料库 corpus
- 用来训练分词器的一批文本。
还可以了解
- 字节级 BPE byte-level BPE
- 不从字符开始,而是从 字节(0 到 255)开始的 BPE。最初的词表固定为 256 个。任何字符或表情符号都能处理。
- 特殊词元 special token
- 不是文字内容、而是用作信号的词元。例如表示文本结束的 <eos> ,和把文本补到固定长度的 <pad> 。
- OOV out of vocabulary
- 词表里没有的词。字节级 BPE 不会出现这种情况。
出处
本页用简单的话概括了下面的论文和文档,核对于 2026-11-11 。如有出入,以原文为准。