OkayStudy
JA English 한국어 日本語 中文 हिन्दी বাংলা اردو Español Português Français Deutsch Русский العربية Bahasa Indonesia Tiếng Việt ไทย Türkçe

通知を有効にする方法

このブラウザーまたはアドレスでは通知を利用できません。対応ブラウザーで安全な接続のBaeumNovaサイトを開いてください。

通知がブロックされている場合は、ブラウザーの設定で許可してください。

  1. アドレスバー横のサイト設定、またはブラウザーのサイト設定を開き、このサイトの通知を許可に変更してください。
  2. 端末の設定でブラウザーの通知を許可し、おやすみモードや集中モードを確認してください。
  3. BaeumNovaに戻ってページを再読み込みしてください。通知が有効になるとベルは表示されなくなります。

iPhoneやiPadではBaeumNovaをホーム画面に追加し、そこから開いて通知を許可してください。

BPE トークナイザー — いちばんよく並ぶ二つのかけらをまとめるバイトペア符号化

BPE(Byte Pair Encoding)は、文章をトークンに分ける方法です。トークンは、モデルが扱う番号つきのかけらです。いちばんよく並んで出てくる二つのかけらを一つにまとめることをくり返します。なぜ必要か、どう学習してどう使うか、関連する用語を説明します。

用語集に戻る 2026-11-11 に出典を確認しました
長いベルトコンベヤーの上に小さなブロックが一列に並んでいる。まん中でロボットの腕がとなり合ったオレンジのブロックとミントのブロックを見つけてくっつけ、右のトレーには二つのブロックが一つになった長いブロックが積まれている

絵で見ると

  1. 小さなかけら

    文章をいちばん小さな単位に分けます。

  2. よく並ぶペア

    いちばんよく並んで出てくる二つのかけらを探します。

  3. 新しいかけら

    そのペアを新しいかけら一つにまとめます。

BPE とは

BPE は Byte Pair Encoding(ペア符号化)の略です。文章を、モデルが扱える番号つきのかけらであるに分ける方法です。

もともとは 1994 年に出た圧縮の方法です。いまはを作る方法として使われています。 系のモデルはすべてこの方式を使っています。

大事な考えは一つです。いちばんよく並んで出てくる二つのかけらを一つにまとめることをくり返します。

よく口にする言葉に短い名前をつけるのと同じです。人が毎日使う長い言葉を略して呼ぶように、BPE は文字を同じように短くします。

なぜ必要か

モデルは文字を読めません。数字だけを扱います。文章を数字に変える方法は三つあります。

文章を数字に変える三つの方法
方法 よい点 悪い点
文字ごと 語彙が小さく、知らない単語がありません 文章がとても長くなり、が遅くなります
単語ごと 文章が短くなります 語彙が数百万個にふくらみ、初めて見る単語を扱えません
BPE(かけらごと) 二つの中間です。よく出るものはまるごと、めったに出ないものは細かく分けます 先に学習させる必要があります
単語 ⁦"lower"⁩ を三つの方法で分けると
  • 文字ごと lower かけら 5 個
  • 単語ごと lower かけら 1 個
  • BPE(かけらごと) lower かけら 2 個

韓国語では

韓国語は 먹었습니다, 먹었어요, 먹었는데 のように語尾がさまざまです。そのため単語ごとに分ける方法はとくに不利です。BPE は 먹었 + 습니다 のように分けることを自分で学習します。

BPE が学習した分け方
  • 먹었습니다
  • 먹었어요
  • 먹었는데

同じかけら語尾

学習のしかた

BPE トークナイザーは、学習用の文章の集まり(コーパス)を見て、どのペアをまとめるかを学習します。四つのステップがあります。

  1. 分ける

    文章ぜんたいをいちばん小さな単位(バイトまたは文字)に分けます。これが最初の語彙です。

  2. ペアを数える

    となり合う二つのかけらのペアが、それぞれ何回出てくるかを数えます。

  3. まとめる

    いちばん多く出たペアを新しいかけら一つにまとめ、語彙に加えます。

  4. くり返す

    語彙がほしい大きさになるまで、ステップ 2 と 3 をくり返します。

語彙が十分な大きさになるまでステップ 2 と 3 をくり返す

例でたどる

文章 ⁦"aaabdaaabac"⁩ でやってみましょう。11 文字から始めます。

  1. 最初

    aaabdaaabac

    かけら 11 個

  2. ⁦"aa"⁩ がいちばん多いペアです(4 回)。⁦Z⁩ = ⁦"aa"⁩ としてまとめます。

    ZabdZabac

    かけら 9 個

  3. ⁦"ab"⁩ がいちばん多いペアです(2 回)。⁦Y⁩ = ⁦"ab"⁩ としてまとめます。

    ZYdZYac

    かけら 7 個

  4. ⁦"ZY"⁩ がいちばん多いペアです(2 回)。⁦X⁩ = ⁦"ZY"⁩ としてまとめます。

    XdXac

    かけら 5 個

次にまとめるペア新しくできたかけら

ステップ 2 では、⁦"Za"⁩ も 2 回で同じ回数です。回数が同じときにどのペアを選ぶかは、トークナイザーごとに決めた規則に従います。ここでは ⁦"ab"⁩ を選びました。

11 文字が 5 個のかけらになりました。まとめた順番(⁦aa → Z, ab → Y, ZY → X⁩)が、そのままトークナイザーが学習した内容です。 語彙は最初の 4 文字に 3 回のマージが加わり、7 個になりました。

使い方

学習が終わったトークナイザーは二つの仕事をします。

エンコード

新しい文章をいちばん小さな単位に分けます。次に、学習で覚えたマージ規則を覚えた順番どおりに当てはめて、のリストにします。

デコード

トークン番号をかけらに戻してつなげると、もとの文章になります。

上で学習した規則で新しい文章 ⁦"baaab"⁩ を変換する
文章
baaab
かけら
bX
トークン番号
[1, 6]
文章
baaab

語彙(番号 : かけら)0 : a1 : b2 : c3 : d4 : Z5 : Y6 : X

エンコードしてからデコードした結果は、もとの文章とまったく同じでなければなりません。

用語

BPE を説明するときにいっしょに出てくる言葉です。

かけらと番号

トークン token
モデルが扱う文章のいちばん小さなかけらです。一文字のことも、単語の一部や単語まるごとのこともあります。
トークン ID token ID
トークンごとに付いた番号です。実際にモデルに入るのはこの値です。
語彙 vocabulary, vocab
トークンぜんぶのリストです。
語彙サイズ vocab size
最初の単位の数にマージの回数を足した値です。大きいほど文章は短くなりますが、モデルのの表が大きくなります。たとえば は、256 個のバイトに 50,000 回のマージと 1 個のを足して 50,257 個です。

まとめる

ペア pair
となり合って並ぶ二つのトークンです。
マージ merge
ペア一つを新しいトークン一つにまとめることです。
マージ規則 merge rules
まとめたペアを順番に書いたリストです。トークナイザーを保存するとは、このリストを保存することです。
コーパス corpus
トークナイザーの学習に使う文章の集まりです。

知っておくとよいこと

バイトレベル BPE byte-level BPE
文字ではなく のバイト(0〜255)から始める BPE です。最初の語彙は 256 個に決まっています。どんな文字や絵文字でも扱えます。
特殊トークン special token
文章の中身ではなく、合図として使うトークンです。文章の終わりを示す <eos> や、長さをそろえるために埋める <pad> などがあります。
OOV out of vocabulary
語彙にない単語です。バイトレベル BPE では起こりません。

出典

このページは下の論文と文書をやさしい言葉でまとめたもので、2026-11-11 に確認しました。内容が違うときは原文が正しいです。

予約できる時間が過ぎました

リエンと音声で会話 言語とテーマを選んで、リエンと声で話しましょう

リエンは English · 한국어 · 日本語 · हिन्दी で声に出して話します。ほかの言語は文字で答えます。

リエンとの音声会話は会員だけが使えます。まず会員登録をしてください。