リクエストが通る道

1. 1

   キーが押される

   キーボードの中の小さなコンピューターがどのキーが動いたかを見つけ、それを数字にしてケーブルへ流します。

2. 2

   オペレーティングシステムが受け取る

   カーネルのドライバーがその数字を入力イベントに変え、今いちばん手前にある窓へ向けて列に並べます。

3. 3

   プログラムが列から取り出す

   どのプログラムも、イベントを一つずつ取り出して処理する繰り返しを回しています。入力欄に文字が現れるのがこの段階です。

4. 4

   マイクは別の道を行く

   音は 1 秒に何万回もの測定値として届きます。テキストモデルが見る前に、音声認識モデルが話された部分を文字にします — ただ、新しいモデルの中には音をそのまま聞けるものもあります。

1. 5

   システムプロンプト

   プログラムを作った人があらかじめ書いておいた決まりが先頭に付きます — おまえは何で、どう答えるべきか。

2. 6

   ここまでの会話

   これまでのやり取りが順番どおりに入ります。上限があるので、アプリは古いものから外したり、短くしたり、要約したりします — 入らなかったものは、モデルにはただ見えません。

3. 7

   自分が添えたもの

   画像やファイルは、サービスが受け付ける形で添えられます。生のバイト、ファイル ID、リンク、あるいは base64 と呼ばれる長い文字の並びです。PDF からは、サービスが文字を抜き出したり、ページを画像にしたり、OCR で読み取ったりします。

4. 8

   自分の資料を探す（RAG）

   これが RAG です。質問を数字（またはキーワード）に変え、自分の資料の中からいちばん合う部分を探して一緒に詰めます。モデル自体を学習し直すわけではありません — 見つかった部分も、やはり確かめる必要があります。

5. 9

   道具の一覧

   アプリが許可したすべての道具の名前と入力の形が、メニューのように書き出されます。アプリは自分の道具を並べることも、MCP サーバーから受け取ることもできます。

6. 10

   スキルとコマンド

   誰かが前もって書いておいた指示の束 — スキル — が、作業に必要なときに差し込まれます。スキルはスクリプトや参考ファイルも持てるので、信用する前に中身を読んでください。

7. 11

   上限に合わせる

   かばん全体がトークンで数えられます。上限を超えると、アプリは何かを切ったり、短くしたり、外したりしなければなりません — たいていは、いちばん古いものからです。

1. 12

   住所を調べる

   サーバーの名前を数字の住所に変えます（DNS）。

2. 13

   道を開き、錠をかける

   何かを送る前に、自分のコンピューターとサーバーが道を開き、秘密の鍵を取り決めます。だから途中の誰にも、通るものは読めません（TCP と TLS。新しい HTTP/3 は QUIC で両方をこなします）。

3. 14

   誰なのかを示す

   リクエストの頭に鍵（API キー）や札（トークン）を付けます。誰の分として計算するかがここで決まります。

4. 15

   リクエストを送る

   ここまで詰めたものすべてが一つのリクエストになり、たいていは JSON で書かれて出ていきます。ライブの音声のように両側が話し続ける必要があるときは、代わりに接続を開いたままにしておきます。

1. 16

   門番

   鍵が合っているか、呼びすぎていないかを見て、空いている計算機に渡します。

2. 17

   待ちの列

   リクエストはすぐには計算されず、しばらく列に並びます。順番が来ると、ランタイムはすでに載せてある一組の数字で、待っていた複数の質問をまとめて計算します。

3. 18

   入ってきたものを調べる

   計算を始める前に、決まりに反するリクエストでないかを先に見ます。

1. 数字のファイルが眠っている

   学習を終えたモデルは、保存装置に置かれた大きなファイルです。それだけでは何も計算しません。このサイトの音声モデルもファイル四つ、合わせて約 398MB です。

2. ランタイムが一度だけ載せる

   サーバーが起動するとき（またはアプリが準備するとき）、ランタイムがそのファイルを読み、動かせるように整えてメモリに置いておきます。だから質問のたびに開き直すことはありません。メモリが足りなくなったり、サーバーが再起動したりすると、もう一度読み込む必要があります。

3. アクセラレーターが掛け算を引き受ける

   同じ掛け算を途方もない回数こなす必要があるので、まさにそのために作られた部品に任せます。その隣の速い記憶に数字が居座ります。ふつうの CPU でもできますが、その場合は遅いだけです。

複数のリクエストをまとめるのは 17 番、済んだ計算を取っておくのは 27 番 — どちらもこのプログラムの仕事です。

1. 19

   トークンに切る

   文章は、このモデルのトークナイザーが知っているかけらに切られ、一つ一つに決まった番号（ID）が付きます。別のモデルなら、同じ文章を違うかけらに切るかもしれません。

2. 20

   番号を数字の並びへ

   ID の一つ一つが、学習のあいだに身につけた長い数字の並び（埋め込みベクトル）を選び出します。ID の番号そのものには意味がありません。似た使われ方をするかけら同士で似てくることがあるのは、この数字の並びのほうです。

3. 21

   順番を記す

   各トークンが何番目にあるかも数字として伝えます — これがないと、モデルは「犬が人をかんだ」と「人が犬をかんだ」を見分けられません。やり方はモデルによって違い、回転位置埋め込み（RoPE）はよく使われる方法の一つです。

4. 22

   互いを見る（アテンション）

   アテンション — モデルはトークンごとに、前にある各トークンをどれだけ見るかを計算し、それに合わせて情報を混ぜ合わせます。見るのはすでに書かれたほうだけで、まだ書かれていないトークンは決して見ません。

5. 23

   層を重ねて掛けて足す

   数字はたくさんの層を通ります — 大きなモデルでは数十層 — 各層がアテンションと、掛け算と足し算をひと回りずつ行います。層を通るたびに数字は少しずつ変わり、層がいくつあるかはモデルによります。

6. 24

   すべてに点数をつける

   最後の層が、知っているトークン全部に点数を出します。モデルによって数万〜数十万個に一度に点数が付きます。

7. 25

   一つ選ぶ

   最後の点数は確率に変えられます（softmax）。温度は確率をとがらせたり平らにしたりし、top-k と top-p はいちばんありそうな少数だけを残し、それから一つのトークンが引かれます。いつも最高点を取るやり方は貪欲法（greedy）と呼ばれます。

1. 26

   後ろにつなげる

2. 27

   済んだ計算を使い回す

   前のトークンのためにすでに計算した数字は、やり直さずに取っておきます（KVキャッシュ）。時間は節約できますがメモリを使います。それに全体の速さは、文章の長さ、サーバーの混み具合、ネットワークにも左右されます。

3. 28

   22 番へ戻る

   トークン一つ分長くなった文章が、もう一度モデルを通ります — 27 番のおかげで、計算済みの部分は使い回されます。「終わり」を意味するトークンが出るか、長さの上限に達するまで、ぐるぐると回ります。

1. 29

   トークンの番号を読める文字に戻す

2. 30

   出てくるそばから流す

   答え全体を待たず、できたそばから小さなかたまりにして押し出します（SSE）。

3. 31

   出ていくものを調べる

   出ていく文も、決まりに反していないかを見ます。

4. 32

   使った分を記録する

   送ったトークンと受け取ったトークンの数を数えます。料金が出てくるのはここです。

1. 33

   届いたかけらを順につなぐ

2. 34

   画面に描く

   マークダウンを読んで見出し・箇条書き・コード枠に変えて描きます。タイプしているように見えるのがこの部分です。

3. 35

   道具の要求を見つける

   答えの中に決まった形の道具呼び出しが混じっていないかを、プログラムが見張っています。

4. 36

   引数を確かめる

   その道具が実際にあるか、引数の形が合っているかを、動かす前に調べます。

1. 37

   許可を求める

   ファイルの削除やコマンドの実行のような危ない操作の前には、よくできたアプリならまずこちらに確認を求めます。その確認はモデルではなくアプリの中にあり、それを切るのは人が下す判断です。

2. 38

   実際にやる

   アプリが、モデルに頼まれたことを実行します。ファイルを書き換える、コマンドを動かす、別のプログラム（MCP サーバー）を呼ぶ — ただし与えられた権限の範囲内だけです。

3. 39

   結果を詰める

   何が出たか、失敗したならなぜかを、6 番の会話に新しい行として詰めます。

4. 40

   15 番へ戻る

   その結果を入れて詰め直したかばんが、もう一度送られます。モデルが終わったと言うまで、あるいは上限・キャンセル・エラーのためにアプリが止めるまで、これが続きます。