请求走过的路

1. 1

   一个键被按下

   键盘里那台小小的电脑发现哪个键动了，把它变成一个数字，顺着线送出去。

2. 2

   操作系统接住它

   内核里的驱动把这个数字变成输入事件，排好队交给此刻在最前面的那个窗口。

3. 3

   程序从队列里取出来

   每个程序都在跑一个循环，一次取一个事件来处理。字出现在输入框里，就是这一步。

4. 4

   麦克风走的是另一条路

   声音以每秒几万次测量值的形式到来。在文本模型看到之前，语音转文字模型先把说话的部分变成文字 — 不过有些较新的模型可以直接听声音。

1. 5

   系统提示词

   写程序的人事先定好的规矩排在最前面 — 你是什么，该怎么回答。

2. 6

   到目前为止的对话

   之前的几轮对话按顺序放进去。因为有上限，应用会先丢掉、缩短或概括最早的那些 — 没放进去的内容，模型根本看不到。

3. 7

   你附上的东西

   图片或文件以服务能接受的形式附上：原始字节、文件 ID、链接，或者一长串叫作 base64 的字母。对于 PDF，服务可能抽出其中的文字、把页面拍成图片，或用 OCR 来读。

4. 8

   翻你自己的资料（RAG）

   这就是 RAG。你的问题被变成数字（或关键词），再把你的文档里与它最匹配的几段找出来，一起装进去。模型本身并没有重新训练 — 找到的段落也仍然需要核对。

5. 9

   工具清单

   应用允许的每个工具，名字和输入格式都像菜单一样写出来。应用可以列出自己的工具，也可以从 MCP 服务器那里取得。

6. 10

   技能和命令

   别人事先写好的成捆指令 — 技能包 — 在任务需要时被插进来。技能包还可能带着脚本和参考文件，所以在信任它之前先读一读。

7. 11

   塞进上限里

   整个包袱都按词元来计数。一旦超过上限，应用就得剪掉、缩短或拿掉一些东西 — 通常先从最旧的内容下手。

1. 12

   找地址

   把服务器的名字换成数字地址（DNS）。

2. 13

   开路，再上锁

   在发送任何东西之前，你的电脑和服务器先开出一条路，并商定一把秘密钥匙，这样中间谁也读不到经过的内容（TCP 和 TLS；较新的 HTTP/3 用 QUIC 把两件事一起做了）。

3. 14

   表明身份

   在请求的头部附上钥匙（API 密钥）或票据（令牌）。算在谁账上，就在这里定下来。

4. 15

   把请求送出去

   到目前为止装好的一切，变成一个请求，通常用 JSON 写成，然后发出去。如果双方需要一直说下去 — 比如实时语音 — 就会让连接保持打开。

1. 16

   门卫

   看看钥匙对不对、叫得是不是太频繁，然后交给一台闲着的计算机器。

2. 17

   排队

   请求不会马上被计算，而是先排一小会儿队。轮到的时候，运行时会拿着早已装载好的那一份数字，把排着队的好几个问题一起算。

3. 18

   检查进来的东西

   开算之前，先看看这个请求有没有违反规矩。

1. 数字文件正睡着

   训练完的模型，就是存储设备上一个很大的文件。它本身不做任何计算。本站的语音模型也是四个文件，加起来大约 398MB。

2. 运行时装载一次

   服务器启动时（或应用准备就绪时），运行时读入那个文件，做好运行的准备，并把它留在内存里，所以不会每个问题都重新打开。如果内存不够，或者服务器重启，就得再加载一次。

3. 加速器接下乘法

   同样的乘法要做上天文数字那么多次，于是交给专为此打造的芯片，旁边配着快速内存让数字待着。普通 CPU 也能做，只是会慢一些。

把多个请求捆在一起是第 17 步，把算过的留着是第 27 步 — 这两件事都由这个程序来做。

1. 19

   切成词元

   文字被切成这个模型的分词器认识的小块，每一块都得到一个固定的编号（ID）。换一个模型，同样的文字可能被切成不同的小块。

2. 20

   编号变成一串数字

   每个 ID 都会挑出一长串在训练中学到的数字（嵌入向量）。ID 编号本身没有意义；用法相近的小块，最后可能变得相似的，是这些数字串。

3. 21

   标上顺序

   每个词元排在第几个，也会用数字告诉模型 — 没有它，模型就分不清「狗咬人」和「人咬狗」。各个模型的做法不同，旋转位置嵌入（RoPE）是常见的一种。

4. 22

   互相看（注意力）

   注意力：对每一个词元，模型都要算出该看前面每个词元多少，再按这个比例把它们的信息混合起来。它只往回看 — 从不看还没写出来的词元。

5. 23

   一层层地乘和加

   这些数字要穿过很多层 — 大模型有几十层 — 每一层都做一次注意力，再做一轮乘法和加法。每过一层，数字就挪动一点；一共有多少层，要看是哪个模型。

6. 24

   给全部打分

   最后一层给它认得的每一个词元打分 — 视模型而定，几万到几十万个分数一次出来。

7. 25

   挑一个

   最后的分数被变成概率（softmax）。温度让概率更尖或更平，top-k 和 top-p 只留下最可能的几个，然后抽出一个词元。总是拿最高分的做法叫作贪心解码（greedy）。

1. 26

   接到后面

2. 27

   算过的省着用

   前面词元已经算好的数字会被保存下来（KV 缓存），而不是重算一遍。这样省时间，但占内存；整体速度还取决于文字有多长、服务器有多忙，以及网络。

3. 28

   回到第 22 步

   多了一个词元的文字，再一次穿过模型 — 多亏第 27 步，已经算过的部分可以直接再用。就这样一圈又一圈，直到出现表示「结束」的词元，或者到达长度上限。

1. 29

   把词元编号还原成能读的文字

2. 30

   边出边送

   不等整段答案写完，做出多少就推出多少，一小块一小块地送（SSE）。

3. 31

   检查出去的东西

   送出去的文字，也要看看有没有违反规矩。

4. 32

   记下用了多少

   数一数送进去和送出来的词元各有多少。账单就是从这里出来的。

1. 33

   按顺序把到达的小块拼起来

2. 34

   画到屏幕上

   读懂 Markdown，把它变成标题、列表和代码框画出来。看上去像有人在打字的，就是这一部分。

3. 35

   找出工具请求

   程序一直盯着，看答案里有没有夹着约定格式的工具调用。

4. 36

   核对参数

   那个工具是不是真有、参数长相对不对，都要在动手之前查一遍。

1. 37

   请求许可

   凡是有风险的事 — 删除文件、执行命令 — 做得好的应用会先问你。这道确认放在应用里，而不在模型里；把它关掉，是人做的决定。

2. 38

   真的动手

   应用照模型的要求去做：改一个文件、执行一条命令，或者调用另一个程序（MCP 服务器）— 只在它被授予的权限之内。

3. 39

   把结果装回去

   出了什么、失败的话为什么，都作为新的一行装进第 6 步那段对话里。

4. 40

   回到第 15 步

   重新装好、里面放着那个结果的包袱，再发出去一次。这样反复下去，直到模型说完成了，或者应用因为上限、取消或出错而让它停下。