AI 实验室 · 用代码亲手打造

这是只看前一个词来挑下一个词的教学用（词语）。它没有和，也不学习事实。分词方法也只是教学用的，不是真正的。

数据准备

收集几句简短的例句。同一句话重复放入会让计数增加，但不是越多越好，而是越符合目的越有用。每当一句话结束，也会计一次“句子结束”。

这里把句子切成接近词的片段。真实 LLM 的可以是词、词的一部分、字符或。把文本切成 token 是为了能把它当作数字来处理，而不是因为文本太长。

是像名牌一样使用的编号。只有自己的位置是 1，其余都是 0。两者都不能告诉我们哪些词意思相近。承载这种信息的是另一种——学习得到的嵌入，本实验不它。

统计前一个词后面出现了哪个词、出现了几次（“句子结束”也计入）。候选的等于它出现的次数除以前一个词后面出现的总次数。神经不存储这样的小表格，而是学习。

比较总是选概率最高的词的，和按概率抽取的。抽到“句子结束”就停止生成。即使用采样，也可能再次得到同一句话。生成的句子没有经过事实核查。

输入相关例句

词	编号	数字向量（one-hot）

选择一个词，就能看到学到的下一个词最可能是什么：

百分比经过四舍五入，显示总和可能略偏离 100%。

这个词只出现在句子末尾，所以没有下一个词。请换一个词试试。

选择方式采样温度 1

表中的百分比是为 1 时的值。温度只改变每个词被抽中的可能性，不改变计数，也不改变内容是否真实。

起始词

你的AI生成的句子

正在准备 Python 运行环境…

0 XP

按[运行]，结果就会显示在这里。

请选择要取消的待付款预约。每次取消都需要确认。

你所在国家的时间:

关闭