超越算术 对 RNN 层的精确控制，其用途远不止算术。它也使 Qwenputer 成为 AI 安全研究的一个绝佳试验台，我为此写了两篇后续文章：像 Qwen 3.5 这样的混合模型如何学会将推理隐藏在 RNN 状态中以规避思维链监控，以及编译权重如何作为可监控性工具——比如一个模型无法关闭的权重内监控器，或用于可解释性的答案密钥。 试一试 如果你想自己上手，这个模型可以在单张 24 GB GPU

一个硬盘？就这经济形势？ 既然把 CPU 放进语言模型里显然还不够“邪门”，我觉得审慎的做法是再给它一个文件系统。既然我们已经有了可用的 RAM，这基本上是小菜一碟。在模型侧，它通过内部的 put / append / get / list / delete 操作暴露出来。再次强调，没有任何实际的工具调用。当 Qwen “保存”一个文件时，编译层会将其名称哈希到 DeltaNet 状态中一个目录的

它管用吗？ 读完我喋喋不休的絮叨之后，你脑海中现在的主要问题大概是：这真的管用吗？在 DeepMind 数据集上： · div_big：Qwenputer 得分 97.5%，而给 Qwen 3.5 4B 一个 Python 工具得分 95%，基础版 Qwen 为 72.5%。 · mul_big：Qwenputer 得分 97.5%，使用 Python 工具为 100%，基础版 Qwen 为 55

Qwen 如何使用它 Qwen 3.5 4B 能够很好地使用这颗 CPU，不需要任何后训练。CPU 完全在内部使用，不通过任何外部工具调用来触发。为了让模型可靠地使用它，我选择了讨巧的做法：借助模型已经训练得很好的工具调用格式，Qwen 向 CPU 发送指令并读回结果。不使用任何外部工具调用或运行时。一旦我们的 CPU 收到指令，计算机层就会运行，然后写出工具响应。我们使用一个名为 RvChat

CPU 这颗 CPU 是一个 32 位 RISC-V 核心（RV32IM，外加 Zba 扩展和一个用于大数运算的小型大数单元），占据了 Qwen 自身 32 层之前的 11 层。目前，它通过了官方 riscv-tests，其程序与 qemu 的运行结果一致，并且已经自由运行了 1800 万条指令，没有出现任何错误⁵。这颗 CPU 还能在前向传播中相当不错地运行 C 和 MicroPython 代码

将一台计算机编译进层中 既然我们现在拥有了功能完整、廉价且快速的 RAM，就可以着手将一颗可工作的 CPU 编译进模型权重了。幸运的是，这不需要任何训练：编译器会直接设定每一个权重。你把 CPU 描述成一个电路——一长串诸如“读取这个寄存器”“把这两个数相加”或“如果为零则跳转”之类的微小步骤——编译器则将每一步转化为 Transformer 层的一部分：负责查找的注意力头、负责算术的前馈单元，以

Qwen3.5 内部的 RNN 可以充当精确的 RAM Qwen3-Next 和 Qwen 3.5（Qwenputer 所基于的模型）使用了一个相当巧妙的技巧。模型中每 4 个注意力层里有 3 个使用 Gated DeltaNet——一种线性 RNN——作为注意力机制（更多内容见这里）。每个头维护一个状态矩阵，由 delta 规则负责更新。而我们的趣味实验正是从这里开始的。我发现，通过将门控值设为

Qwenputer 是一个相当有趣的实验性模型。它本质上是一个原版的 Qwen 3.5 4B，只增加了一样东西：一颗嵌入在权重之中的 RISC-V CPU，它把模型自己的 Gated DeltaNet 注意力层当作 RAM 来用。（想了解 GDN 的工作原理，这里有一份便捷指南。）这个“CPU”完全在模型的前向传播过程中运行，能够执行算术运算、运行 C 和 MicroPython 代码，全程不需要

原文链接:https://divagr.com/blog/qwenputer

直接用编译器往qwen3.5 4b权重里塞了个CPU权重，然后拿原本模型就有的gdn当内存使 [图片:1879d6ed54e736d108c7710fdd504fc2d462695e.jpg]

注释 ¹ 每个 Gated DeltaNet 头维护一个状态矩阵，即它的记忆。在每个 token 处，在写入任何新内容之前，它会将整个状态乘以门控值（一个 0 到 1 之间的数）。RNN 就是这样遗忘的：门控值为 0.9 意味着每个 token 都会让已存储的内容略微消退，而门控值为 1 意味着永远不会消退。 ² 经过门控之后，头会将状态的一个方向推向一个新值，写入强度 beta 决定推的幅度。b

超越算术 对 RNN 层的精确控制，其用途远不止算术。它也使 Qwenputer 成为 AI 安全研究的一个绝佳试验台，我为此写了两篇后续文章：像 Qwen 3.5 这样的混合模型如何学会将推理隐藏在 RNN 状态中以规避思维链监控，以及编译权重如何作为可监控性工具——比如一个模型无法关闭的权重内监控器，或用于可解释性的答案密钥。 试一试 如果你想自己上手，这个模型可以在单张 24 GB GPU

一个硬盘？就这经济形势？ 既然把 CPU 放进语言模型里显然还不够“邪门”，我觉得审慎的做法是再给它一个文件系统。既然我们已经有了可用的 RAM，这基本上是小菜一碟。在模型侧，它通过内部的 put / append / get / list / delete 操作暴露出来。再次强调，没有任何实际的工具调用。当 Qwen “保存”一个文件时，编译层会将其名称哈希到 DeltaNet 状态中一个目录的

它管用吗？ 读完我喋喋不休的絮叨之后，你脑海中现在的主要问题大概是：这真的管用吗？在 DeepMind 数据集上： · div_big：Qwenputer 得分 97.5%，而给 Qwen 3.5 4B 一个 Python 工具得分 95%，基础版 Qwen 为 72.5%。 · mul_big：Qwenputer 得分 97.5%，使用 Python 工具为 100%，基础版 Qwen 为 55

Qwen 如何使用它 Qwen 3.5 4B 能够很好地使用这颗 CPU，不需要任何后训练。CPU 完全在内部使用，不通过任何外部工具调用来触发。为了让模型可靠地使用它，我选择了讨巧的做法：借助模型已经训练得很好的工具调用格式，Qwen 向 CPU 发送指令并读回结果。不使用任何外部工具调用或运行时。一旦我们的 CPU 收到指令，计算机层就会运行，然后写出工具响应。我们使用一个名为 RvChat

CPU 这颗 CPU 是一个 32 位 RISC-V 核心（RV32IM，外加 Zba 扩展和一个用于大数运算的小型大数单元），占据了 Qwen 自身 32 层之前的 11 层。目前，它通过了官方 riscv-tests，其程序与 qemu 的运行结果一致，并且已经自由运行了 1800 万条指令，没有出现任何错误⁵。这颗 CPU 还能在前向传播中相当不错地运行 C 和 MicroPython 代码

将一台计算机编译进层中 既然我们现在拥有了功能完整、廉价且快速的 RAM，就可以着手将一颗可工作的 CPU 编译进模型权重了。幸运的是，这不需要任何训练：编译器会直接设定每一个权重。你把 CPU 描述成一个电路——一长串诸如“读取这个寄存器”“把这两个数相加”或“如果为零则跳转”之类的微小步骤——编译器则将每一步转化为 Transformer 层的一部分：负责查找的注意力头、负责算术的前馈单元，以

Qwen3.5 内部的 RNN 可以充当精确的 RAM Qwen3-Next 和 Qwen 3.5（Qwenputer 所基于的模型）使用了一个相当巧妙的技巧。模型中每 4 个注意力层里有 3 个使用 Gated DeltaNet——一种线性 RNN——作为注意力机制（更多内容见这里）。每个头维护一个状态矩阵，由 delta 规则负责更新。而我们的趣味实验正是从这里开始的。我发现，通过将门控值设为

Qwenputer 是一个相当有趣的实验性模型。它本质上是一个原版的 Qwen 3.5 4B，只增加了一样东西：一颗嵌入在权重之中的 RISC-V CPU，它把模型自己的 Gated DeltaNet 注意力层当作 RAM 来用。（想了解 GDN 的工作原理，这里有一份便捷指南。）这个“CPU”完全在模型的前向传播过程中运行，能够执行算术运算、运行 C 和 MicroPython 代码，全程不需要

原文链接:https://divagr.com/blog/qwenputer

直接用编译器往qwen3.5 4b权重里塞了个CPU权重，然后拿原本模型就有的gdn当内存使 [图片:1879d6ed54e736d108c7710fdd504fc2d462695e.jpg]

注释 ¹ 每个 Gated DeltaNet 头维护一个状态矩阵，即它的记忆。在每个 token 处，在写入任何新内容之前，它会将整个状态乘以门控值（一个 0 到 1 之间的数）。RNN 就是这样遗忘的：门控值为 0.9 意味着每个 token 都会让已存储的内容略微消退，而门控值为 1 意味着永远不会消退。 ² 经过门控之后，头会将状态的一个方向推向一个新值，写入强度 beta 决定推的幅度。b

超越算术 对 RNN 层的精确控制，其用途远不止算术。它也使 Qwenputer 成为 AI 安全研究的一个绝佳试验台，我为此写了两篇后续文章：像 Qwen 3.5 这样的混合模型如何学会将推理隐藏在 RNN 状态中以规避思维链监控，以及编译权重如何作为可监控性工具——比如一个模型无法关闭的权重内监控器，或用于可解释性的答案密钥。 试一试 如果你想自己上手，这个模型可以在单张 24 GB GPU

一个硬盘？就这经济形势？ 既然把 CPU 放进语言模型里显然还不够“邪门”，我觉得审慎的做法是再给它一个文件系统。既然我们已经有了可用的 RAM，这基本上是小菜一碟。在模型侧，它通过内部的 put / append / get / list / delete 操作暴露出来。再次强调，没有任何实际的工具调用。当 Qwen “保存”一个文件时，编译层会将其名称哈希到 DeltaNet 状态中一个目录的

它管用吗？ 读完我喋喋不休的絮叨之后，你脑海中现在的主要问题大概是：这真的管用吗？在 DeepMind 数据集上： · div_big：Qwenputer 得分 97.5%，而给 Qwen 3.5 4B 一个 Python 工具得分 95%，基础版 Qwen 为 72.5%。 · mul_big：Qwenputer 得分 97.5%，使用 Python 工具为 100%，基础版 Qwen 为 55

Qwen 如何使用它 Qwen 3.5 4B 能够很好地使用这颗 CPU，不需要任何后训练。CPU 完全在内部使用，不通过任何外部工具调用来触发。为了让模型可靠地使用它，我选择了讨巧的做法：借助模型已经训练得很好的工具调用格式，Qwen 向 CPU 发送指令并读回结果。不使用任何外部工具调用或运行时。一旦我们的 CPU 收到指令，计算机层就会运行，然后写出工具响应。我们使用一个名为 RvChat

CPU 这颗 CPU 是一个 32 位 RISC-V 核心（RV32IM，外加 Zba 扩展和一个用于大数运算的小型大数单元），占据了 Qwen 自身 32 层之前的 11 层。目前，它通过了官方 riscv-tests，其程序与 qemu 的运行结果一致，并且已经自由运行了 1800 万条指令，没有出现任何错误⁵。这颗 CPU 还能在前向传播中相当不错地运行 C 和 MicroPython 代码

将一台计算机编译进层中 既然我们现在拥有了功能完整、廉价且快速的 RAM，就可以着手将一颗可工作的 CPU 编译进模型权重了。幸运的是，这不需要任何训练：编译器会直接设定每一个权重。你把 CPU 描述成一个电路——一长串诸如“读取这个寄存器”“把这两个数相加”或“如果为零则跳转”之类的微小步骤——编译器则将每一步转化为 Transformer 层的一部分：负责查找的注意力头、负责算术的前馈单元，以

Qwen3.5 内部的 RNN 可以充当精确的 RAM Qwen3-Next 和 Qwen 3.5（Qwenputer 所基于的模型）使用了一个相当巧妙的技巧。模型中每 4 个注意力层里有 3 个使用 Gated DeltaNet——一种线性 RNN——作为注意力机制（更多内容见这里）。每个头维护一个状态矩阵，由 delta 规则负责更新。而我们的趣味实验正是从这里开始的。我发现，通过将门控值设为

Qwenputer 是一个相当有趣的实验性模型。它本质上是一个原版的 Qwen 3.5 4B，只增加了一样东西：一颗嵌入在权重之中的 RISC-V CPU，它把模型自己的 Gated DeltaNet 注意力层当作 RAM 来用。（想了解 GDN 的工作原理，这里有一份便捷指南。）这个“CPU”完全在模型的前向传播过程中运行，能够执行算术运算、运行 C 和 MicroPython 代码，全程不需要