跳至主要内容
Patrick Colm Audley

Patrick Colm Audley

Hacker · Full-Spectrum Technologist · Polymath

Logit Loom:把 token 边界变成可编程界面

LLM 每次生成一个 token,但我们通常以轮次为单位消费它们——这样就错过了大部分乐趣!Logit Loom 将 token 边界变成可编程界面。你可以摆弄 token 流、调整 logits、准确观察哪些 token 被接纳,并直接进入生成循环内部。

我已将一套 Rust 工具包开源,用于围绕 llama.cpp 构建精确、可检查的生成管线:组合有序 logit 变换、观测精确 token 字节、在明确定义的边界停止、为会话创建检查点,并保留记录执行内容的可序列化回执。

它可作为自定义采样与引导、受约束生成、智能体运行时、可复现推理实验,以及神经符号系统机制层的基础。它不会替你编写那些有趣的部分,但会消除编写它们时的繁琐工作。

做自己的弗兰肯斯坦博士,探索智能体伙伴们初生的心智!

代码仓库已开放:Logit Loom

永久链接: https://patrickaudley.com/posts/logit-loom.html · Markdown