5 tok/s智 能 是 指 某 些 心 理 能 力 。 关 于 哪 些 能 力 属 于 智 能 ， 目 前 尚 无 一 致 意 见 。 这 个 概 念 源 于 拉 丁 语 ...
20 tok/s智能是指某些心理能力。关于哪些能力属于智能，目前尚无一致意见。这个概念源于拉丁语"intelligo"，意为"在不同选项间选择"。智能的一部分使人们能够解决问题...
60 tok/s智能是指某些心理能力。关于哪些能力属于智能，目前尚无一致意见。这个概念源于拉丁语"intelligo"，意为"在不同选项间选择"。智能的一部分使人们能够解决问题，这些问题可能简单，也可能复杂，需要抽象思维...
100 tok/s智能是指某些心理能力。关于哪些能力属于智能，目前尚无一致意见。这个概念源于拉丁语"intelligo"，意为"在不同选项间选择"。智能的一部分使人们能够解决问题。对某些人来说，智能是心智的一种属性或特征...
200 tok/s智能是指某些心理能力。关于哪些能力属于智能，目前尚无一致意见。这个概念源于拉丁语"intelligo"，意为"在不同选项间选择"。智能的一部分使人们能够解决问题。对某些人来说，智能是心智的一种属性或特征。对另一些人来说，它只是大脑的运作，尤其是大脑皮层...
英文约 1.3 token/词，30 tok/s 约等于 23 词/秒。中文约 1-2 token/字。
5 tok/sdef estimate_tokens(text):
20 tok/sdef estimate_tokens(text, model="claude-opus"):
chars = len(text)
overhead = sum(1 for c in text if c in ".,;:!?")
60 tok/sdef estimate_tokens(text, model="claude-opus"):
chars = len(text)
overhead = sum(1 for c in text if c in ".,;:!?")
return (chars // 4) + overhead + 1
100 tok/sclass TokenStream:
def __init__(self, model, prompt, rate=30):
self.model = model
self.prompt = prompt
self.rate = rate
self._budget = 2048
200 tok/sclass TokenStream:
def __init__(self, model, prompt, rate=30):
self.model = model
self.prompt = prompt
self.rate = rate
self._budget = 2048
async def __aiter__(self):
async for chunk in self.model.stream(self.prompt):
yield chunk.text
代码比文本更紧凑，相同 tok/s 下代码的信息密度更高，视觉上感觉更慢。
5 tok/s让我用一个小例子来验证索引是否对齐...
20 tok/s让我用一个小例子来验证索引是否对齐。这个函数接收一个路径并返回 Result，所以任何 IO 错误都会通过 ? 操作符向上传播...
60 tok/s让我用一个小例子来验证索引是否对齐。这个函数接收一个路径并返回 Result，所以任何 IO 错误都会通过 ? 操作符向上传播。等等 — 如果输入列表为空，循环永远不会执行，我们会返回一个过期的值。我认为最简洁的方法是将其提取为独立的辅助函数...
100 tok/s让我用一个小例子来验证索引是否对齐。这个函数接收一个路径并返回 Result，所以任何 IO 错误都会通过 ? 操作符向上传播。等等 — 如果输入列表为空，循环永远不会执行，我们会返回一个过期的值。我认为最简洁的方法是将其提取为独立的辅助函数并单独进行单元测试。实际上，现有的工具函数已经处理了重试逻辑，所以我应该直接复用它...
思考模式（Thinking）会先输出推理过程，再输出最终答案。推理过程消耗大量 token 但不直接展示给用户。
5 tok/s[等待响应中... 约 20 秒后开始输出]
20 tok/s[首 token 延迟 ~1s，然后以 20 tok/s 稳定输出，一段话约 3-5 秒]
60 tok/s[首 token 延迟 ~0.5s，然后以 60 tok/s 快速输出，一段话约 1-2 秒]
100 tok/s[首 token 延迟 ~0.3s，然后以 100 tok/s 疾速输出，一段话瞬间完成]
200 tok/s[首 token 延迟 ~0.2s，然后以 200 tok/s 极速输出，几乎感觉不到等待]
点击体验：实际使用中，首 token 延迟（TTFT）和吞吐速度同样重要。低延迟 + 高吞吐 = 最佳体验。