正在准备工作区…
输入
输出
结果将显示在这里。
使用方法
- 粘贴文本或加载示例，然后选择 Tokenizer 编码。
- 运行工具，检查结果与状态提示。
- 复制所需内容，或下载结果继续使用。
Token 计数器
在本地使用 o200k_base 或 cl100k_base 统计文本 Token，查看分段与 ID。
处理在浏览器中完成，输入和文件不会上传到 DevToolsy。
工作原理
按所选编码统计纯文本，不包含聊天消息封装、工具定义或 API 计费。
输入
你好，世界！让开发更简单。输出
{
"encoding": "o200k_base",
"count": 9,
"ids": [
177519,
979,
28428,
3393,
26850,
60189,
11701,
105562,
788
]
}在本地使用 o200k_base 或 cl100k_base 统计文本 Token，查看分段与 ID。
处理行为
点击 Token 查看 ID，圆点表示空格。部分 Token 仅包含 UTF-8 字符的部分字节，单独预览时可能显示 �。
输出
复制所需内容，或下载结果继续使用。
处理限制
UTF-8 输入最多 256 KiB；预览前 1,000 个 Token，复制和 JSON 包含全部 ID。
延伸阅读gpt-tokenizer
?
常见问题
这里的数量等于 API 计费数量吗？
按所选编码统计纯文本，不包含聊天消息封装、工具定义或 API 计费。
为什么 Token 预览可能显示 �？
点击 Token 查看 ID，圆点表示空格。部分 Token 仅包含 UTF-8 字符的部分字节，单独预览时可能显示 �。
输入会上传吗？
处理在浏览器中完成，输入和文件不会上传到 DevToolsy。
处理限制是什么？
UTF-8 输入最多 256 KiB；预览前 1,000 个 Token，复制和 JSON 包含全部 ID。
如何保留结果？
复制所需内容，或下载结果继续使用。