正在準備工作區…
輸入
輸出
結果將顯示在這裡。
使用方法
- 貼上文字或載入範例，然後選擇 Tokenizer 編碼。
- 執行工具，檢查結果與狀態提示。
- 複製所需內容，或下載結果繼續使用。
Token 計數器
在本機使用 o200k_base 或 cl100k_base 統計文字 Token，查看分段與 ID。
處理在瀏覽器中完成，輸入與檔案不會上傳至 DevToolsy。
運作原理
依所選編碼統計純文字，不包含聊天訊息封裝、工具定義或 API 計費。
輸入
你好，世界！讓開發更簡單。輸出
{
"encoding": "o200k_base",
"count": 11,
"ids": [
177519,
979,
28428,
3393,
146508,
29952,
60733,
11701,
84508,
107942,
788
]
}在本機使用 o200k_base 或 cl100k_base 統計文字 Token，查看分段與 ID。
處理行為
點選 Token 查看 ID，圓點表示空格。部分 Token 僅包含 UTF-8 字元的部分位元組，單獨預覽時可能顯示 �。
輸出
複製所需內容，或下載結果繼續使用。
處理限制
UTF-8 輸入最多 256 KiB；預覽前 1,000 個 Token，複製和 JSON 包含全部 ID。
延伸閱讀gpt-tokenizer
?
常見問題
這裡的數量等於 API 計費數量嗎？
依所選編碼統計純文字，不包含聊天訊息封裝、工具定義或 API 計費。
為什麼 Token 預覽可能顯示 �？
點選 Token 查看 ID，圓點表示空格。部分 Token 僅包含 UTF-8 字元的部分位元組，單獨預覽時可能顯示 �。
輸入會上傳嗎？
處理在瀏覽器中完成，輸入與檔案不會上傳至 DevToolsy。
處理限制是什麼？
UTF-8 輸入最多 256 KiB；預覽前 1,000 個 Token，複製和 JSON 包含全部 ID。
如何保留結果？
複製所需內容，或下載結果繼續使用。