ワークスペースを準備中…
入力
出力
結果はここに表示されます。
使い方
- テキストを貼り付けるかサンプルを読み込み、エンコーディングを選びます。
- ツールを実行し、結果と状態メッセージを確認します。
- 必要な値をコピーするか、結果をダウンロードして利用します。
トークンカウンター
o200k_base または cl100k_base でローカルにトークンを数え、ID を確認。
処理はブラウザー内で完結し、入力やファイルは DevToolsy に送信されません。
仕組み
選択したエンコーディングでプレーンテキストを数えます。チャット構造、ツール定義、API 課金は含みません。
入力
こんにちは、世界！便利なものを作ろう。出力
{
"encoding": "o200k_base",
"count": 12,
"ids": [
95839,
1395,
28428,
3393,
147924,
5784,
122636,
7277,
6239,
29236,
8574,
788
]
}o200k_base または cl100k_base でローカルにトークンを数え、ID を確認。
処理の動作
トークンを選ぶと ID が表示されます。点は空白を表します。UTF-8 文字の一部は単独では � と表示される場合があります。
出力
必要な値をコピーするか、結果をダウンロードして利用します。
処理の制限
UTF-8 入力は 256 KiB、プレビューは先頭 1,000 トークンまで。全 ID をコピー・JSON 保存できます。
参考資料gpt-tokenizer
?
よくある質問
この数は API の請求トークン数と同じですか？
選択したエンコーディングでプレーンテキストを数えます。チャット構造、ツール定義、API 課金は含みません。
トークンが � と表示されるのはなぜですか？
トークンを選ぶと ID が表示されます。点は空白を表します。UTF-8 文字の一部は単独では � と表示される場合があります。
入力はアップロードされますか？
処理はブラウザー内で完結し、入力やファイルは DevToolsy に送信されません。
処理の上限はありますか？
UTF-8 入力は 256 KiB、プレビューは先頭 1,000 トークンまで。全 ID をコピー・JSON 保存できます。
結果を保存できますか？
必要な値をコピーするか、結果をダウンロードして利用します。