Как пользоваться
- Вставьте текст или загрузите пример и выберите кодировку токенизатора.
- Запустите инструмент и проверьте результаты и сообщения.
- Скопируйте нужные значения или скачайте результат.
Счётчик токенов
Считайте токены локально с o200k_base или cl100k_base и просматривайте их ID.
Обработка выполняется в браузере. Ввод и файлы не отправляются в DevToolsy.
Как это работает
Подсчёт относится к обычному тексту с выбранной кодировкой, без структуры чата, инструментов и тарификации API.
Привет, мир! Создайте что-нибудь полезное.{
"encoding": "o200k_base",
"count": 13,
"ids": [
23881,
131903,
11,
37934,
0,
102241,
1783,
24886,
4863,
90189,
55705,
7444,
13
]
}Считайте токены локально с o200k_base или cl100k_base и просматривайте их ID.
Чего ожидать
Выберите токен, чтобы увидеть ID. Точки обозначают пробелы. Часть символа UTF-8 отдельно может отображаться как �.
Выходные данные
Скопируйте нужные значения или скачайте результат.
Ввод UTF-8 до 256 KiB. Просмотр первых 1 000 токенов; копирование и JSON содержат все ID.
Частые вопросы
Совпадает ли число с тарификацией API?
Подсчёт относится к обычному тексту с выбранной кодировкой, без структуры чата, инструментов и тарификации API.
Почему токен может отображаться как �?
Выберите токен, чтобы увидеть ID. Точки обозначают пробелы. Часть символа UTF-8 отдельно может отображаться как �.
Загружается ли ввод на сервер?
Обработка выполняется в браузере. Ввод и файлы не отправляются в DevToolsy.
Каковы ограничения обработки?
Ввод UTF-8 до 256 KiB. Просмотр первых 1 000 токенов; копирование и JSON содержат все ID.
Как сохранить результат?
Скопируйте нужные значения или скачайте результат.