Contador de tokens

Conte tokens localmente com o200k_base ou cl100k_base e veja seus IDs.

Texto e Regex
Preparando seu ambiente de trabalho…
Entrada
Saída
Seu resultado aparecerá aqui.

Como usar

  1. Cole texto ou carregue o exemplo e escolha a codificação.
  2. Execute a ferramenta e confira resultados e mensagens de status.
  3. Copie os valores necessários ou baixe o resultado para reutilizar.

Contador de tokens

Conte tokens localmente com o200k_base ou cl100k_base e veja seus IDs.

O processamento acontece no navegador. Seus dados e arquivos não são enviados ao DevToolsy.

Como funciona

A contagem considera texto simples na codificação escolhida, sem estrutura de chat, ferramentas ou cobrança da API.

Antes e depois
Entrada
Olá, mundo! Crie algo útil.
Saída
{
  "encoding": "o200k_base",
  "count": 9,
  "ids": [
    89191,
    11,
    10225,
    0,
    5790,
    396,
    13967,
    45024,
    13
  ]
}

Conte tokens localmente com o200k_base ou cl100k_base e veja seus IDs.

O que esperar

Selecione um token para ver seu ID. Pontos indicam espaços. Partes de caracteres UTF-8 podem aparecer como �.

Saída

Copie os valores necessários ou baixe o resultado para reutilizar.

Limites de processamento

Entrada UTF-8 até 256 KiB. Prévia dos primeiros 1.000 tokens; cópia e JSON com todos os IDs.

Leitura complementargpt-tokenizer
?

Perguntas frequentes

Esta contagem equivale à cobrança da API?

A contagem considera texto simples na codificação escolhida, sem estrutura de chat, ferramentas ou cobrança da API.

Por que um token pode aparecer como �?

Selecione um token para ver seu ID. Pontos indicam espaços. Partes de caracteres UTF-8 podem aparecer como �.

A entrada é enviada?

O processamento acontece no navegador. Seus dados e arquivos não são enviados ao DevToolsy.

Quais são os limites de processamento?

Entrada UTF-8 até 256 KiB. Prévia dos primeiros 1.000 tokens; cópia e JSON com todos os IDs.

Como guardar o resultado?

Copie os valores necessários ou baixe o resultado para reutilizar.

Encontre sua próxima ferramenta

Idioma

Mudar de idioma? Os dados atuais serão apagados. Copie ou baixe seu trabalho primeiro.