Compteur de tokens

Comptez les tokens localement avec o200k_base ou cl100k_base et examinez leurs ID.

Texte et Regex
Préparation de votre espace de travail…
Entrée
Sortie
Votre résultat apparaîtra ici.

Mode d’emploi

  1. Collez du texte ou chargez l’exemple, puis choisissez un encodage.
  2. Exécutez l’outil et vérifiez les résultats et messages d’état.
  3. Copiez les valeurs utiles ou téléchargez le résultat pour le réutiliser.

Compteur de tokens

Comptez les tokens localement avec o200k_base ou cl100k_base et examinez leurs ID.

Le traitement s’effectue dans votre navigateur. Vos données et fichiers ne sont pas envoyés à DevToolsy.

Fonctionnement

Le comptage porte sur le texte brut avec l’encodage choisi, sans structure de chat, outils ni facturation API.

Avant et après
Entrée
Bonjour le monde ! Créez quelque chose d’utile.
Sortie
{
  "encoding": "o200k_base",
  "count": 13,
  "ids": [
    45751,
    505,
    15807,
    1073,
    5790,
    2894,
    89,
    36359,
    15505,
    272,
    438,
    113576,
    13
  ]
}

Comptez les tokens localement avec o200k_base ou cl100k_base et examinez leurs ID.

À quoi s’attendre

Sélectionnez un token pour voir son ID. Les points indiquent les espaces. Un fragment de caractère UTF-8 peut apparaître comme �.

Sortie

Copiez les valeurs utiles ou téléchargez le résultat pour le réutiliser.

Limites de traitement

Entrée UTF-8 de 256 KiB. Aperçu des 1 000 premiers tokens ; copie et JSON avec tous les ID.

Pour aller plus loingpt-tokenizer
?

Questions fréquentes

Ce comptage correspond-il à une facture API ?

Le comptage porte sur le texte brut avec l’encodage choisi, sans structure de chat, outils ni facturation API.

Pourquoi un token peut-il afficher � ?

Sélectionnez un token pour voir son ID. Les points indiquent les espaces. Un fragment de caractère UTF-8 peut apparaître comme �.

L’entrée est-elle envoyée ?

Le traitement s’effectue dans votre navigateur. Vos données et fichiers ne sont pas envoyés à DevToolsy.

Quelles sont les limites de traitement ?

Entrée UTF-8 de 256 KiB. Aperçu des 1 000 premiers tokens ; copie et JSON avec tous les ID.

Comment conserver le résultat ?

Copiez les valeurs utiles ou téléchargez le résultat pour le réutiliser.

Trouvez votre prochain outil

Langue

Changer de langue ? Le contenu actuel sera effacé. Copiez ou téléchargez d’abord votre travail.