Token-Zähler

Text-Tokens lokal mit o200k_base oder cl100k_base zählen und IDs prüfen.

Text & Regex
Dein Arbeitsbereich wird vorbereitet…
Eingabe
Ausgabe
Dein Ergebnis erscheint hier.

Anleitung

  1. Text einfügen oder Beispiel laden, dann Tokenizer-Kodierung auswählen.
  2. Werkzeug ausführen und Ergebnisse sowie Statusmeldungen prüfen.
  3. Benötigte Werte kopieren oder das Ergebnis zur Weiterverwendung herunterladen.

Token-Zähler

Text-Tokens lokal mit o200k_base oder cl100k_base zählen und IDs prüfen.

Die Verarbeitung läuft im Browser. Eingaben und Dateien werden nicht an DevToolsy hochgeladen.

So funktioniert es

Gezählt wird Klartext mit der gewählten Kodierung. Chat-Struktur, Tools und API-Abrechnung sind nicht enthalten.

Vorher und nachher
Eingabe
Hallo Welt! Entwickle etwas Nützliches.
Ausgabe
{
  "encoding": "o200k_base",
  "count": 11,
  "ids": [
    46670,
    23079,
    0,
    80791,
    282,
    18006,
    478,
    10762,
    26608,
    268,
    13
  ]
}

Text-Tokens lokal mit o200k_base oder cl100k_base zählen und IDs prüfen.

Was dich erwartet

Token auswählen, um die ID zu sehen. Punkte stehen für Leerzeichen. Unvollständige UTF-8-Zeichen können einzeln als � erscheinen.

Ausgabe

Benötigte Werte kopieren oder das Ergebnis zur Weiterverwendung herunterladen.

Verarbeitungsgrenzen

256 KiB UTF-8-Eingabe. Vorschau der ersten 1.000 Tokens; Kopie und JSON enthalten alle IDs.

Weiterführende Informationengpt-tokenizer
?

Häufige Fragen

Entspricht diese Zahl der API-Abrechnung?

Gezählt wird Klartext mit der gewählten Kodierung. Chat-Struktur, Tools und API-Abrechnung sind nicht enthalten.

Warum kann ein Token als � erscheinen?

Token auswählen, um die ID zu sehen. Punkte stehen für Leerzeichen. Unvollständige UTF-8-Zeichen können einzeln als � erscheinen.

Wird die Eingabe hochgeladen?

Die Verarbeitung läuft im Browser. Eingaben und Dateien werden nicht an DevToolsy hochgeladen.

Welche Verarbeitungsgrenzen gelten?

256 KiB UTF-8-Eingabe. Vorschau der ersten 1.000 Tokens; Kopie und JSON enthalten alle IDs.

Wie behalte ich das Ergebnis?

Benötigte Werte kopieren oder das Ergebnis zur Weiterverwendung herunterladen.

Finde dein nächstes Tool

Sprache

Sprache wechseln? Deine aktuelle Arbeit wird gelöscht. Kopiere oder lade benötigte Daten zuerst herunter.