Cara menggunakan

Tempel teks atau muat contoh, lalu pilih encoding tokenizer.
Jalankan alat dan periksa hasil serta pesan status.
Salin nilai yang diperlukan atau unduh hasil untuk digunakan kembali.

Penghitung Token

Hitung token secara lokal dengan o200k_base atau cl100k_base dan periksa ID-nya.

Pemrosesan berjalan di browser. Masukan dan berkas tidak diunggah ke DevToolsy.

Cara kerja

Hitungan berlaku untuk teks biasa dengan encoding terpilih, tanpa struktur chat, definisi tool, atau biaya API.

Sebelum dan sesudah

Input

Halo, dunia! Buat sesuatu yang bermanfaat.

Output

{
  "encoding": "o200k_base",
  "count": 12,
  "ids": [
    193254,
    11,
    54918,
    0,
    13286,
    266,
    125431,
    4192,
    287,
    9305,
    83903,
    13
  ]
}

Hitung token secara lokal dengan o200k_base atau cl100k_base dan periksa ID-nya.

Yang dapat diharapkan

Pilih token untuk melihat ID. Titik menandai spasi. Potongan karakter UTF-8 dapat tampil sebagai � pada pratinjau individual.

Output

Salin nilai yang diperlukan atau unduh hasil untuk digunakan kembali.

Batas pemrosesan

Masukan UTF-8 hingga 256 KiB, pratinjau 1.000 token pertama; salinan dan JSON memuat seluruh ID.

Bacaan lanjutangpt-tokenizer

Pertanyaan umum

Apakah hitungan ini sama dengan tagihan API?

Hitungan berlaku untuk teks biasa dengan encoding terpilih, tanpa struktur chat, definisi tool, atau biaya API.

Mengapa pratinjau token menampilkan �?

Pilih token untuk melihat ID. Titik menandai spasi. Potongan karakter UTF-8 dapat tampil sebagai � pada pratinjau individual.

Apakah input diunggah?

Pemrosesan berjalan di browser. Masukan dan berkas tidak diunggah ke DevToolsy.

Apa batas pemrosesannya?

Masukan UTF-8 hingga 256 KiB, pratinjau 1.000 token pertama; salinan dan JSON memuat seluruh ID.

Bagaimana menyimpan hasil?

Salin nilai yang diperlukan atau unduh hasil untuk digunakan kembali.

Penghitung Token

Cara menggunakan