LLM トークンカウンター

大規模言語モデルはテキストを「トークン」と呼ばれる1文字または複数文字の単位の列として処理し、それぞれが数値の語彙にマッピングされます。OpenAI は GPT-4 と GPT-3.5 をトークン単位で課金し、Anthropic も Claude をトークン単位で課金、各モデルには厳密なコンテキストウィンドウ上限（8K、128K、200K、1M+ トークン）があります。本ツールはブラウザ内で動作する tiktoken 互換 BPE エンコーダーで OpenAI モデルの正確なトークン数を計算し、Anthropic と Google が公開していない Claude・Gemini のトークナイザーについては文字数/トークン比率による近似値を提供します。プロンプトがコンテキストウィンドウに収まるかの確認、API コストの予測、トランケーション問題のデバッグに活用できます — テキストは外部に送信されません。