为 GPT、Claude、Gemini 提示词计算 token 数。OpenAI 模型通过 tiktoken 精确计算,Claude/Gemini 为近似值。
Used by GPT-4o, GPT-4o-mini, GPT-4-Turbo (2024+).
大型语言模型将文本视为"token"序列处理 —— 即一个或多个字符的片段,对应到数字词汇表。OpenAI 按 token 计费 GPT-4 和 GPT-3.5,Anthropic 按 token 计费 Claude,每个模型都有严格的上下文窗口限制(8K、128K、200K、1M+ tokens)。本工具通过浏览器中运行的兼容 tiktoken 的 BPE 编码器精确计算 OpenAI 模型的 token 数,对于 Anthropic 和 Google 未公开的 Claude 和 Gemini 分词器,使用字符/token 比率近似估算。可用于验证提示是否适合上下文窗口、预测 API 成本、或调试截断问题 —— 文本不会发送到任何地方。
GPT-4 / GPT-3.5 (cl100k_base): ~3.5-4 字符/token GPT-4o (o200k_base): ~4-4.5 字符/token(压缩率更好) Claude(估算): ~3.5 字符/token Gemini(估算): ~4 字符/token 对于 CJK 语言(中文、日本語、한국어),比率降至 ~1.5-2 字符/token,因为每个字符承载更多语义。