ひとことで言うと
AIが文章を処理する最小単位。日本語1文字≒1〜2トークン目安。
Token(トークン)は、AI が文章を処理する際の最小単位です。文は単語や文字より細かい「かたまり」に分割され、AI はこのトークン列として読み書きします。料金や処理量、扱える文章量が、すべてこのトークン数を基準に決まる点で重要な概念です。
英語では概ね単語に近い単位ですが、日本語は1文字が複数トークンになることもあり、同じ文字数でも言語によってトークン数は変わります。API の料金は入力・出力のトークン数で計算され、一度に扱える上限がコンテキストウィンドウです。長い指示や大量の文書を渡すとトークンを消費し上限に達するため、プロンプトを簡潔にする工夫がコスト・性能の両面で効いてきます。