ひとことで言うと
Time To First Token の略。AIが最初の1文字を返すまでの時間。体感速度の指標。
TTFT(Time To First Token)は、AIにリクエストを送ってから最初の1文字(トークン)が返ってくるまでの時間です。全文が出そろうまでの時間とは別物で、ユーザーが「反応した」と感じるまでの速さを表すため、体感速度の指標として重要です。
チャットUIで回答が逐次表示されるストリーミングでは、TTFTが短いほど待たされ感が減ります。長いシステムプロンプトはTTFTを延ばすので、プロンプトキャッシュでの短縮が有効な場面があります。
1トークンあたりの生成速度とは指標が異なる点を区別して見るのがポイントです。