ひとことで言うと
同じ計算・取得を繰り返さないために結果を一時保存すること。
キャッシュとは、一度計算・取得した結果を一時的に保存しておき、同じ要求が来たときに再計算せず使い回す仕組みです。処理時間を短縮し、計算資源やAPI料金を節約できるため、応答速度とコストの両方に効きます。
生成AIでも、同じ質問への回答や検索結果、変換済みデータを保存しておけば二度目以降が高速になります。Claude APIには専用のプロンプトキャッシュがあり、長いシステムプロンプトの再利用に有効です。
ただし元データが変わったのに古い結果を返す「キャッシュの陳腐化」に注意し、適切な有効期限を設けることが大切です。