何が起きたか
AWS は Amazon Bedrock でのプロンプトキャッシュ活用に関するガイダンスを公開した。同じコンテキストを基盤モデルに繰り返し送信する場合、この機能によって入力トークンコストを最大 90% 削減できる。
この記事では、Converse API を軸に構築された 6 つの実践的なプロンプトキャッシュのシナリオを取り上げている。すなわち、メッセージコンテンツ、システムプロンプト、ツール定義、混在した TTL、テナント分離、そして LangChain との統合である。
なぜ重要か
同一のコンテキストを基盤モデルに繰り返し送信するのは一般的なパターンであり、そのコンテキストをキャッシュすることで、それに依存するアプリケーションのコスト構造を大きく変えられる可能性がある。
列挙されたシナリオは、この機能が単一の狭い用途ではなく、個々のメッセージからシステムプロンプト、ツール定義に至るまで、アプリケーションの複数の層に適用されることを意図していることを示唆している。
ガイダンスが Converse API と LangChain を軸に構成されていることから、キャッシュは API を直接利用するユーザーと、フレームワークを介して作業するチームの双方にとって関係があることがうかがえる。
主な事実
Amazon Bedrock のプロンプトキャッシュは、同じコンテキストを基盤モデルに繰り返し送信する場合に、入力トークンコストを最大 90% 削減できる。
この記事は、Converse API を用いた 6 つのプロンプトキャッシュのシナリオを順を追って説明している。
そのシナリオとは、メッセージコンテンツ、システムプロンプト、ツール定義、混在した TTL、テナント分離、そして LangChain との統合である。
今後の注目点
各チームが 6 つのシナリオを本番環境でどのように適用するか、特にキャッシュの有効期間や顧客間の分離に関わる混在した TTL とテナント分離が注目される。
繰り返されるコンテキストについて説明されているコスト削減が、記事で示された各キャッシュシナリオにわたって維持されるかどうか。