Laplace 3Bの固定状態で考える、長い会話とLLM配信メモリ

i14のLaplace 3Bは、各系列の再帰状態を文脈長によらず29.5 MBに保つ線形Attentionモデルです。AWS Trainium2での事例を起点に、KVキャッシュとの違いと、メモリ・応答品質・配信性能を分けて評価する理由を整理します。