長文脈処理を支えるメモリ最適化技術

大企業の業務では、数十万文字に及ぶマニュアルや業績報告書を一括でAIに処理させるニーズが高まっています。しかし、一度に処理できるデータ量（コンテキストウィンドウ）を拡大すると、インフラのメモリ消費が爆発的に増加するという課題が生じます。

Gemma 4の26B A4Bや31Bモデルは、最大25万6000（256K）トークンという超長文脈の処理をサポートしています。この巨大な入力を限られたメモリ上で効率的に処理するため、モデル内部には高度な最適化が施されています。

具体的には、局所的なスライディングウィンドウ・アテンションとグローバル・アテンションを交互に配置するハイブリッド構造を採用し、最終層は常にグローバルにすることで、メモリフットプリントを低減しつつ深い文脈理解を維持しています。さらに、グローバルレイヤーではキーとバリューを統合し、「p-RoPE（Proportional RoPE）」と呼ばれる技術を適用することで、長文脈の処理に必要なメモリ消費を大幅に最適化しています。