AWQ 4bitによる巨大MoEエッジ動作

Google DeepMindの「Gemma 4 26B A4B」のような、最新の混合専門家（MoE）モデルをオフィス端末で直接稼働させようとする際、最大の壁となるのが「ビデオメモリ（VRAM）」の容量制限です。Gemma 4 26B A4Bは総パラメータ数が25.2Bであり、そのままでは非常に巨大ですが、AWQ（Activation-aware Weight Quantization）による4bit量子化技術がこの壁を打ち破ります。

AWQは、推論精度に大きく影響する「活性化値（Activation）」の高い重要な重みパラメータを保護しながら、それ以外の多くの重みデータを4ビットに圧縮する高度な軽量化手法です。

これにより、公開された「gemma-4-26B-A4B-it-AWQ-4bit」では、モデル容量をわずか17.19GBに抑えることに成功しました。一般的に支給される開発機や32GBメモリ搭載のPC（MacBook等）のメモリ空間内に収めることが可能になり、ローカルでサクサクと動く、非常に優秀な知的エージェント環境を低予算で整備できます。

---