分散アーキテクチャとgRPC対応

複数のサーバーやGPUに処理を分散させる大規模インフラにおいて、システム間の通信オーバーヘッドやリクエストの管理は大きな課題となります。「sglang」のバージョンv0.5.16では、この分散アーキテクチャにおけるAPIの堅牢性と通信効率が大幅に強化されました。

gRPCを利用した非集約型（Disaggregated）の生成リクエストへの対応や、ネイティブなサーバーサイドカーモジュールのランチャーがサポートされています。また、プレフィル（入力処理）とデコード（生成処理）を分離するPDD（Prefill-Decode Disaggregation）において、リクエストの取り消し機能（Retraction）が追加され、処理が中断された際のリソースの解放がより厳密になりました。

MiMo V2.5などの最新モデルを用いたジグザグコンテキスト並列処理（zigzag context parallelism）にも対応しており、複数GPUを跨ぐ巨大モデルの並列処理を超低遅延で提供するための、本番環境に耐えうる安定したAPIエンドポイントを構築できます。

---