SGLang、GPUメモリに収まらないMoEモデルの推論に対応 ↗
SGLang 0.5.23は、LLMや画像生成モデルを動かす推論基盤の更新。新しいPaged Expertsを有効にすると、重みがGPUメモリに収まらないMoEモデルも単一GPUで実行できる。提供元は16GB GPUでの単一ストリームのデコードを、従来のCPUオフロードと比べて12〜30倍高速と報告している。Google TPU7x向けのPyTorchプラグインにも対応し、明示的に有効化する新しいエンジンで量子化MoEモデルのLoRAアダプターを配信できる。


