Cuda

• 125B MoE を 32GB 2 枚で運用する vLLM 最適化編

  2026年9月30日 · 20 min · llm, vllm, qwen, gpu, cuda

  RTX 5090 を 2 枚持つ利用者から、Qwen3.8-Flash-Next を 32 GB 2 枚で動かせるかと質問を受けた。重み 62.3 GiB は 2 枚に収まらないため、使用頻度の低い routed expert を 1 枚あたり 3 GiB ホスト RAM に置く。expert の選び方、VRAM とホスト RAM にまたがる 1 本の expert テーブル、実行時の expert の入れ替えにより、decode は退避なしの 97.7 tok/s に対して 91.5 tok/s になった (RTX 3090 での計測)。

• FP8 / NVFP4 の weight-only 推論で RTX 3090 が失っているものは無い

  2026年9月30日 · 17 min · llm, vllm, quantization, gpu, cuda

  FP8 / FP4 のテンソルコアが使われるのは、アクティベーションも FP8 / FP4 に量子化したときだけである。weight-only (A16) では、RTX 3090 も Blackwell も BF16 のテンソルコアで計算する。vLLM のコード、5090 用にビルドされた SASS、3090 での実測 (カーネル時間・クロック固定・Nsight Compute) で根拠を示し、3090 が実際に失っているもの (W8A8 / W4A4 の prefill の演算上限) と、想定される反論への回答をまとめる。