Quantization

• FP8 / NVFP4 の weight-only 推論で RTX 3090 が失っているものは無い

  2026年9月30日 · 17 min · llm, vllm, quantization, gpu, cuda

  FP8 / FP4 のテンソルコアが使われるのは、アクティベーションも FP8 / FP4 に量子化したときだけである。weight-only (A16) では、RTX 3090 も Blackwell も BF16 のテンソルコアで計算する。vLLM のコード、5090 用にビルドされた SASS、3090 での実測 (カーネル時間・クロック固定・Nsight Compute) で根拠を示し、3090 が実際に失っているもの (W8A8 / W4A4 の prefill の演算上限) と、想定される反論への回答をまとめる。

• 125B MoE を 3090 3 枚で運用する vLLM編

  2026年9月15日 · 19 min · llm, vllm, quantization, qwen, gpu

  51.2B の n-gram テーブルを抱えた 125B-A6B MoE を、RTX 3090 3 枚で 262,144 コンテキスト・80 tok/s で運用する。KV キャッシュの大半はホスト RAM に置ける。ストックの vLLM ではそもそも起動しないので、その壊れている箇所を全部書く

• vLLM は INT5〜7 を動かせる

  2026年9月11日 · 5 min · llm, vllm, quantization, qwen, gpu

  vLLM は INT5/6/7 の重みをネイティブに実行できる。この強さと、 embed_tokens / lm_head を 量子化してもロスが少ない結果を解説する。