Performance

• vLLM 最適化の技法: GPU・CPU・メモリ・I/O の律速を測定から切り分ける

  2026年10月15日 · 33 min · llm, vllm, gpu, profiling, performance

  vLLM の推論が遅いとき、何を測り、どの比較で原因を確定するか。同期 D2H、PP の受信順序、小さい GEMV、pinned RAM、コールドな mmap 読み出しの実測を使い、TTFT・ITL・throughput から GPU・CPU・メモリ・I/O の律速を切り分ける手順を説明する。