minamism

2026年9月10日 · 8 min · llm, exllamav3, qwen, gpu

Qwen Sparse Attention は、文脈がどれだけ長くても1ステップで読むトークン数が変わらない。このおかげで、KVキャッシュはホストRAMに置ける。同じGPU 3枚のまま上限が 23.4 万から 314 万トークンになった。