Exllamav3

• Qwen3.8-flash-Nextを 3090 x3で 314 万コンテキストで使う

  2026年9月10日 · 8 min · llm, exllamav3, qwen, gpu

  Qwen Sparse Attention は、文脈がどれだけ長くても1ステップで読むトークン数が変わらない。このおかげで、KVキャッシュはホストRAMに置ける。同じGPU 3枚のまま上限が 23.4 万から 314 万トークンになった。