96GBのRTX PRO 6000 Blackwell Max-Qは、大きな言語モデルを手元の1枚のGPUへ載せたい人に向いた製品です。70B級モデルの搭載可否は、重みの精度と推論中に増えるメモリで決まります。NVIDIAの製品資料はローカルのLLM微調整とAIアシスタントを用途に挙げています。ここではVRAMをどのように割り振るか、数字から考えます。

96GBで確保できる作業領域

GPUメモリはモデルの重みだけに使うものではありません。入力と生成中のトークンを扱うKVキャッシュ、実行時のワークスペース、複数のリクエストをまとめるバッチにも使います。Hugging Faceのメモリ解説では、BF16やFP16の重みをGPUへ載せる目安を「10億パラメータ当たり約2GB」としています。70Bの重みなら約140GBで、96GBの単体GPUには収まりません。

8ビット量子化なら70Bの重み部分は理論上おおむね70GB、4ビットならおおむね35GBです。量子化方式のメタデータや一部の非量子化層によって実際の使用量は増えます。96GBなら8ビットの70B級でも約26GBの差分がありますが、長い文脈や複数人の同時利用で必要なKVキャッシュがその枠を使います。実行中の使用量には、配布ファイルの容量に加えてKVキャッシュと作業領域が含まれます。

72GBとの境界

RTX PRO 5000 72GB Blackwellと比較すると、96GB版は24GB広い作業領域を持ちます。4ビットの70B級を単発で推論するなら72GBでもメモリに余裕が出る構成があります。8ビットで重みが約70GBになる場合、72GBではKVキャッシュや実行領域がほとんど残りません。96GBの価値は、同じモデルをより高い精度で置く、文脈長を伸ばす、または同時利用数を増やす余地に現れます。

必要なメモリ量はモデル構造でも変わります。MoEモデルでは保存する全パラメータと1トークン当たり動くパラメータが異なり、重みの保存量を活動パラメータだけで推定できません。また量子化形式によって実際のビット数も異なります。利用したいモデルの配布元が示す形式と実ファイル容量、推論ソフトの実行メモリを照合すれば、96GBが必要かを判断できます。構成前の概算には重みとKVキャッシュを分ける方法が有効です。

帯域幅と推論速度

Max-QのGDDR7メモリ帯域幅はNVIDIA公称で1,792GB/sです。1トークンずつ順に生成する処理は重みの読み出しに制約される場面があり、帯域幅は重要な仕様になります。ただし実際のトークン毎秒は、量子化カーネル、バッチ数、文脈長、推論エンジンでも変わります。3,511 AI TOPSという公称値はFP4の特定条件におけるピーク値で、どのモデルでもそのまま得られる速度ではありません。

Max-Qは最大300Wで、600Wの通常版より電力枠が小さく設定されています。モデルが同じ96GBに収まっていても、演算負荷の高い処理では電力枠が速度差につながります。独立した制作アプリの測定では差が確認されていますが、LLMのトークン速度へその割合を移すことはできません。モデルと推論エンジンが決まっている場合は、その組み合わせの測定値を選定材料にします。

複数GPUとMIG

NVIDIAはMax-Qを最大4枚搭載する構成を案内しています。4枚の合計容量は384GBでも、1枚のGPUに384GBの単一メモリ空間が生まれるわけではありません。CUDAの複数GPUプログラミングガイドが説明するように、アプリがデータを各GPUへ配置し、結果を通信して初めて集約資源を使えます。複数人へ1枚ずつ割り当てる使い方と、1モデルを複数枚へ分けるテンソル並列では、必要なソフト設定が異なります。

MIGは逆に1枚の96GBを最大4区画へ分ける機能です。4つの24GB区画を作る構成なら、各利用者が独立した小さなGPUを使えます。大規模モデルを1区画へ置く目的には向きません。大きな1モデルを扱うなら96GBを丸ごと使い、同時に複数の小規模サービスを隔離したいならMIGが候補です。

モデル規模ごとの概算

重みだけの単純計算では、30B級をBF16で保持すると約60GBです。72GBカードでは約12GB、96GBでは約36GBが、その他の実行領域へ残る計算になります。実際にはテンソルの管理領域やKVキャッシュが加わるため、この差分すべてを自由に使えるわけではありません。70B級を4ビット相当に圧縮した約35GBの例とは、速度と品質の前提も異なります。モデルごとの推奨精度を先に決め、重みの容量を概算し、文脈長と同時利用数で残りのVRAMを配分する順序なら、容量不足の原因を切り分けやすくなります。

ローカルLLM向けの結論

96GBの利点は、重みと実行領域を単体GPUへ収められるモデルの範囲が広がることです。量子化の精度、文脈長、同時リクエスト数を決めてから必要容量を積み上げると、投資額を説明できます。容量をさらに増やす構成は4枚構成の記事で、1枚を分割して運用する方法はMIGの記事で詳しく扱っています。