NVIDIA RTX A6000は48GBのGDDR6メモリを1枚に載せるため、手元で大きな言語モデルを実行したい人に候補になります。選ぶ基準は「何Bのモデルか」だけでは決まりません。重みを何bitで保存するか、入力をどれだけ長くするか、同時に何件処理するかを分けると、48GBの使い道が見えてきます。

モデル重みと必要メモリ

モデルのパラメーター数に1パラメーターあたりの保存量を掛けると、重みだけの概算が出ます。FP16やBF16は通常2バイト、8bitはおおむね1バイト、4bitはおおむね0.5バイトです。以下の表は重みだけの概算です。実際には量子化の付加情報と実行領域を加えます。

モデル規模の例 BF16の重みだけ 4bitの重みだけ
8B 約16GB 約4GB
32B 約64GB 約16GB
70B 約140GB 約35GB

4bitにすれば、32B級では重みの概算は16GBとなり、48GBカードに入力履歴などの領域を残せます。70B級では重みだけで約35GBです。量子化のスケール情報、量子化しない層、実行時のワークスペースが加わるため、48GBとの差分である約13GBには、これらの領域とKVキャッシュを配分します。Hugging Faceの量子化ドキュメントも、4bit化と演算に使う精度を別々に設定する形を示しています。

入力長と同時実行数

推論時には、読み込んだ文脈を保持するKVキャッシュが増えます。長い資料を一度に入力したり、複数人が同時に問い合わせたりすると、同じ重みのモデルでも必要なメモリは大きくなります。vLLMの公式ドキュメントは、最大入力長と同時シーケンス数を抑える方法を、メモリ節約の手段として案内しています。

実用上は、最初に使いたいモデルの重み形式を決め、次に予定する最大入力長と同時実行数を設定します。重みの容量が48GBに近いほど、KVキャッシュと実行領域が不足します。入力長を抑えるか、重みの容量を小さくして余白を確保します。資料検索や長文要約を中心に使うなら、重みを小さめにして文脈領域を確保する方が目的に合います。

A6000の演算基盤と運用条件

RTX A6000はAmpere世代で、第3世代Tensorコア336基とCUDAコア10,752基を備えます。NVIDIAの仕様ではメモリ帯域は768GB/s。モデルが入るかは容量で決まりますが、実行中に重みを読む速さには帯域が関係します。トークン毎秒はモデルの構造、量子化カーネル、バッチ条件にも影響されるため、スペック表から特定の値を導けません。

48GB ECCメモリは業務向けの長時間運用に役立つ仕様です。エルザ製A6000ではECCは初期状態で無効とされるため、運用方針に応じて設定します。カードの最大電力は300W、冷却はアクティブ方式。長い推論を連続させる場合、ケースの排気と電源の余裕も設計条件になります。

2枚構成へ広げる場合

NVIDIAはA6000を2枚、対応するNVLinkブリッジで接続できると案内しています。合計の物理メモリは96GBです。LLMでその容量を使うには、vLLMなどの実行環境でモデルを2 GPUへ分割する設定が必要になります。vLLMはテンソル並列化を案内しており、2枚を挿しただけで単体96GBのGPUになる仕組みではありません。

2枚構成ではカードだけで最大600Wに達し、マザーボードのスロット間隔、2本分の補助電源、排熱の条件も増えます。単体48GBで目的のモデルと文脈が収まるなら、まず1枚の構成で必要量を見積もると選定を進めやすくなります。

容量を試算するときの単位

上の表は10進数のGBで概算しています。実際の実行環境はGiB表示を使うことがあり、表示値は同じ数字になりません。モデルファイルのサイズだけで判定せず、起動後にGPUメモリへ何GiB割り当てられ、長い入力でピークがどこまで上がるかを確認します。4bitモデルでも量子化方式や未量子化の部分によって実使用量は異なります。

運用予定が一人の短い質問なら、最大入力長と同時実行数を小さく設定した試験から始められます。複数ユーザーが同じモデルを使うなら、同時リクエスト時のKVキャッシュが増えるので、単独実行の成功だけでは足りません。目的に近い入力長と人数で試すことが、48GBを選ぶ根拠になります。

まとめ

RTX A6000の48GBは、24GB級では重みを収めにくいモデルや、長い文脈を扱う用途で効きます。8Bから70Bまでの「重みだけ」の概算と、KVキャッシュに必要な余白を別々に計算するのが要点です。実行するモデルと入力長を決めたら、NVLink構成と300Wの電源条件も合わせて選べます。