TITAN RTXを2枚接続すれば、24GBのカードを48GBの1枚として使えるのでしょうか。NVIDIAはNVLinkで2枚をつなぎ、対応アプリで合計48GBのメモリ容量を利用する構成を案内しています。実現には、アプリがデータを両方のGPUへ配置する設計が必要です。ローカルAIで混同しやすい容量、接続速度、ソフトの役割を分けて説明します。

NVIDIAが示すNVLinkの仕様

公式製品概要PDFでは、TITAN RTXのNVLinkは2枚のGPUを接続し、双方向で100GB/sの帯域を持つとされています。各カードのVRAMは24GBなので、物理的な合計は48GBです。PDFの注記は、48GBへの拡張を使うにはアプリがNVLinkに対応している必要があると明示します。

項目 2枚構成の値
VRAMの物理合計 24GB×2＝48GB
NVLink帯域 双方向で100GB/s
カード電力の公称合計 280W×2＝560W

100GB/sは二つのGPU間の転送路の値です。各カードに付くGDDR6の最大672GB/sという帯域とは対象が異なります。NVLinkで結んでも、それぞれのカードのVRAMが一体化して全ソフトに48GBと見えるわけではありません。アプリ側が片方へ置くデータと、もう片方へ置くデータを設計して初めて、合計容量を作業へ使えます。

ローカルLLMの複数GPU

llama.cppのサーバー設定には、モデルの層を複数GPUに分ける--split-mode layerや、使用割合を指定する--tensor-splitがあります。これはソフトがモデルを分割する機能です。NVLinkブリッジを付けるだけで、llama.cppの単一GPUモードが48GBを使い始めるわけではありません。モデルの重みとKVキャッシュがどちらのGPUに置かれるかは、分割方法で決まります。

70B級の4ビットモデルは、重みだけで約35GBという理論下限になり、単体24GBへは収まりません。2枚へ分散する構成なら容量面の候補になります。実際に置けるモデル容量は、両GPUのVRAMから量子化ファイル、KVキャッシュ、同時実行のバッファーを差し引いて決まります。単体24GBの記事に重みの概算を示しました。

ブリッジとPC側の条件

NVLinkを利用する構成には、2枚のTITAN RTXに対応するブリッジと、マザーボード上の適切なスロット間隔が必要です。カードは各2スロットのフルハイトで、長さ約267mm。2枚が隣接すると吸気と排熱の余裕も減ります。PCケースの有効長に加え、2枚目の下側や側面にも空気が流れる配置が必要です。サイズと冷却の記事に寸法をまとめました。

製品概要PDFの注記ではNVLinkブリッジは別売です。カードを2枚確保するだけでなく、ブリッジの長さがマザーボードのスロット間隔に合う構成が必要になります。2枚をケースへ固定できても、端子間の距離が合わなければNVLinkで接続できません。

GPUの公称電力だけで560Wとなるため、1枚向けに案内された650W電源を2枚構成へ流用できません。CPUやストレージも含む消費電力から電源を決め、PCIe 8ピンを合計4本用意します。NVLinkブリッジはGPU間の接続に使う部品で、補助電源を肩代わりしません。電源の記事に配線条件を整理しました。

転送が発生する頻度も性能を左右します。GPU間で大量のデータを何度も交換する処理ならNVLinkの帯域が意味を持ちます。一方、各GPUへ独立した仕事を割り当てる処理では、橋を渡る転送は少なくなります。2枚構成の速度は、アプリの分割方法とGPU間通信量によって変わります。

48GBを目的に買う判断

2枚構成の利点は、NVLink対応ソフトやモデル分割を使う作業で、単体24GBを超えるデータをGPU側へ置ける点です。欠点はカード2枚分の購入費、電力、熱、設置空間が必要なことです。アプリの分割方式と、実際のモデルの重み・キャッシュ量が構成の判断材料になります。NVIDIAの「48GB」は対応ソフトで生かす容量であり、その条件まで含めて構成を選ぶ数字です。