NVIDIA RTX A4000の16GBでローカルLLMを動かしたい場合、まずモデルの保存サイズと推論時のメモリ消費を分けて考えます。量子化された8Bモデルは選択肢が広く、14B級も条件を整えれば候補になります。この記事ではOllamaが公開するモデル容量とA4000の公式仕様を使い、16GBの範囲を具体的に見ます。

A4000の推論向け仕様

NVIDIA公式仕様は、GPUメモリをECC対応GDDR6 16GB、最大消費電力を140Wとしています。ELSAの製品ページでは6,144 CUDAコア、192 Tensorコア、448GB/sのメモリ帯域幅を確認できます。CUDAを利用する推論ソフトウェアへ組み込みやすいNVIDIA製のワークステーションGPUです。PCIe 4.0 x16と6ピン補助電源1本を使うので、手元のPCでは空きスロットと給電を合わせて用意します。

GPUメモリ16GBには、モデルの重みに加えて、コンテキストを保持するKVキャッシュや実行時の作業領域も置きます。ディスプレイ出力を兼用している場合は、画面表示にもメモリを使います。モデルのダウンロード容量と残りのVRAMを分けて見れば、長いコンテキストや複数セッションへ使える余裕が分かります。16GBへ重みを収めるだけでなく、推論に残す容量まで見積もるのが実用的です。

Ollama公開モデルで見る容量

Ollamaのモデル例 公開されているサイズ 16GBでの見方
llama3.1:8b 4.9GB 重みを置いたあとに推論用領域を残しやすい
qwen2.5:14b 9.0GB コンテキスト長と同時実行数が容量を左右する
llama3.1:70b 43GB 重みだけで16GBを超える

サイズはOllamaのLlama 3.1タグ一覧とQwen2.5タグ一覧の表示値です。4.9GBや9.0GBはモデル配布サイズであり、推論時の確定VRAM使用量ではありません。70Bの43GBはA4000一枚へ全体を収める条件を満たしません。CPUメモリへのオフロードなどの経路はありますが、GPU内に収める場合とは速度条件が変わります。

コンテキスト長と同時実行

Ollamaのコンテキスト長の説明は、長いコンテキスト設定ほど必要なメモリが増えると明記しています。同ドキュメントでは、VRAMが24GiB未満の環境で初期設定のコンテキスト長を4Kとしています。A4000の16GBで長い資料を読み込む用途なら、モデル選択とコンテキスト設定を一緒に決める必要があります。8Bモデルで余る容量を、長い文脈や複数セッションへ割り当てる使い方もできます。

Ollamaのollama psは実行中モデルのPROCESSOR欄にGPUとCPUの割り当てを表示します。A4000上でどの程度GPUへ載っているかを確認できるため、推論速度を比較するときの条件を明確にできます。複数モデルを同時に常駐させる場合は、各モデルの重みと作業領域が合算されます。単一の8Bモデルが収まる構成でも、二つを同時に動かすなら必要容量は増えます。

購入判断と設置

16GBは8Bから14B級の量子化モデルを検討しやすい容量です。より大きなモデルを全量GPUへ置く仕事なら、容量の多いGPUが直接的な解決策になります。A4000は140W、1スロットという構成なので、ワークステーションの拡張スロットを占有しにくい点も魅力です。必要な6ピン端子と電源容量は電源の記事を参照してください。後継のRTX 4000 Adaなら20GBになり、重みやコンテキストに使える容量が4GB増えます。世代比較で他の仕様も確認できます。

量子化形式で変わるモデルサイズ

同じ8Bモデルでも、OllamaのLlama 3.1タグ一覧にはQ4_K_Mが4.9GB、Q8_0が8.5GB、FP16が16GBと掲載されています。モデル名が同じでも保存形式で必要な容量が大きく変わります。A4000の16GBへFP16の8Bモデルを置くと、重みだけで公称VRAMと同じ容量になるため、推論時の作業領域をGPU内へ確保しにくくなります。量子化モデルを選ぶ意味は、重みの容量を減らし、推論に使う領域を残す点にもあります。

14B級を使う場合、Qwen2.5の9.0GBという配布サイズは出発点です。文章を長く読み込むほどKVキャッシュが増え、同時に起動するモデルが増えれば重みも合算されます。A4000一枚での運用を考えるなら、8Bか14Bかに加え、何件の会話を同時に処理するかを決めるとVRAMの見積もりが現実に近づきます。

まとめ

RTX A4000の16GBは、Ollamaで公開される4.9GBの8Bモデルを始めるには余裕があり、9.0GBの14Bモデルも検討範囲です。長いコンテキストや同時実行では残りの容量が効きます。使うモデルの配布サイズを決めたら、コンテキスト長とGPU搭載割合まで含めて構成を選んでください。