GeForce RTX 3060 12GBでOllamaを導入したら、モデルがGPUに載っている割合まで確認します。GPUとCPUのどちらにモデルが置かれるかで利用時の体験が変わります。本記事では公式ドキュメントの手順に沿って導入し、動作状態を確かめるところまで説明します。

RTX 3060はOllamaの対応GPU一覧に掲載されています。Compute Capabilityは8.6で、NVIDIAドライバーは550以降が要件です。ドライバーが古ければ更新し、まずは公開ファイルが5.2GBのQwen3:8bから始めると、12GBのVRAMを使った設定を試しやすくなります。

導入前のGPUとドライバー

RTX 3060には12GB版と8GB版があります。モデル本体と会話中のキャッシュを置く余裕を確保するため、ここでは12GB版を対象にします。GPU名とドライバーの確認には、NVIDIA環境で使える nvidia-smi を実行します。表示された製品名とドライバー番号をOllamaの要件と照合します。

Ollamaの公式資料は、RTX 30シリーズをCompute Capability 8.6として列挙しています。一般的なRTX 3060 12GBなら対象です。複数のGPUを搭載しているPCでは、Ollamaが別のカードを使う可能性もあります。その場合は後述のプロセッサー表示と、必要に応じたGPU指定で使用先を確かめます。

Ollamaとモデルの取得

公式クイックスタートからWindowsまたはLinux向けのOllamaを入れます。Windowsではアプリを起動し、Linuxでサーバーが起動していなければ ollama serve を実行します。セットアップ後、ターミナルで次のコマンドを入力します。

ollama run qwen3:8b

Ollamaは未取得のモデルをダウンロードしてから対話を始めます。取得と対話を分けたい場合は、先に ollama pull qwen3:8b を実行します。Qwen3の配布ページでは、8bの表示容量は5.2GBです。保存先の空き容量にも余裕を確保します。

対話画面に入ったら短い日本語の質問を一つ送り、回答が返るか確認します。Ollamaのクイックスタートでは /bye で対話を終える操作を案内しています。最初の質問を短くするのは、モデルの読み込みと長いコンテキストの影響を分けて見られるためです。

GPUに載った割合の確認

モデルが読み込まれている間に、別のターミナルで ollama ps を実行します。OllamaのFAQによると、PROCESSOR列の「100% GPU」はモデル全体がGPUに載った状態です。「CPU/GPU」の割合が表示されれば、システムメモリとGPUメモリに分かれています。CPU使用が多い構成では、GPUのみの構成と応答条件が異なります。

同じFAQは、標準のコンテキスト長を4096トークンと説明しています。対話中に /set parameter num_ctx 4096 と入力すれば、その値を明示できます。長い文書を入力するためにコンテキストを広げると、KVキャッシュの領域も増えます。12GBで8Bを快適に運用するなら、最初は4096を基準にし、必要な入力長に合わせて調整します。

Qwen3:14bは公開ファイルが9.3GB、30bは19GBです。14bは12GBに対して実行時の余白が小さく、長い会話ではCPU側へ移る余地があります。30bは配布ファイル自体が12GBを超えます。モデル規模を上げるときは、ollama ps の表示で実際の載り方を見て判断します。

複数GPUを搭載したPCでの指定

OllamaのGPU設定は、使用するNVIDIA GPUをCUDA_VISIBLE_DEVICESで絞る方法を案内しています。複数カードがある環境では、nvidia-smi -L でGPUのUUIDを取得できます。数値のGPU番号は起動順で変わるため、公式資料はUUIDの指定をより確実としています。単一のRTX 3060なら通常は指定を追加する必要はありません。

「GPUが使われていない」という場合、まずドライバー要件とGPU認識を確認し、次に ollama ps のPROCESSOR列を見ます。CPU/GPU混在ならモデルのサイズやコンテキスト長が影響している可能性が高く、4Bや8Bへ戻すと切り分けやすくなります。GPUが全く認識されない場合は、容量設定よりもドライバーとOllamaの起動状態を先に調べます。

まとめ

RTX 3060 12GBはOllamaの対応GPUです。ドライバー550以降を用意し、Qwen3:8bを起動したら ollama ps でGPUへの配置を確認します。長い会話でメモリが足りなくなるときは、モデル規模とコンテキスト長を調整します。4B・8B・14Bの選び方を詳しく知りたい場合は、12GB向けローカルLLMの比較へ進んでください。