GeForce RTX 4060 LaptopでローカルAIを試したい人にとって、8GB VRAMは最初の判断材料です。GPUにはモデル本体に加え、会話履歴を扱うKVキャッシュとプログラムの作業領域も必要です。

NVIDIAの仕様表にある8GB GDDR6と、Qwenが公開する量子化済みモデルの実際のファイルサイズを使って、容量の考え方を具体化します。

8GBで選ぶモデル

Qwen公式のQwen3-8B-GGUFには、Q4_K_Mという量子化形式のファイルがあり、配布ページの表示サイズは5.03GBです。8GB VRAMからファイル容量を引くと約3GBの余白に見えますが、これは実行可能量の確定値ではありません。GPU上では重みの配置、KVキャッシュ、計算用の一時領域、画面表示など別の使用量が発生します。

Q4_K_Mの「Q4」は、重みを小さいビット幅で保存する量子化の系列を示します。同じ8Bクラスでも量子化形式が変わればファイル容量と出力品質の条件が変わります。比較する際はモデル名だけでなく、配布元と量子化形式まで固定します。Qwenの公式リポジトリにある5.03GBという数値は、実際にダウンロードするファイルを指定した見積もりです。

領域 何を置くか 使用量を変える条件
モデルの重み Qwen3-8B Q4_K_Mなど モデルと量子化形式
KVキャッシュ 入力と生成の履歴 コンテキスト長と同時実行数
計算用領域 推論処理の一時データ 実行ソフトと設定
その他のGPU利用 画面描画や別アプリ OSと同時に開くアプリ

5.03GBのモデルは8GB機で検討する具体例です。使えるコンテキスト長はKVキャッシュと作業領域を含む実際のVRAM使用量で決まります。特に長い文章を一度に処理したい場合はKVキャッシュが増えます。まず短めのコンテキストから開始し、実行ログに表示されるGPUへの配置量と残りVRAMを確認する手順が堅実です。

会話を長く続けるほど、過去のトークンを参照するためのKVキャッシュが増えます。llama.cppのserver説明には、コンテキスト長を指定する設定と、並列実行数を指定する設定が別々に用意されています。1人で短い質問をする場合と、複数の利用者が長い文書を同時に処理する場合では、同じ5.03GBのモデルでも必要な実行時メモリが変わります。8GB機では利用人数と文脈の長さを先に決めると、容量の見積もりが具体的になります。

GPUへの割り当て

llama.cppのserver説明には、モデルの何層をGPUのVRAMへ置くかを指定する「-ngl / –gpu-layers」オプションが記載されています。設定を自動に任せる方法も、層数を指定する方法もあります。VRAMへ入り切らない場合は一部をシステムメモリとCPUへ回せますが、GPUだけで処理する構成と同じ速度を期待するものではありません。

Qwenの配布ページはllama.cppでモデルを指定して起動する例も載せています。使うWindows・Linux環境でCUDA対応版を選び、起動ログでNVIDIA GPUが使われているかを確かめます。GPUを積んだノートでも、アプリがCPU版で起動すればVRAMを使わないため、処理速度の評価を取り違えます。

システムメモリと専用VRAMは別々で、システムメモリを追加してもGPU側の専用容量は8GBです。モデルの一部をCPU側に置く運用は可能ですが、転送が増えます。大きいモデルを頻繁に扱う人は、より大容量のVRAMを持つGPUも候補に入れ、必要なモデルの実際の量子化ファイルで見積もります。

GPUへの割り当て層数を減らすと、VRAM使用量は下げられます。その代わりCPU側で処理する割合が増えるため、応答速度の評価は全層をGPUに置いた構成と分けます。まず自動設定で起動ログを見て、VRAMが不足した場合に層数とコンテキスト長を調整する順序なら、どの設定で速度が変わったか追いやすくなります。

速度を測る条件

トークン生成速度は、モデル、量子化形式、コンテキスト長、GPU割り当て、ノートPCの電力設定によって変わります。RTX 4060 LaptopのGPUサブシステム電力は公式仕様で35～115Wと幅があり、同じGPU名でも製品別に性能条件が違います。速度を比べるときは、候補機種の電力設定とモデル条件を揃えた測定を使います。

まず同じモデルを使い、短い質問で出力速度を見ます。次に実際に扱う長さの文書を入れ、応答速度とVRAM使用量を比べます。AC電源時とバッテリー時の結果は分けて示します。GPUの電力表示はTGPの記事にまとめています。

画像生成や音声認識は、言語モデルとは必要なソフトとメモリ配分が異なります。「ローカルAI」全体を一つの容量基準で括ることはできません。使いたいモデル名とファイル形式を先に決め、その公式要件をRTX 4060 Laptopの8GBと照らすと、買い物の判断に結びつきます。

まとめ

RTX 4060 Laptopの8GB VRAMでは、Qwen3-8B Q4_K_Mの5.03GBファイルのような量子化モデルが検討対象になります。モデル本体以外の使用量も必要なため、起動ログとVRAM使用量で配置を確認してください。ゲームとAIの両方を使う場合は、VRAMの記事でゲーム側の制約も確認できます。