ROCm 10.1でvLLMを動かすには、GPUがROCmに対応するだけでなく、vLLM向けホイールのROCm版とPython版を揃えます。AMDの10.1対応表とvLLM導入資料は対象範囲を示しています。ここではローカル推論サーバーを組む前に決める条件を整理します。

AMDが示す対応範囲

AMDのリリースノートでは、ROCm 10.1のAIエコシステム項目にvLLM 0.29.0が掲載されています。対象OSはLinuxで、gfx1200、gfx1201、gfx1100など対象のGPUアーキテクチャが列挙されます。Radeon RX 9070 XTはgfx1201です。一方、同じ表のPyTorch行はOSやPython版によって条件が異なるため、vLLM向けの行を個別に読みます。

AMDのvLLM資料は、ホスト側AMD GPUドライバーとDocker Engineなどの前提、対応するPython環境を案内しています。特定のvLLMホイールを選ぶ場合、ホイール名にROCm版、Python版、Linux向けかどうかが反映されます。汎用のPyPIパッケージを先に入れてから不足分だけ追加する構成より、AMDが検証したvLLM配布経路に合わせる方が版数を追いやすくなります。

vLLM本家の配布経路

vLLMの公式GPU導入ページには、ROCm向けのホイールとコンテナイメージの案内があります。2026年11月時点で本家ページの例はROCm 10.0向けホイールを示します。AMDの10.1資料にある検証版との間に版数差があるため、同じ環境でAMDの10.1ホイールと本家の10.0ホイールを混ぜる手順は採れません。

vLLM本家の最新手順を使うなら、そのページが指定するROCm 10.0系列として環境を作ります。ROCm 10.1を使うならAMDの10.1向けAIエコシステム資料を基準にします。両方の経路にはそれぞれ対象GPUやPythonの条件があるため、先に使う配布元を決めると依存関係を固定できます。

Linuxホストの確認

LinuxでGPUが動く土台として、ホストに互換性表に載るAMD GPUドライバーが必要です。Ubuntu 24.04ならポイントリリースとカーネル系列も確認します。rocminfoやamd-smiでGPUを列挙できれば基盤の確認が進みます。Radeon RX 9070 XTではgfx1201が見えるかを照合します。

GPU列挙に成功したら、vLLMを入れるPython環境を独立させます。PyTorchの版もvLLM配布物の要求に合わせます。AMDの資料はvLLM 0.29.0の行で特定のPython版とPyTorch版を示しています。PyTorch本体を別の導入記事に従って先に最新版へ上げると、vLLMが要求する組み合わせから外れるため、同じ表で揃えるのが確実です。

コンテナ利用の経路

vLLMの公式ページはROCm向けコンテナイメージも案内しています。コンテナならアプリとユーザー空間ライブラリの組をイメージ内で管理でき、ホスト側はドライバーとGPUデバイスの提供に集中できます。AMDのDocker資料では、/dev/kfdと/dev/driを渡す方式やContainer Runtime Toolkitを説明しています。

ただしイメージに記載されたROCm版が10.0なら、そのコンテナは10.1のユーザー空間を使う意味にはなりません。ROCm 10.1の検証版を求める場合は、AMDの10.1向けイメージやホイールの指定を優先します。用途が推論サーバーの運用なら、環境を再現できる形で版数を固定するのが扱いやすいでしょう。

動作の確認

vLLMの起動時にGPU名や対応ランタイムがログへ出るか、短い推論リクエストを処理できるかを確認します。起動時のエラーがドライバー側かPythonパッケージ側かを分けるには、先にPyTorchのGPU確認を行うと原因を絞れます。GPUが見えてもモデルがVRAMに収まらない場合は、モデルと並列化設定を見直す段階です。

サーバー用途のGPUメモリー

vLLMのサーバーではモデルの重みだけでなく、実行時のキャッシュと同時リクエストにもGPUメモリーを使います。Radeon RX 9070 XTの16GBを使う場合、選ぶモデルの量子化版と最大コンテキスト長によって余裕が変わります。利用するモデルの重み、キャッシュ、同時リクエストに必要なVRAMを見積もります。

初回の動作確認には小さなモデルと短い入力を使うと、環境の成立と容量不足を切り分けられます。vLLMの起動ログでGPUを認識し、短い応答を返せた後に、目的のモデルや同時処理数へ広げる順序です。これならパッケージの問題とモデル構成の問題を別々に調べられます。

まとめ

ROCm 10.1でvLLMを使う基準は、AMDの対応表にあるLinux・gfx番号・Python・PyTorchの組み合わせです。本家ページのROCm 10.0経路とは版数を分けて扱います。環境を作る前にUbuntu導入を確認し、コンテナを使う場合はDockerのGPU設定へ進んでください。