ローカルでLLMを動かそうと思ったときに立ちはだかる最大の壁が、VRAMの容量でしょう。
パラメータ数の大きいモデルほど賢くなるのは間違いないのですが、そのモデルがGPUのVRAMに載りきらない場合、CPU側のメモリに溢れて速度が一気に落ちます。
モデルがVRAMに載るか載らないかで体感がかなり変わりますので、「VRAMは何GBあるか」が事実上のハードルになります。
※FreeTokenのように、VRAMが少ない環境でも比較的高速に動く技術が最近出てきています。
MiniMax H3などの登場により、VRAMが多いビデオカードの価格がここ直近でかなり上がりました。中古市場を眺めていても、VRAM 16GB以上のビデオカードは軒並み爆上がりしています。特にNVIDIAは、安定して動くうえにCUDAという圧倒的な資産がありますので、当然のように人気が集中してRTX2000番台までもが高騰している始末。RTX 3090あたりは、生成AI用途の定番として高値で取引されており、買える価格ではありません。
となると、次の選択肢はRadeonになります。ただ、16GBを積んでいて中古で手が届く範囲（今回は予算4万円台を想定）となると選択肢に入るのはRX 6800くらい。RX 6800は発熱も多く、3スロット・3ファンが当たり前という巨大なカードです。私のX99マシンはThermaltakeのLevel 10というケースに入っているのですが、ビデオカードのサイズ制限が厳しいので、大柄なRX 6800はできれば避けたいところ。
そこで、あえて選んだのがIntelのArc A770。16GBのVRAMを積んでいて、中古なら4万円前後。マニアックな人気はあるものの、登場時点から性能も中途半端で割とニッチな製品でしたが、今でも生成AI用途の主流にはなりきれていない、という微妙な立ち位置のカードです。
A770を選んだ理由は2スロットで比較的コンパクトという点と、高速なVRAMを256bit接続しているのでVRAMの帯域幅が広い、という理由です。
このA770を1枚挿したUbuntu Serverマシンを、しばらくAIサーバーとして運用していました。悪くはなかったのですが、仕事用PCにRTX PRO 4500 Blackwellを入れて日常的にVRAM32GB環境を使うようになると、どうしても16GBが窮屈に感じてきます。やはりVRAMは32GBはほしいところ。
というわけで、A770をもう1枚買い足して、2枚挿しにしてみました。
今更感は満載ですが、8万円台でVRAM 32GBという結果だけを見れば、これはこれで悪くありません。
A770 2枚挿しにしてみた結論
メリット
- A770は中古で4万円前後なので、2枚買っても8万円台でVRAM 32GB環境が構築できる
- 27BクラスのモデルがVRAMに丸ごと載る。Qwen3.8 27BのQ4_K_Mは17GB強あり、16GB 1枚では載りきらない
- Ollamaが2枚のGPUに自動で振り分けてくれるので、こちらでやることはほとんどない
- A770は2スロット厚で、同クラスのRadeonと比べるとケースへの収まりが良い
- 複数のLLMモデルを同時にVRAMへ常駐させられるので、モデルを使い分ける用途に向く
- NVIDIAのような値上がりに巻き込まれておらず、中古価格が落ち着いている
- 自己満足感が高い
デメリット
- NV-Linkのような専用の接続がないため、カード間の転送はPCIe経由になり遅い
- 2枚にしても速度は倍にならない。VRAM 32GBを1枚で積むカードには遠く及ばない
- 消費電力が単純に倍増する。TBP 225Wのカードが2枚で450W
- CUDA前提のツールがそのままでは動かない（ただAIを使えば環境構築は楽）
- バックエンドの選択肢が流動的。ipex-llmは2026年1月にアーカイブされている
- x16スロットが2本以上ある、それなりに古くて大きいマザーボードが必要になる
Intel Arc A770という選択肢
まずは、Arc A770の仕様から。
| 項目 | Intel Arc A770 16GB |
|---|---|
| GPU | ACM-G10 |
| Xeコア数 | 32 |
| グラフィックスクロック | 2,100MHz |
| VRAM | 16GB GDDR6 |
| メモリバス幅 | 256bit |
| メモリ帯域 | 560GB/s |
| TBP | 225W |
| インターフェース | PCI Express 4.0 x16 |
| 発売時期 | 2022年10月 |
| 中古実勢価格 | 4万円前後 |
ちょっと古めの、2022年の製品です。ゲーム用途での評価も、発売当初はドライバの出来が悪い方向で話題になったくらいで、主役の座になることはなく、一部のマニアに刺さるようなニッチな製品でした。普通はGeForce買いますよね…。
とはいえ、生成AI用途で見ると話が少し変わります。
16GBのVRAMを、GDDR6の256bit、560GB/sという帯域で回せるカードが、中古で4万円前後という水準にあるのは他になかなかありません。同じ16GBでもNVIDIAで探すとRTX 4060 Ti 16GBあたりになりますが、こちらはメモリバスが128bitで帯域が288GB/s、それでいて価格はA770の倍以上します。帯域だけを見れば、A770はかなり割の良いカードです。
そして、今回いちばん効いたのがカードの物理サイズです。intel純正のリファレンス仕様のA770は2スロット厚に収まります。VRAM 16GBを狙ってRadeonのRX 6800を選ぼうとすると、3スロット・3ファンの巨大なカードになりますので、これを2枚並べるのは相当に無理があります。2枚挿しを前提にすると、カードの厚みは思っている以上に重要な条件になります。（窒息して冷えない）
VRAM 32GBが必要になった理由
1枚のA770、つまりVRAM 16GBでも、実用になるモデルはそれなりに動きます。7Bから14Bクラスのモデルであれば、量子化した状態で余裕を持って載りますので、簡単な要約や翻訳、コード補完といった用途には十分でした。
ただ、仕事用PCのRTX PRO 4500 Blackwellで27Bクラスを動かす感覚に慣れてしまうと、この「余裕を持って載る」範囲がやけに狭く感じるようになります。
今回のベンチマークで使ったQwen3.8 27BのQ4_K_M量子化版は、モデル本体だけで17GBあります。マルチモーダル用のプロジェクタを含めると18GB近くになりますので、16GBのカード1枚ではどう頑張ってもVRAMが足りません。VRAMに載らないとどうなるかというと、溢れた分がCPU側のメモリに置かれて、生成速度が桁違いに落ちます。
ここが16GBと32GBの分水嶺です。16GBだと14Bクラスまで、32GBあれば27Bクラスまで。この一段階の差を4万円で買えるなら、まあ買ってもいいだろう、というのが今回きっかけに至った理由になります。
…とか立派そうな理由を書いてますが、単に2枚にして遊んでみたかっただけです。
導入は簡単、もう1枚挿すだけ
構築については、正直なところ書くことがあまりありません。
やったことは、Ubuntu Serverで動いているA770マシンの空いているx16スロットに、もう1枚A770を挿しただけです。あとはサーバー上のClaude Codeに「A770をもう1枚追加したので環境を構築して」と指示するだけでOK。Codex CLIでも同じことができると思います。この手のセットアップ作業は、もはや自分で調べて手を動かすより、AIに投げてしまった方が速くて確実です。
このマシンはCore i7-5930KにASUS X99-Sという、2014年世代の構成です。PCIeはGen3止まりですので帯域の面では不利なのですが、その代わりx16スロットが潤沢にあるのがこの世代の良いところで、2枚ともx16で接続できました。最近のコンシューマ向けマザーボードだと、2枚目はx4の帯域しかない、という場合が多いので、古いハイエンドデスクトップ向けのプラットフォーム（xeonやthreadripperなど）が余っているなら、こういう用途にはむしろ向いています。
推論の実行環境は、Ollama本家にVulkanバックエンドという組み合わせです。IntelのGPUでLLMを動かす場合、以前はipex-llmが定番だったのですが、こちらは2026年1月にアーカイブされてしまいましたので、今から選ぶ理由はありません。Vulkanバックエンドであれば、GPUが2枚あればOllama側が自動的にレイヤーを振り分けてくれますので、こちらで明示的に設定する項目はほとんどありません。
強いて注意点を挙げるなら電源です。TBPが225Wのカードを2枚ですので、GPUだけで450W。ここにCPUとその他を足しますので、電源容量には余裕を持たせておく必要があります。あとはスロット間隔で、2枚のカードが密着すると1枚目の温度が上がりますので、可能なら1スロット空けて挿したいところです。
性能・ベンチマーク
実際にどのくらい動くのか、Qwen3.8 27Bを使って、生成速度を測ってみました。
利用したコマンドは以下となります。
ollama run qwen3.8:27b-q4_K_M --verbose "日本の四季について、1000文字以上で詳しく説明してください。"比較対象は、仕事用PCに載せているRTX PRO 4500 Blackwellです。
| 項目 | Arc A770×2 | RTX PRO 4500 Blackwell | 差 |
|---|---|---|---|
| 回答生成速度 | 8.55 tokens/s | 38.82 tokens/s | 約4.54倍 |
| 1トークンあたりの生成時間 | 117ms | 25.8ms | 約1/4.5 |
| プロンプト処理速度 | 61.47 tokens/s | 182.09 tokens/s | 約2.96倍 |
| 生成トークン数 | 1,075 | 1,447 | ― |
生成トークン数が揃っていませんので、そのままでは比較しづらいのですが、RTX側は1,447トークンという多い方の出力を約37秒で終えています。同じ1,075トークンに換算すると、こうなります。
- Arc A770×2：約125.7秒
- RTX PRO 4500 Blackwell：約27.7秒
2分かかるか、30秒足らずで終わるか。
この差は、実際に画面の前で待っているとかなりはっきり感じます。
ただし、この比較はフェアではありません。A770側はCore i7-5930Kの2014年世代のマシンで、PCIeもGen3です。対するRTX側はCore Ultra 7 265Kですので、CPUもプラットフォームもまるで違います。GPU単体の性能差だけを取り出した数字ではない、という点は割り引いて見てください。
それでも、おおよそこれくらいの差がある、という目安にはなるかと思います。
速さよりもロマン
数字を見ていただければ分かる通り、速度的にはほぼメリットはありません。
GPUを2枚にしたからといって、速度が2倍になることはありません。1つのモデルを2枚のカードに分割して載せている場合、レイヤーの境目を越えるたびにカード間でデータをやり取りすることになります。NVIDIAのNV-Linkのような専用の高速な接続があれば話は別なのですが、A770にそんなものはありませんので、この通信はすべてPCIe経由、しかもX99なのでGen3です。
つまり、2枚挿しの本質は「速くするため」ではなく「大きなモデルを載せるため」です。載らなかったモデルが載るようになる、それだけの構成だと考えた方が実態に合っています。実際、VRAM 32GBを1枚で積んだカードが手に入るのであれば、そちらの方が確実に速いはずです。
消費電力も素直に増えます。TBP 225Wが2枚ですので、高負荷時はGPUだけで450Wを見込むことになります。アイドル時も1枚の時は98Wでしたが、2枚構成にすると145Wくらいまで増えました。
もうひとつ、これはIntel GPU全般の話ですが、CUDA前提のツールがそのままでは動きません。生成AI界隈のソフトウェアは、良くも悪くもCUDAを前提に書かれているものが大半ですので、公開されている手順通りにすれば動くわけではありません。今回のようにOllamaで推論を回すだけであればVulkanバックエンドで完結しますが、例えばMiniMax H3のワークフローを使おうとした場合、CUDA専用のフローは別のフローに置き換えるか、機能を省略する必要があります。
CUDA前提となっているものが使えない。この点を許容できるかどうかが、A770を選ぶかどうかの分かれ目になると思います。
それでも使い道はある
では、この構成で何をするのか。
まず、27BクラスのモデルをVRAMに常駐させて使う、という素直な使い方はできます。できますが、上に書いた通り速度は正直遅めです。使えないことはない、という程度で、RTX PRO 4500 Blackwellが別にある環境では、あえてこちらを使う理由はあまりありません。
面白いのはもうひとつの使い方で、複数のLLMモデルを同時にVRAMへ常駐させておく、という運用です。
複数のLLMを使った合議制のAI botを作っているのですが、この用途ではVRAMの総量がそのまま「同時に待機させておけるモデルの数」になります。7Bから14Bクラスのモデルであれば、32GBあれば性格の違うモデルを何本か並べて常駐させられます。モデルを切り替えるたびにロードし直す必要がないというのは、この手の用途では効きます。
1つの大きなモデルを速く回すのではなく、そこそこのモデルを何本も並べて置いておく。カード間の通信が発生しない分、この使い方の方がA770の2枚挿しには向いています。それぞれのモデルが片方のカードに完全に載りますので、PCIe経由の転送というボトルネックを踏まずに済むためです。
ロマン8割、実用2割
Arc A770の2枚挿しは、実用性を考えるとお勧めしづらいです。速度はRTX PRO 4500 Blackwellの4分の1程度ですし、消費電力は450Wに達しますし、CUDAのエコシステムからも外れます。費用対効果が重要な場合はまず勧められません。
一方で、8万円台でVRAM 32GBが実現できるというのは魅力です。この価格でこの容量を確保できる構成は、現状ほかにあまり見当たりません。27Bクラスのモデルが載る、複数のモデルを並べて常駐させられる。この2点に価値を見出せるのであれば、投資としては魅力的だと思います。
そして何より、古いX99マシンにマイナーなGPUを2枚挿して、Ubuntu Serverでヘッドレス運用する。目的よりもハードウェアをいじり倒して遊ぶこと自体が楽しいというのが、正直なところ一番大きい部分かもしれません。ロマンが8割、実用が2割。そういう構成です。
ローカルLLMのVRAMをどう確保するかで悩んでいて、なおかつ多少の手間を面白がれる方であれば、中古のArc A770を2枚という選択は、意外と現実的な答えのひとつになるかと思います。
なお、X99プラットフォームでA770を使う場合、BIOSを改造してReSizable BARを有効にすることをお勧めします。詳細は以下の記事をご確認ください。
コメント