先日、余っていたX99プラットフォームを再利用して、Intel Arc A770 16GBを搭載したローカルLLMサーバーを構築しました。
Arc A770は4万円前後という中古価格の割にVRAM 16GBと容量が大きく、メモリ帯域も560GB／秒と高速な、LLMで使うにはかなり面白いGPUなのですが、しばらく使っているとやはり16GBというVRAM容量が気になってきました。
で、気づいたら、Tesla V100 32GBを買っておりました。
少し前まで「今さらV100に15万円出すくらいならやめておけ」と思っていたのですが、一度は触ってみたいなぁ…と。
今回はX99 LLMサーバーのGPUをArc A770からNVIDIA Tesla V100 32GBへ変更し、Ollamaでどの程度の性能が出るのか試してみます。
Arc A770からTesla V100へ交換した理由
一番大きな理由は、やはりVRAMの容量です。Arc A770は16GBなので、モデル本体に加えてKV Cacheなども考えると、余裕を持って使えるGGUFモデルは10GB前後までが現実的なところ。
A770を2枚搭載すればVRAMは物理的には16GB＋16GB＝32GBになりますが、1枚の32GB GPUとして単純に扱えるわけではなく、2枚のGPUを跨ぐとトークン生成速度が一気に低下するのはA770のレビューで記載した通りです。
ですので、「20GB前後のモデルを気軽にGPUへ丸ごと載せたい」という用途では、やはりVRAM 32GBを1枚持っているGPUの方が圧倒的に楽です。
とはいえ、VRAM 32GBのビデオカードは高騰しまくりなので買えません。
そこで候補になったのがTesla V100 32GBでした。V100は古いGPUではありますが、
- VRAM 32GB
- HBM2による900GB／秒のメモリ帯域（今でも爆速）
- NVIDIAなのでCUDAが使える
- PCI Express 3.0世代なのでX99との相性も良い
という、ローカルLLM用途で遊ぶには面白いスペックを持っています。
Tesla V100とは
Tesla V100は、NVIDIAが2017年に投入したVoltaアーキテクチャのデータセンター向けGPUです。
現在のGeForceやRTX PROとは用途が異なり、HPC、機械学習、ディープラーニングなどの計算処理を目的とした製品となります。
主なスペックは以下の通りです。
| 項目 | Tesla V100 |
|---|---|
| GPUアーキテクチャ | Volta |
| CUDA Compute Capability | 7.0 |
| CUDAコア | 5,120 |
| Tensor Core | 640 |
| VRAM | 16GB／32GB HBM2 |
| メモリ帯域 | 900GB／秒 |
| PCIe版最大消費電力 | 250W |
| SXM2版最大消費電力 | 300W |
| PCIe | PCI Express 3.0 |
| 映像出力 | なし |
さすがに2026年現在のGPUと演算性能だけを比較すれば古さは隠せませんが、LLMの推論ではモデルをVRAMへ載せた後のトークン生成はメモリ帯域の影響もかなり大きいので、900GB／秒というHBM2の帯域は現在でも強力です。
ちなみにArc A770は560GB／秒なので、カタログスペック上のメモリ帯域だけで比較すると、V100は約1.6倍あります。さすがはエンタープライズ向け製品…
SXM2・PCIe変換基板搭載品を購入
Tesla V100 PCIe 32GBには、SXM2版とPCIe版の2つのモデルがあります。SXM2版V100は本来、NVIDIA DGXなど専用サーバーで使用するためのモジュールですので、そのまま一般的なPCには搭載出来ません。
今回購入したのは、Tesla V100 SXM2 32GBをPCI Expressカードとして使用できる変換基板に載せ、さらにブロワーファンを取り付けたものです。さすが中国、とでも言いますか、この手の変換アダプタはAliExpressで様々なタイプが販売されています。中には1枚のカードに2基のSXM2を載せられるものも。
SXM2版とPCIe版ではスペックも若干異なっており、純正仕様ではPCIe版が最大250Wなのに対し、SXM2版は最大300Wです。FP32性能もPCIe版の14TFLOPSに対してSXM2版では15.7TFLOPSと、若干高くなっています。
Tesla V100を自作PCで使うなら冷却に注意
Tesla系GPUを買う際、非常に重要なのが冷却です。今回はブロアーファンを採用したクーラーが取りつけられていますので、冷却には問題は無さそうです。
気をつける必要があるのは、NVIDIA純正のPCIe版のV100はパッシブ冷却ということです。ラックマウントサーバー内部の猛烈な前後方向の風で冷却することを前提としているため、そのまま一般的な自作PCケースへ取り付けて使うには、別途ファンを取りつける必要があります。
ファン無しで使うとおそらく確実に壊れます。
今回購入したものは、SXM2→PCIe変換基板に加えてブロワーファンが取り付けられています。V100を中古で探す場合、PCIe版のパッシブクーラーの方が数万円安価ですが、別途ファンを取りつける必要があることを考えると、クーラー搭載品を購入した方が良いと思います。
なお、SXM2用のブロアーファン搭載変換アダプタ、かなりの種類が販売されていますが、見た感じファンの速度を制御しているものと、制御していないものが混在しているように見受けられます。
ファンの制御がないと爆音をまき散らすと思いますので、そのあたりも購入時には注意した方が良いと思います。
私が購入した個体ですが、SXM2モジュールの裏側にサーマルセンサーが接触するように取りつけられています。このセンサーによってファンの速度が制御されており、アイドル時はほぼ気にならないレベルです。ただし、全力での推論中はファンも全開になるのでかなり五月蠅いです。
とはいえ、常時全開よりは遙かにマシなので良しとしましょう。
Tesla V100のメリット・デメリット
2026年現在、V100をLLM用途で使うメリットはVRAM容量とHBM2による900GB／秒というメモリ帯域、まだ手が届くギリギリの価格（10～15万円）といったところ。
そしてIntel ArcやAMD Radeonと比較した際の最大の違いが、CUDAが使えること。これはデカいです。Arc A770でLLM環境を作った際はIntel GPU対応、Vulkan、SYCL、llama.cppのビルドなどちょっと複雑な構築が必要になります。（といってもAIで一発ですが）
V100なら古いとはいえNVIDIA GPUなので、CUDAを前提とした情報が大量に公開されており、問題が起きてもClaude CodeやCodexへ、「Tesla V100で動く環境にして」と頼めば、既存のCUDA関連情報を基にかなりの部分を処理してもらえます。
CLIでAIエージェントを使えるようになったことで、「Linux＋古いCUDA GPU」のハードルは昔より劇的に下がったと感じます。
もちろん弱点もあり、最大の問題は古い。とにかく古い、ということに尽きます。
Voltaは既にNVIDIAにとってレガシーアーキテクチャです。最近のGPUで利用できるBF16、TF32、FP8などの新しい演算形式・機能にも対応していませんし、今後登場するAIソフトウェアがいつまでVoltaをサポートしてくれるかも不明。
また、映像出力もありません。Tesla V100は完全に計算用GPUなので、通常のGeForceの代わりにはなりません。別途ビデオカードが必要になります。
SXM2版は最大消費電力300Wと、決して省電力ではありません。（ただ、A770×2枚よりはエコ）
ちなみに、ビデオカードですがGT1030を購入し、空冷ファンを外してファンレスで運用しています。ケースの風が当たるのと、UbuntuのCLIのみの利用なので、発熱はほぼありません。
GT1030を選んだ理由はV100と世代が似ているので、R580のドライバでGT1030とV100を同時にサポートできるという点です。
そして、現在もっとも注意すべきなのがCUDAのサポートでしょう。
Tesla V100はCUDA 13でサポートから外れたので注意
Tesla V100のCompute Capabilityは7.0です。
NVIDIAはCUDA Toolkit 13.0で、Maxwell、Pascal、Voltaに対するオフラインコンパイルとCUDAライブラリのサポートを削除しました。つまり、Voltaを正式にターゲットとしてビルドできるCUDA Toolkitは12.x系列が最後となります。
さらに、NVIDIAの現在のサポートマトリクスでは、Voltaの最終GPUドライバ系列はR580となっており、サポート終了予定は2028年6月です。
つまり、2026年現在では「V100はまだ戦える。しかしサポート終了が既に見えているGPU」という立ち位置となります。
個人的には、今がV100を買えるギリギリのタイミングかな、と思っています。
Ollamaなど主要なソフトウェアでもまだV100が対応GPUとして掲載されており、Ollamaの現在のGPU対応表にもCompute Capability 7.0としてV100が明記されています。
しかし、2～3年後も同じかと言われると、まったく保証はありません。
OllamaのセットアップはAIに丸投げでOK
Arc A770環境を作ったときと同様、今回も環境構築は基本的にAIへ任せました。AI便利すぎ。
Claude CodeないしCodex cliを立ち上げて、
Tesla V100 32GBにビデオカードを交換しました。Volta対応の最終ドライバ系列がR580、CUDA Toolkitは12.xまでであることを考慮して、OllamaをGPUで動作するようにセットアップして、バージョンを固定してください。
nvidia-smiでGPUを確認し、Ollama起動後にGPUへモデルがロードされ、実際に動作することまで確認してください。
くらいの緩い指示で実装してもらえます。
自前でllama.cppをCUDA向けにビルドする場合などにはToolkitが必要になりますが、Ollamaを使うだけであれば、まずNVIDIAドライバがV100を正常に認識している状態を作り、Ollamaを導入して動作確認する方がシンプルです。
動作する環境ができたら、GPUドライバやOllamaを何も考えず最新版へ上げ続けるのは避け、正常動作しているバージョンで固定しておくことをお勧めします。
実際、2026年6月にはOllama 0.30.5とV100の組み合わせでCUDAエラーが発生した報告もあります。古いアーキテクチャでは、こうしたバージョン依存の問題が今後増えていく可能性があります。
OllamaでのLLM推論速度比較
今回はQwen3.8 27BのQ4_K_Mモデルを使い、RTX PRO 4500 Blackwellと比較してみました。
【注意】
構成パーツが異なるPCでの検証結果となりますので、ご注意ください。
TESLA V100 32GB：Xeon E5-2698V4/X99/32GB DDR4
ARC A770 16GB ×2：Xeon E5-2698V4/X99/32GB DDR4
RTX PRO 4500 Blackwell：Core Ultra 7 265K/Z890/192GB DDR5
実行したコマンドは以下となります。
ollama run qwen3.8:27b-q4_K_M --verbose "日本の四季について、1000文字以上で詳しく説明してください。"結果は以下の通り。
total duration: 41.448537867s
load duration: 1.768018ms
prompt eval count: 25 token(s)
prompt eval duration: 246.049ms
prompt eval rate: 101.61 tokens/s
eval count: 1414 token(s)
eval duration: 40.914552s
eval rate: 34.56 tokens/s34.56トークン／秒。予想以上に速いです。
正直なところ、エンタープライズ向けとは言え、2017年世代のGPUなのでもっと遅いと思っていました。文章生成用途なら10～20トークン／秒程度でも十分使えますので、34.56トークン／秒ならまったく問題ありません。
以前同じモデルをArc A770×2で動かした際は8.55トークン／秒でした。今回のV100 32GBは34.56トークン／秒なので、単純比較では約4倍です。
メインPCのRTX PRO 4500 Blackwellでは40.42トークン／秒でした。RTX PRO 4500 BlackwellとはCPUやOSなど環境が異なるため完全な比較ではありませが、9年近く前のV100が今回のLLM推論ではRTX PRO 4500 Blackwellの約9割弱の生成速度を出しているのは驚きました。
この結果を見て、最新GPUとV100が同等性能ということではありません。使用するモデル、量子化方式、CUDAカーネル、コンテキスト長などによって結果は大きく変わります。とはいえ、「古いからLLMには遅すぎて使えない」というレベルではありません。
HBM2の900GB／秒という広いメモリ帯域がLLM推論では効いているものと思われます。
Stable Diffusionでの生成速度比較
せっかくなのでStable Diffusionでも画像生成速度を比較してみました。
1152×896、20Stepで生成→40Stepで1.8倍アップスケール→顔と手をADetailerでアップスケールというフローなので、1枚あたりの生成時間はかなり長めです。
同じ条件で画像を5枚生成した際の所要時間は以下の通りです。
【注意】
構成パーツが異なるPCでの検証結果となりますので、ご注意ください。
TESLA V100 32GB：Xeon E5-2698V4/X99/32GB DDR4
RTX 5080：Ryzen 7 5800X/B550/80GB DDR4
RTX PRO 4500 Blackwell：Core Ultra 7 265K/Z890/192GB DDR5
ここではTesla V100が6分08秒、RTX PRO 4500 Blackwellが2分37秒、RTX 5080が3分03秒となりました。LLMでは思った以上に健闘していたTesla V100ですが、RTX PRO 4500 Blackwellに対して約2.3倍、RTX 5080に対して約2倍の時間がかかっています。
LLMのテキスト生成ではQwen 27Bで34.56 tok/sを記録し、RTX PRO 4500 Blackwellにかなり近い結果が出ていましたが、Stable Diffusionでは明確な差がつく結果となりました。
LLMのトークン生成は、大規模なモデルの重みをVRAMから読み出し続ける処理が多いため、V100が持つ900GB/sのHBM2メモリ帯域が絶大な効果を発揮します。
一方、Stable Diffusionの画像生成ではGPUそのものの演算性能やTensor Core、低精度演算への対応など、GPUアーキテクチャの新しさが効きやすくなります。この部分では、さすがに2017年登場のVoltaと、最新世代のBlackwellでは明確な差がある、ということかと思われます。
LLMではまだ十分に速いけど、Stable DiffusionやMiniMax H3ではさすがに古い。そんな立ち位置の製品かと思います。
今回はLLM用途なので十分な性能です。
VRAM 32GBが1枚に載っているのはやはり便利
実際に交換して一番ありがたいのは、34.56トークン／秒という速度以上に、32GBのVRAMを1枚のGPUとして使えること。16GBだと、「モデル本体は入りそうだけどKV Cacheまで含めると厳しい」「コンテキストを増やしたらVRAMが足りない」などの問題があります。
32GBあれば20GB級のモデルでもかなり余裕がありますので、細かいことを考えなくて済みます。
ローカルLLMの場合、GPUのピーク演算性能以上に「使いたいモデルがVRAMへ入るか」という問題が大きいため、V100は32GBというVRAMに価値があります。（ですので、16GBモデルはかなり安価）
Tesla V100は2026年ならまだアリ。ただし長く使うGPUではない
Tesla V100 32GBを実際に使ってみた結論としては、2026年現在なら、用途を理解して買うのであればまだ十分使えるGPU、ということです。特に、Linuxを使ってLLM専用PCを組む場合には、まだまだ実用的な性能を発揮してくれますので、32GBのVRAM搭載のビデオカードが10～15万円で購入できるというのは魅力的な選択肢かと思います。
とはいえ、レガシーな製品ですし、今後サポートも終了していくことは見えてますので、長く使うためのGPUではなく、安く手に入る32GB VRAMを今使い倒すためのGPU、という立ち位置の製品です。
Arc A770も面白いGPUでしたが、LLMサーバーとして見ると、やはり32GBの単一VRAMとCUDA環境は強力です。何よりQwen 27Bが34.56トークン／秒で動くなら、我が家の用途には十分すぎる性能です。
2014年のX99マザーボードに、2017年世代のTesla V100。相変わらず最新とは程遠いAIサーバーですが、古い機材でも、組み合わせ次第ではまだまだ遊べそうです。
コメント