ローカルLLM用のGPUとして、Tesla V100 SXM2 32GBはすっかり定番になった感があります。もちろんレガシーのハードウェアで、CUDA 13系ではサポートが外れているのも確か。とはいえ、ユーザーも多く、V100に特化したビルドも登場し、しばらくの間はマニアの間で活発な開発は引き続き続くと思いますし、あと数年は使い倒せるGPUだと思います。
ただ、このV100 SXM2、性能や価格とは別のところに大きな弱点があります。
それは、騒音です。
SXM2は本来サーバー専用のモジュール形状ですので、普通のPCで使うには変換カードに載せる必要があります。この変換カードの多くはブロアーファン、いわゆるシロッコファンで冷やす構造になっていいるのですが、これが高負荷時にとんでもない音を出します。感覚的にはドライヤーと同じくらいで、部屋に置いておくと離陸（！）しそうな勢いです。
そんな中、最近になって増えてきたのが、GeForce RTX 4090や5090のクーラーをそのまま載せたV100 SXM2カードです。今回はPNYのRTX 4090 VERTOのクーラーを搭載したものを購入してみましたので、静音性や冷却、そして「クソ馬鹿でかい」サイズも含めてレビューしてみたいと思います。
デカいは正義！静かだ！
というわけで、まずはRTX 4090クーラー搭載V100の結論から。
メリット
- 静か。ケースに入れてしまえば、一般的なハイエンドビデオカードと変わらない騒音レベル
- 高負荷時のGPU温度が60℃台に収まる。ブロアー式とは冷却能力が段違い
- V100 SXM2 32GBの性能はそのままに、騒音の問題だけを解決できる
- 4090のクーラーは450Wを冷やす設計なので、300WのV100には余裕がある
デメリット
- とにかく大きい。長さ約337mm、幅約143mmに加えて、厚みは実質4スロット分
- ケースとマザーボードのスロット配置をかなり選ぶ。2枚挿し、3枚挿しは現実的ではない
- 映像出力の穴はあるが、当然ながら中身はない（V100は映像出力を持たない）
- NVIDIAの正規製品ではないので、品質のばらつきやサポートは覚悟が必要
- 価格がPCIe版V100やブロアーファン採用のSXM2変換カードよりも割高
V100 SXM2変換カードとブロアーファンの騒音
まず、V100 SXM2の基本的な仕様をおさらいしておきます。
| 項目 | Tesla V100 SXM2 32GB |
|---|---|
| GPU | GV100（Volta世代） |
| CUDAコア数 | 5,120 |
| Tensorコア数 | 640 |
| VRAM | 32GB HBM2 |
| メモリ帯域 | 900GB/s |
| TDP | 300W |
| Compute Capability | 7.0 |
| 発売時期 | 2017年（32GB版は2018年） |
2017年のGPUですので世代としてはかなり古いのですが、900GB/sというメモリ帯域は今でも立派な数字です。LLMの推論はメモリ帯域が効く処理ですので、VRAM 32GBと合わせて、ローカルLLM用途では今でも十分に戦えます。
問題はSXM2という形状です。SXM2は本来、DGXのような専用サーバーのマザーボードに直接載せるモジュールで、PCIeスロットには挿さりません。普通のPCで使うには、SXM2モジュールを載せてPCIe x16のカードに仕立てる「変換カード」が必要になります。この変換カードは中国の通販などで色々な種類が流通していて、以前の記事で使ったデュアルV100カードもこの一種です。
変換カードの多くはブロアーファンで冷やす構造になっています。カードの端に付いた1個のブロアーファンで空気を吸い込み、細長いヒートシンクの中を通してブラケット側から吐き出す方式です。
このブロアー式、サーバーのようにストレートに風を送ることで熱をケース外に放出するという点では理にかなっているのですが、300WのGPUを小径のファン1個と名刺の1.5倍程度の小さなヒートシンクで冷やすわけですから、負荷がかかると回転数が一気に上がります。
その音はドライヤー並みで、LLMに長文を生成させている間ずっと、隣で何かが離陸しようとしているようなゴォォォォーーー！という音を聞き続けることになります。
深夜に推論を回すような使い方だと、これは正直かなりつらいと思います。
V100 SXM2の最大の弱点は、性能でも価格でもなく、この騒音のような気がします。
でも、慣れればあまり気にならなくなります。慣れって怖いですね…
なぜRTX 4090/5090のクーラーを載せたV100が増えているのか
ここ最近、通販サイトでRTX 4090や5090のクーラーを載せたV100 SXM2カードがやたらと目に付くようになりました。
中国では、市販のRTX 4090や5090を分解して、GPUチップとVRAMを基板から取り外し、サーバー向けに設計された独自の基板に載せ替える、という商売が大々的に行われています。VRAMを倍に増やした「4090 48GB」や、ブロアーファンの2スロット厚に仕立て直した「5090 Turbo」といったカードがAI用途向けに大量に作られています。
ここで余るのが、元のカードのクーラーと基板です。チップとVRAMだけを取り外された3連ファンのクーラーやバックプレートは、新品同様の状態で大量に余りますので、これらが投げ売り状態で市場に出回っています。
そこで、その余った4090/5090のクーラーをV100 SXM2の変換基板に載せてしまおう、というのが今回のカードです。450Wの4090を冷やすために設計されたクーラーを300WのV100に流用するわけですから、冷却能力には余裕があります。しかもクーラーは新品状態で取り外された投げ売り品ですので、安価に、かつ冷却能力の高い変換カードが作れる。ブロアー式の騒音に悩まされてきた側からすると、非常に理にかなった流用だと思います。
今回購入したカードは、SXM2モジュールを載せるための専用の変換基板に、4090のクーラーがボルトオンで載るように、クーラーの取り付け穴の位置を4090の基板に合わせて設計してありました。
今回購入したカード
今回購入したのは、PNYのGeForce RTX 4090 24GB VERTO Triple Fanのクーラーを搭載したV100 SXM2 32GBです。購入先はeBayで、価格は14万円弱でした。
NVIDIA Tesla V100 32GB GPU SXM2 + PCIE Adapter
今は購入時より値上がり、$999となっているようです。
外観はどこからどう見てもPNYのRTX 4090です。3連ファンのシュラウド、ブラッシュ仕上げのバックプレート、側面の光る「PNY」ロゴと「GEFORCE RTX」の文字まで、そのまま付いています。
上面を見ると、4090にはない部品がいくつか並んでいます。赤い4連のDIPスイッチ、ファン用の小さなコネクタ、そして補助電源コネクタ。補助電源は4090の12VHPWR（16ピン）ではなく、一般的なPCIe 8ピン×2本になっています。
PNYの4090用のブラケットがそのまま使われているので、HDMIとDisplayPortの穴が開いています。ただし、V100は映像出力を持ちませんので、穴の奥にはヒートシンクのフィンが見えるだけです。
ブラケット自体は3スロット分の幅ですが、カードの厚みは後述の通りそれをはるかに超え4スロットを占有します。
ブロアー式の変換カードと並べてみると、その差は一目瞭然です。ブロアー式は2スロット厚で長さもほどほど、片や4090クーラー版は長さも厚みも一回り以上大きい。同じV100 SXM2 32GBが載っているとは思えません。
実質4スロット、とにかくデカい
このカードの最大の問題がサイズです。
元になったPNY RTX 4090 VERTO Triple Fanの寸法は、公式スペックで336.9×142.9×59.1mm、3スロット占有です。これだけでも十分に大きいのですが、V100版はさらに厚くなります。
理由は、SXM2モジュールの構造にあります。4090ではGPUチップが基板に直接載っていますが、SXM2は「GPUが載ったモジュール基板」を、さらに変換基板の上にコネクタで載せる二階建ての構造です。そのぶんGPUの天面が基板から高い位置に来て、4090のチップに比べて3～4mmほど高くなっています。クーラーが取りつけられるようにスペーサーで調整していますので、カード全体としてはその分だけ厚くなり、結果として実質4スロットを占有します。
実際にケースに組み込んでみると、その存在感はなかなかのものです。長さ337mmですので、ミドルタワーでは前面ファンと干渉するケースも多いはずです。そして4スロット分の厚みですので、カードの下にあるスロットは事実上使えません。最上段のx16スロットに挿すと、その下の3スロット分が塞がる計算になります。
以前の記事で書いたような、デュアルV100カードを2枚挿してV100を4基にする、といった使い方はこのカードでは無理です。マザーボードの一番下のスロットに何か1枚挿せれば御の字、と考えておいた方が良いと思います。1枚でVRAM 32GBを静かに使う。そういう用途のカードかと思います。
騒音と温度
では肝心の騒音です。
製造元は「45デシベル」を謳っていますが、この手の数字はどういう条件で測ったのかがはっきりしませんので、あまり真に受けない方が良いと思います。とはいえ、実際に使ってみた感覚としては、ケースに入れてしまえば一般的なハイエンドビデオカードとほぼ同じです。
負荷をかければファンの音はしますが、それは他のビデオカードでも同じことで、部屋にいて気になるレベルではありません。
ブロアー式と比べると、まったくの別物です。ブロアー式が離陸でもしようとしているのか？という騒音なのに対して、こちらは普通のビデオカードがちょっと頑張っている程度。深夜に推論を回していても気になりませんし、同じ部屋で作業や睡眠もできます。
温度も優秀で、LLMの推論で負荷をかけ続けても、GPU温度は60℃台に収まっています。450Wの4090を冷やす前提のヒートパイプとフィンに、300WのV100ですので、余裕があるのは当然と言えば当然です。ファンの速度もV100 SXM2の裏側にサーマルセンサーが取りつけてあり、温度によりコントロールされるようになっています。
温度に余裕があるということは、ファンの回転数も上がりにくいということ。3連ファンの大口径ファンをゆっくり回して300Wを冷やす方が、小径のブロアーを全開で回すよりも圧倒的に静か。単純な話ですが、これがこのカードの価値そのものです。
分解してみた
どういう構造で4090のクーラーがV100に載っているのか気になりましたので、試しに分解してみました。 （お勧めしません）
分解は簡単です。バックプレートを固定しているネジを外すと、クーラーをそのまま持ち上げて取り外せます。基板とクーラーをつないでいるのは、ファンのケーブルとLEDのケーブルだけです。
外してみると、緑色の変換基板の中央にV100 SXM2モジュールが載っているのが見えます。黒い大きなパッケージの中央にGV100のダイがあって、その周囲にHBM2のスタックが並んでいます。左右に並んでいるのは電源回路で、R21と刻印されたインダクタが片側8個ずつ、合計16個並んでいます。
クーラー側を見ると、GPUと接する銅のコールドプレートに、グリスの跡が残っています。塗り方は少々雑ですが、温度が60℃台で収まっていますので実用上は問題ありません。気になる方は高品質なグリスに塗り直しても良いと思います。
SXM2基板の分増した高さをスペーサーで調節しているだけという単純な構造なので、クーラーの取り外しや再装着は比較的簡単で、メンテナンスしやすい部類です。
購入時の注意点
ケースとスロットの確認は必須
長さ337mm、実質4スロット厚のカードです。購入前に、ケースの対応カード長と、マザーボードのスロット配置を必ず確認してください。最上段のx16スロットに挿すと、その下の3スロット分が使えなくなります。M.2スロットがビデオカードの直下にあるマザーボードでは、M.2のSSDが熱を持ちやすくなる点も考慮しておいた方が良いと思います。
電源のPCIe 8ピンの本数
補助電源はPCIe 8ピン×2本です。容量としては300W程度ですので大きな電源は必要ありませんが、他にもビデオカードを載せている場合は、8ピンの本数で引っかかることがあります。1本のケーブルから8ピンが2つ出ている分岐ケーブルは、V100のように電力を食うカードではあまりおすすめしません。
映像出力はない
ブラケットにHDMIやDisplayPortの穴が開いていますが、中身はありません。V100はそもそも映像出力を持たないGPUですので、BIOS画面の表示やCLIの操作には、別に表示用のビデオカードが必要です。CPU内蔵GPUがあればそれで十分ですし、なければGT710やGT1030のようなローエンドカードを1枚足すことになります。ただし、上に書いた通り空きスロットは限られますので、内蔵GPUのあるCPUと組み合わせるのが一番楽です。
自己責任で
4090のクーラーを載せたV100 SXM2カードは、NVIDIAの正規製品ではありません。中国の業者が余ったクーラーを流用して組んでいるものですので、品質にはばらつきがありますし、メーカーのサポートもありません。今回のカードは当たりでしたが、同じ見た目でも中身の作りは売り手によって違う可能性があります。
まとめ
V100 SXM2 32GBは、VRAM 32GBとHBM2の帯域を中古価格で手に入れられる、ローカルLLM用途では今でも魅力的なGPUです。ただ、ブロアー式の変換カードの騒音だけはどうにもならず、それが導入をためらう理由になっていた方も多いのではないかと思います。
RTX 4090のクーラーを載せたこのカードは、その騒音の問題をほぼ完全に解決可能です。ケースに入れれば普通のハイエンドビデオカード並みの音、温度は60℃台（環境によります）。中国の4090/5090改造ビジネスの副産物として余った新品クーラーを流用するという成り立ちも含めて、なかなかよくできた製品だと思います。
代償はサイズと価格です。長さ337mm、実質4スロットなのでケースとマザーボードを選びますし、複数枚を並べる用途にはまったく向きません。また、PCIe版のV100と較べると50%ほどのプレミア価格が載っています。少し高くても、1枚でVRAM 32GBを静かに使いたい。そういう方にはおすすめできるカードだと思います。
コメント