個人で4GPU搭載できるワークステーションを用意した話し

AIを触っていておそらく普通の開発者？の方はGPUが2個までだと思うのです。

ですが2個だとA100 80GBを2個積んでいるような方ではない限り主にVRAMで制限が来て開発できる範囲が狭まってしまう問題があります。私も2個でやっていましたが限界を感じたので思い切って導入しました。

結論から言うと勿論アリです。がメリットを感じられる方は限定的ですね。

また、お金が最低50万くらい予算ないと読んでもつまらないと思います。お金を貯めましょう。

☆スペック☆

52コア104スレッド RAM128GB 1500W GPUは普通のもので4個積めるワークステーションです。

ヤフオクで素体を購入してGPUは別途購入して刺してます。画像の通り比較的GPU足すだけなら動かしやすいです。

BOXX APEXX D5という機種で出している方がいますのでご検討。

RAMとかCPUはお好みではあると思いますがコアは多いほうが良いと思います。データセットの前処理で50万件とか処理してると萎えます。

CPU処理じゃないけど文字起こしデータセット作っていた時は2GPUで分散して3日ぐらいフルで拘束時間を取られました。

☆できること☆

これまでもRTX8000で48GBで回してたのですが96GBになると楽になりました。

こうしている間も7Bモデルを7000文字くらいの自作データセットで学習させてるのですが48GBだと5000文字で1batchが2枚だと7000文字くらいで6batchは溢れず動かせてます。Vram多いと便利ですね。Loraなのでフルパラだとあふれるとは思いますが。

あとはhunyanなどのLoraも気軽に・・・とは言えないけどやりやすくはなったんじゃないかなあと。

現在RTX8000 *2ですがもう2枚足せばローカルでVram192GB！とはいえRTX8000の速度は遅いのでA6000よりも5090刺したい気もしてます。

とりあえず実際そこそこまともな性能のモデルのサイズに対応できる(推論ではなくて学習できるライン)のは便利です

導入するに当たってめんどくさいこととか

おそらく自作しようとするとケースと電源が問題になります。マザボもだけど。

まず2GPUから上げるとなるとサーバー機か型落ちの中古ワークステーションしかないです。結論から言うとどちらも売ってないのですがまだ型落ちワークステーションのほうがいいと思います。独自仕様を調べるのが大変なので。

中古で揃える場合ケースがまず中古で良いのがなく、新品はバカみたいな値段しかないのでめんどくさいです。

電源は1500Wが最低だと思います。あと8pinソケットが10個ないと無理です。できたら14個ぐらいのもの出してほしいぐらいですが多分ないです。うちのは10個です。コンシューマーの3090とか4090積んだらfounderモデルでもワットは食べるので4個積めません。クアドロかA6000かA5500などのサーバー用で揃えるのを覚悟してください。高いです。

マザーボードも16スロットで4個とかついているのがスーパーマイクロのやつかWS仕様のものしかないです。中古で5万とかで落ちてますがCPUとかも勿論限定されるのでめんどくさいです。

パーツを1からそろえると中古ワークステーション買いより高くつく謎の状況なので、中古ワークステーション買いがおすすめです。

また、さっき書いたとおり素体も売ってないです。もちろんワークステーションと言いながら2GPU(4スロ)はありますが買う意味を感じません。4GPU(8スロ)つけられないならワークステーションと書かないでほしいですね。

おすすめもクソもないのですが4GPUつけられる型落ちだとBOXX社の型落ちかDELLの一部の型落ちぐらいしかないと思います。新品だと150万ぐらいあれば買えるようです。多分買える人は読んでいないはずなのですが買えるならおすすめです。一応監視してれば10万~高くても30万あれば4GPUの素体は買えます。

また、VGA対応モニターとケーブルもセットで買うことをおすすめします。スーパーマイクロのマザボがイケてないのでオンボードBIOSで入ることになると思います。