Welke hardware om een AI-model te trainen voor max. €1.000?

[jeroeningen]

Mijn vraag
Welke hardware raden jullie aan voor maximaal ongeveer €1.000 om een AI-model te trainen? Ik ben benieuwd of jullie ideeën hebben die ik nog niet overwogen heb!

Situatie
Ik werk met Python en gebruik XGBoost om beurskoersen te voorspellen.
Laten we AUB niet de discussie voeren of dit ooit winstgevend wordt.

Het is een hobbyproject waar ik graag wat geld in wil steken, omdat ik het leuk vind.
Momenteel gebruik ik een MacBook M3 Pro. Deze is snel genoeg, maar onpraktisch, omdat ik die ook voor mijn werk gebruik. Ik kan niet makkelijk uitleggen aan een klant waarom mijn MacBook vier dagen vaststaat voor een hobbyproject.

Ik zoek dus hardware die geschikt is om AI-modellen te trainen. Het apparaat moet compact genoeg zijn voor in de woonkamer, zonder dat het veel herrie maakt of veel ruimte inneemt.

Wat ik al overwogen of geprobeerd heb:

- NVIDIA Jetson
Betaalbaar, energiezuinig en compact.
Waarschijnlijk trager dan mijn huidige MacBook M3 Pro.

- Mac Mini M4
Vergelijkbare kosten als de Jetson, maar vermoedelijk een stuk sneller.

- PC met snelle GPU
Dit wordt waarschijnlijk te duur (boven mijn budget van €1.000).
Een echt goede GPU voor AI-trainingen zou me richting €2.500 duwen, wat ik te veel vind.

- Intel NUC
Compact en stil, maar Intel presteert minder goed voor AI-toepassingen.
Mac Mini lijkt dan een logischere keuze.

- Clouddiensten
AWS, Google Colab, etc. zijn duur, zeker als je vaker traint. Daarom geen optie.

Ik ben benieuwd of jullie aanvullende suggesties of inzichten hebben! Wat zou in mijn situatie de beste keuze zijn?

[steveman]

Als het werkte was die 2500 een prikkie, achteraf gezien

Maar je hoeft denk ik niet per se een gigantisch dure videokaart te hebben. Ik weet niet hoe groot het beoogde model is dat je gaat trainen, maar zodra die past in het geheugen, met een gunstige batch-grootte, ben je er in principe al. Trainen duurt wel langer op een 1080 dan een 4060.

Met m'n 3080 heb ik bijvoorbeeld prima een YOLOv8X kunnen trainen, zij het met een batch van maar 4 afbeeldingen of zo.

[jeroeningen]

steveman schreef op vrijdag 3 januari 2025 @ 14:49:
Als het werkte was die 2500 een prikkie, achteraf gezien

Maar je hoeft denk ik niet per se een gigantisch dure videokaart te hebben. Ik weet niet hoe groot het beoogde model is dat je gaat trainen, maar zodra die past in het geheugen, met een gunstige batch-grootte, ben je er in principe al. Trainen duurt wel langer op een 1080 dan een 4060.

Met m'n 3080 heb ik bijvoorbeeld prima een YOLOv8X kunnen trainen, zij het met een batch van maar 4 afbeeldingen of zo.

Dank voor je uitleg over GPU’s en het trainen van modellen! Ik begrijp dat de prestaties sterk afhangen van de GPU en de batchgrootte. Gezien mijn budget van €1.000 en het feit dat het apparaat in mijn woonkamer moet staan (dus compact en stil moet zijn), ben ik benieuwd welke hardware jij in mijn situatie zou aanraden. Heb je specifieke suggesties die hierbij passen?

[Navi]

Een gebruikte GeForce RTX3090 heeft 24GB VRAM, kost zo'n 650/700 euro, en is denk ik het snelste wat je kunt krijgen voor dat bedrag, moet er nog wel een PC omheen natuurlijk..

Prijs zal misschien nog iets zakken over een maandje als de 50 serie uit is.

[ Voor 29% gewijzigd door Navi op 14-01-2025 14:09 ]