Mooi spul. Een 5090 is maar $0,89/uur. Dat is best goedkoop als je maar af en toe wat doet. Maar je moet dus wel elke keer toch je eigen VM opzetten? Ik bedoel data en ComfyUI enzo installeren? Dat is me nog niet helemaal duidelijk.The-Source schreef op zaterdag 9 augustus 2025 @ 11:25:
@Mars Warrior met 16GB VRAM is het meeste wel lokaal te draaien alleen zal je soms wel quantized models moeten kiezen. Waar je met 24GB VRAM vaak nog wel weg kan komen zal je met 16GB vaker een iets kleiner model moeten kiezen. En als een Q8 model bijvoorbeeld wel past dan ga je echt niet veel inleveren op kwaliteit.
Wil je consistent output hebben met technieken die je zelf heb geleerd dan zal je toch of zelf meten hosten. Of wellicht als je het maar af en toe gebruikt kunnen kijken naar https://www.runpod.io/pricing hier kan je per uur een "VM" huren met nvidia gpu naar keuze. En ja zelf een H200 is mogelijk
Volgens mij maken sommige Civitai gebruikers ook hiervan gebruik om Loras te trainen. Kost dan maar een tiental dollars. Daar kan geen thuisconfiguratie tegenop natuurlijk. Alleen als je er veel gebruik van maakt dan wordt het erg duur. Dan kost een 5090 VM huren op jaarbasis een stuk meer dan dat je een 5090 koopt.
Mijn 4060 Ti 16GB kan inderdaad goed met Q8 en fp8 versies omgaan: dat past allemaal mooi. Meer performance en VRAM zou wel mooi zijn, zeker met de nieuwere modellen: die vragen toch wel wat meer. Ook als ik grotere plaatjes wil maken dan wordt alles enorm traag door het tekort aan VRAM: de driver schakelt dan gedeeld VRAM erbij, wat natuurlijk niet echt snel is.
Ben dus benieuwd naar de 24GB varianten van de 5070 Ti die eind dit jaar zouden komen. Zal wel flink aan de prijs zijn, maar wel een heel stuk sneller dan mijn 4060 Ti 16GB.
De meeste LLM's en plaatjes generatoren gaan nu vaak uit van varianten voor 16GB. Als er meer kaarten met 24GB komen zullen er ook hopelijk versies komen die daarop getuned zijn. Dus ook meer parameters.
Material 3 Thema's voor HA | Swiss Army Knife custom card voor HA | AmoebeLabs



:gifsicle():strip_exif()/f/image/XWMXlHvtRIyG46f1ohdsejl5.gif?f=user_large)
:gifsicle():strip_exif()/f/image/OfmERczoq0bzb0XzkfuODEcG.gif?f=user_large)
:gifsicle():strip_exif()/f/image/pGh2Y6e9dCm8nFx5JOlPxYC2.gif?f=user_large)

:strip_exif()/f/image/iUztEqt1QvtdEtOoZj91r2cz.jpg?f=fotoalbum_large)
:strip_exif()/f/image/cHFAwRUryYMhQaBKdWkBJAFK.jpg?f=fotoalbum_large)
:strip_exif()/f/image/JroT4Fo8h7D1L6hCJLSHuuL3.jpg?f=fotoalbum_large)
/f/image/AOUT9DHqXrrqCC7aEgA4sX1m.png?f=fotoalbum_large)
:strip_exif()/f/image/LyqUiBgGabDwZL5z6Ej86V9O.jpg?f=fotoalbum_large)
/f/image/0sUIE2PRq9FAwB1fIU8EqJyi.png?f=fotoalbum_large)

:strip_exif()/f/image/bVoKPiiHDViw2dCeCncUtjtA.jpg?f=fotoalbum_large)
:strip_exif()/f/image/RSxfg4NTAj40elIvCx2h6teb.jpg?f=fotoalbum_large)
:strip_exif()/f/image/rif2L7xY0JpTJhC9XJ2nIGMr.jpg?f=fotoalbum_large)
:strip_exif()/f/image/krpwz1KPS8b8q7Bgyb1qdpF4.jpg?f=fotoalbum_large)
:strip_exif()/f/image/U534MyQlat3E8jsMBNkVBFdg.jpg?f=fotoalbum_large)
:strip_exif()/f/image/jom3KRTPrYBk64UQT9Ph97O2.jpg?f=fotoalbum_large)
:strip_exif()/f/image/M1Kbm92OZY171r8AjY2FpRAT.jpg?f=fotoalbum_large)
/f/image/bJrWCSRE8L40xKPq3UoogE6B.png?f=fotoalbum_medium)
/f/image/AsTS3SBVOZK4h3Og4MhZjDfC.png?f=fotoalbum_large)
:strip_exif()/f/image/wOcETb1X6wlFmYIFJVR81Zth.jpg?f=fotoalbum_large)
:no_upscale():strip_icc():strip_exif()/f/image/xRR51VXD14Vgu2oZV18rWSrh.jpg?f=user_large)
:strip_exif()/f/image/0bv2aFqEbYcgbR364hgOt7jv.jpg?f=fotoalbum_large)
:strip_exif()/f/image/TJeIOfvmYN1YhPUSpoapFteN.jpg?f=fotoalbum_large)
:strip_exif()/f/image/yyOlz3Ru2pPqjcurORjftklh.jpg?f=fotoalbum_large)
:strip_exif()/f/image/um0QLQZ7TqyMHJXQ0r7T3uWO.jpg?f=fotoalbum_large)