Systeem voor LLM & AI

[relativity]

Om je beter te kunnen helpen, vragen we je om tenminste op de onderstaande vragen antwoord te geven. Je mag de toelichting in italic wissen en daar je antwoord geven. Natuurlijk mag je ook zelf vragen of wensen toevoegen. Hoe meer informatie we hebben, hoe beter we je kunnen helpen.

Er is ook een speciaal topic over het configureren van een desktop. Het "Geschikte Onderdelen Kiezen" topic vind je hier: [Guide] Geschikte Onderdelen Kiezen

Wat wil je doen met je nieuwe systeem?
Vertel ons wat je wil gaan doen met je nieuwe systeem. Welke software ga je gebruiken? Wil je gaan gamen? Videobewerken? Of gewoon huis tuin en keuken surfen en mailen?

Vooral het utiliseren van LLM, chatbots maken, 40.000 pagina's aan documentatie erin verwerken,. Gem. 10 gebruikers.

OS Ubuntu Server (laatste LTS versie). Mistral-7B met Anything LLM.

Wat mag het systeem gaan kosten?
Heb je een absolute maximumprijs? In- of exclusief verzendkosten, assemblage en dergelijke Dat hoeft geen vast bedrag te zijn maar mag ook een schatting zijn.

Ik wil eigenlijk keuze uit twee modellen, higher end ~5000,- en mid-range tot ~3500,-.

Zijn er componenten of randapparatuur die je al hebt en mee wil nemen naar je nieuwe systeem?
Wees specifiek en noem merk en model

Wat denk je allemaal nodig te hebben?
Zijn twee videokaarten en drie voedingen wel genoeg? 16 SSD's in RAID-5? Vertel ons meer over het systeem van je dromen.
Ik wil graag uit kunnen breiden naar twee of meer videokaarten indien gewenst.

Zelf dacht ik aan zoiets:
High-End
CPU AMD Ryzen 9 7950X3D (16 Cores)
Motherboard X670E Motherboard (3-4 GPU Support)
RAM 128GB DDR5-6000
GPU Nvidia RTX 4090 24GB
Storage 2x1 TB NVMe SSD (RAID 1)
Power Supply 1000W 80+ Gold PSU
Cooling 360mm AIO Liquid Cooler

Mid-Range
CPU AMD Ryzen 9 7950X3D (16 Cores)
Motherboard X670E Motherboard (3-4 GPU Support)
RAM 64GB DDR5-6000
GPU Nvidia RTX 4080 16GB
Storage 2x1 TB NVMe SSD (RAID 1)
Power Supply 1000W 80+ Gold PSU
Cooling 360mm AIO Liquid Cooler

Heb je nog bepaalde (merk)voorkeuren?
Naar welk merk gaat je voorkeur uit? Kun je vertellen waarom? Sta je open voor andere merken? Zet hier neer wat je zelf al hebt gevonden.
Alles wat compatible is met met AI & LLM

Heb je nog bepaalde eisen/wensen?
Denk aan grootte, het te verwachten geluidsniveau, energieverbruik. Hoe meer informatie je geeft, hoe beter we je kunnen helpen.
2.5Gbps LAN
Optie van 2 t/m 4 videokaarten (max).

Ga je overklokken?
Ga je voor de maximum prestaties van je nieuwe systeem of ben je tevreden met de standaard instellingen?
Geen overklok

Wat verwacht je van ons?
De laatste en eigenlijk belangrijkste vraag: Vertel hoe we je kunnen helpen met het maken van je keuze. Wil je het nieuwste/snelste/beste/mooiste systeem dat je je maar kunt wensen binnen je budget, of speelt geld geen rol? Wil je weten of/hoe je je build moet aanpassen om aan de gewenste doelen te kunnen voldoen? Of wil je de kosten gewoon zoveel mogelijk terugbrengen en zo veel mogelijk bang-for-buck krijgen?

[CodeCaster]

Als er tien gebruikers gemiddeld van gebruikmaken, lijken uptime, garantie en onderhoud me erg belangrijk. Ga je bij defecten zelf lopen hannesen, of wil je dit afnemen bij een (zakelijke?) dienstverlener die binnen X uur met reserveonderdelen op de stoep staat?

[relativity]

CodeCaster schreef op dinsdag 26 maart 2024 @ 10:02:
Als er tien gebruikers gemiddeld van gebruikmaken, lijken uptime, garantie en onderhoud me erg belangrijk. Ga je bij defecten zelf lopen hannesen, of wil je dit afnemen bij een (zakelijke?) dienstverlener die binnen X uur met reserveonderdelen op de stoep staat?

Ik denk dat we dat vooralsnog in eigen beheer gaan nemen, voordat we iets gaan uitbesteden.

[Glamourt]

CodeCaster schreef op dinsdag 26 maart 2024 @ 10:02:
Als er tien gebruikers gemiddeld van gebruikmaken, lijken uptime, garantie en onderhoud me erg belangrijk. Ga je bij defecten zelf lopen hannesen, of wil je dit afnemen bij een (zakelijke?) dienstverlener die binnen X uur met reserveonderdelen op de stoep staat?

- Als je je de computer laat samenstellen bij Azerty kan je kiezen voor 2 jaar garantie bij een assemblage pakket.
- Ziggo zakelijk is erg goed, ik heb er nog nooit problemen mee gehad en naar mijn weten is het ook minder storing gevoelig dan glasvezel. 1200Mbit down en 120 Mbit up olijkt me snel zat.

Onderhoud zou je zelf kunnen doen. Je kan tegenwoordig met het internet security pakket van Norton, met een klik op de knop al je software programma's in Windows updaten en met een klik op de knop alle opschoonfuncties gebruiken die in Windows standaard zitten

Edit: Ik was voor het high end systeem gegaan. Die €1500 heb je met de genoemde werkzaamheden zo terug verdiend. Kan je beter gelijk iets goed kopen dat zeker goed is dan een systeem die misschien wel voldoet, maar dan ook net aan en is eerder aan vervanging toe.

[ Voor 12% gewijzigd door Glamourt op 26-03-2024 10:23 ]

[CodeCaster]

Glamourt schreef op dinsdag 26 maart 2024 @ 10:11:
[...]


- Als je je de computer laat samenstellen bij Azerty kan je kiezen voor 2 jaar garantie bij een assemblage pakket.
- Ziggo zakelijk is erg goed, ik heb er nog nooit problemen mee gehad en naar mijn weten is het ook minder storing gevoelig dan glasvezel. 1200Mbit down en 120 Mbit up olijkt me snel zat.

Onderhoud zou je zelf kunnen doen. Je kan tegenwoordig met het internet security pakket van Norton, met een klik op de knop al je software programma's in Windows updaten en met een klik op de knop alle opschoonfuncties gebruiken die in Windows standaard zitten

Assemblage, garantie en updates zijn leuk, maar ik doel op kapotte hardware.

Als tien man niet kan werken, staat er dan over 2-4 uur een mannetje op de stoep, of moet de pc uit elkaar, de waterkoeling eraf, de hardware opgestuurd en afwachten maar?

Edit: Ik was voor het high end systeem gegaan. Die €1500 heb je met de genoemde werkzaamheden zo terug verdiend. Kan je beter gelijk iets goed kopen dat zeker goed is dan een systeem die misschien wel voldoet, maar dan ook net aan en is eerder aan vervanging toe.

Ik ben wel benieuwd waarop je dit baseert? OP noemt "chatbots bouwen" en jij zegt "daar verdien je zo € 1500 meerprijs aan hardware mee terug"? Hoe dan?

[martyw]

@relativity wat bedoel je precies met

het utiliseren van LLM

Puur het gebruik van LLM modellen vereist geen krachtige grafische kaart als je maar 10 gebruikers hebt (zijn dat 10 gebruikers van deze modellen tegelijkertijd, of zijn er in totaal tien mensen die zo af en toe eens een query draaien?), ook chatbots maken en documentatie bijhouden hebben weinig nut van een RTX 4080/4090.

Het trainen van deze modellen vereist wel een stevige GPU en CPU en een hoop RAM, puur het gebruik van getrainde modellen gaat voor één gebruiker al op een beetje mobiele telefoon.

[ Voor 20% gewijzigd door martyw op 26-03-2024 19:43 ]

[Glamourt]

CodeCaster in "Systeem voor LLM & AI"
Ik ben wel benieuwd waarop je dit baseert? OP noemt "chatbots bouwen" en jij zegt "daar verdien je zo € 1500 meerprijs aan hardware mee terug"? Hoe dan?

https://www.sleak.chat/tarieven - reken maar uit.

[ Voor 104% gewijzigd door Glamourt op 26-03-2024 21:16 ]

[relativity]

martyw schreef op dinsdag 26 maart 2024 @ 19:25:
@relativity wat bedoel je precies met

[...]

Puur het gebruik van LLM modellen vereist geen krachtige grafische kaart als je maar 10 gebruikers hebt (zijn dat 10 gebruikers van deze modellen tegelijkertijd, of zijn er in totaal tien mensen die zo af en toe eens een query draaien?), ook chatbots maken en documentatie bijhouden hebben weinig nut van een RTX 4080/4090.

Het trainen van deze modellen vereist wel een stevige GPU en CPU en een hoop RAM, puur het gebruik van getrainde modellen gaat voor één gebruiker al op een beetje mobiele telefoon.

Dat klopt inderdaad, maar we moeten het model vaak trainen met nieuwe informatie. Daarnaast wil ik liever iets wat een beetje future proof is en flink uitbreidbaar is. Momenteel is de doelgroep 10 personen. Daarna 100+

[Balance]

@relativity nog op zoek? Met trainen, bedoel je pre-trainen (from scratch dus) of finetunen? En wat zijn de grootste modellen die je wilt gaan trainen?

Edit: Mistral 7b zie ik. Met volledige FP16 weights? Of quantisized (zoja hoeveel)? En hoeveel context lengte heb je maximaal nodig?

Verder, hoe erg is het als het systeem het een keer een dag of twee het niet doet?

[ Voor 42% gewijzigd door Balance op 16-04-2024 08:29 ]

[RobbieB]

volledig eens met de opmerkingen hier dat je in een zakelijke omgeving geen single point of failure wil hebben met 1 PC.

Prima om met een klein budget te starten, maar is cloud hosting dan niet een veel logischere keuze voor dit soort doeleinden? Relatief lage start-up kosten, schaalbaar en high availability gegarandeerd. Als je nu voor dit systeem gaat en je moet upscalen dan loop je hier zo snel tegen een limiet aan op het gebied van Availability.

[relativity]

RobbieB schreef op dinsdag 16 april 2024 @ 09:29:
volledig eens met de opmerkingen hier dat je in een zakelijke omgeving geen single point of failure wil hebben met 1 PC.

Prima om met een klein budget te starten, maar is cloud hosting dan niet een veel logischere keuze voor dit soort doeleinden? Relatief lage start-up kosten, schaalbaar en high availability gegarandeerd. Als je nu voor dit systeem gaat en je moet upscalen dan loop je hier zo snel tegen een limiet aan op het gebied van Availability.

Dat klopt helemaal. Helaas was daar eerder geen mogelijkheid toe. Ik heb uiteindelijk hiervoor nu wel goedkeur ontvangen.

Dus bedankt!