Hey tweakers,
De komende maanden moet ik samen met een team flink wat LLM-integraties bouwen en live zetten. Als ik puur kijk naar de hosting of beschikbare API's van aanbieders in de markt, dan loopt dit snel op naar een +- 150K over een periode van 6 maanden, en dan reken ik al met de goedkopere opties in de markt.
Om die reden ben ik alternatieven aan het onderzoeken en het eerste idee was: waarom niet zelf een (paar) brute machines bouwen?
Zelf kwam ik o.a. https://www.polymorphcomputers.com/shop/p/kalamit-wx620 tegen, een mooi monster, maar dit is nog de dual 4090 en mogelijk wil ik meteen gaan voor 5090's. Het idee is eigenlijk simpel: als ik het uitgeef aan hostingkosten, dan ben ik het kwijt. Als ik 2-3 van deze monsters neerzet, moet ik tientallen requests per seconde aankunnen en dan hou ik na die zes maanden er in ieder geval zelf een dikke pc aan over.
Hoe zouden jullie dit aanpakken? Custom build of zijn er ook aanbieders van dit soort kant-en-klare monsters? Het is zakelijk, dus ik betaal liever iets meer met garantie dan zelfbouw en mogelijke issues. Heeft een van jullie mogelijk al een dual RTX 5090 en ben je tevreden? Of als jullie tips hebben over welke shops dit kunnen leveren, dan ben ik ook blij!
Bedankt alvast!
De komende maanden moet ik samen met een team flink wat LLM-integraties bouwen en live zetten. Als ik puur kijk naar de hosting of beschikbare API's van aanbieders in de markt, dan loopt dit snel op naar een +- 150K over een periode van 6 maanden, en dan reken ik al met de goedkopere opties in de markt.
Om die reden ben ik alternatieven aan het onderzoeken en het eerste idee was: waarom niet zelf een (paar) brute machines bouwen?
Zelf kwam ik o.a. https://www.polymorphcomputers.com/shop/p/kalamit-wx620 tegen, een mooi monster, maar dit is nog de dual 4090 en mogelijk wil ik meteen gaan voor 5090's. Het idee is eigenlijk simpel: als ik het uitgeef aan hostingkosten, dan ben ik het kwijt. Als ik 2-3 van deze monsters neerzet, moet ik tientallen requests per seconde aankunnen en dan hou ik na die zes maanden er in ieder geval zelf een dikke pc aan over.
Hoe zouden jullie dit aanpakken? Custom build of zijn er ook aanbieders van dit soort kant-en-klare monsters? Het is zakelijk, dus ik betaal liever iets meer met garantie dan zelfbouw en mogelijke issues. Heeft een van jullie mogelijk al een dual RTX 5090 en ben je tevreden? Of als jullie tips hebben over welke shops dit kunnen leveren, dan ben ik ook blij!
Bedankt alvast!
*plop*