cloud data base

[Merlijn25]

Mijn vraag
Ik ben bezig met een start-up en daarvoor heb ik een database in de cloud nodig. Nu werken we met excel lokaal, maar dat willen we dus in de cloud gaan doen. We zijn een applicatie aan het bouwen die de database moet kunnen aanspreken. Dit zijn voor nu een beetje de wensen:

• opslag;momenteel max 10GB, maar als de projecten echt gaan lopen kan dit al gauw oplopen tot enkele honderden GB's. Dus opschalen is een belangrijke wens
• uptime en snelheid; hiervoor zijn we echt wel bereid om te betalen. Alles valt of staat met hoe soepel de applicatie werkt.

Relevante software en hardware die ik gebruik
Dit is juist mijn vraag. We kunnen zelf een server kopen, maar dan zit je met backup, uptime, snelheid, etc. en een hoop zelfstudie.

Wat ik al gevonden of geprobeerd heb
Zelf zat ik te denken aan Azure, maar dat lijkt wel meteen vrij prijzig. Google heeft volgens mij ook iets en dan heb je nog tal van andere aanbiederes. Heeft iemand voor mij de gouden tip?


...

[n9iels]

Een "Cloud database" is een vrij vaag begrip. Strikt gezien is elke database die je vanaf het internet kunt bereiken Cloud 😄. Maar je zult iets meer informatie moeten geven over wat voor soort data het is. Als jullie nu lokaal met Excel werken, waarom zou het dan bijvoorbeeld niet gewoon in een gedeelde OneDrive kunnen? En wat doen jullie met die data, maken jullie er rapporten van, of moet het ten alle tijden real-time opgevraagd kunnen worden?

Een database is daarnaast niet iets generieks. Je hebt verschillende soorten databases die allemaal weer geschikt zijn voor andere soorten data. Een klassieke relationele database is nuttig als je relaties wilt leggen en verschillende informatie aan elkaar moet koppelen. Verzamel je echter statistieken en heb je misschien wel duizenden nieuwe entries per seconde kan iets als Elastic Serach een stuk beter werken.

[Question Mark]

Merlijn25 schreef op woensdag 12 oktober 2022 @ 14:06:
Zelf zat ik te denken aan Azure, maar dat lijkt wel meteen vrij prijzig.

Gooi de oplossing die je zoekt eens door de verschillende pricing calculators...

https://azure.microsoft.com/en-us/pricing/calculator/
https://calculator.aws/#/
https://cloud.google.com/products/calculator/
etc.

Als je nog niet weet wat je nodig bent, is dat een andere vraag... Dan zul je zoals hierboven ook staat je eerst moeten verdiepen in de requirements en de oplossingen die de verschillende cloudpartijen bieden.

[Mortis__Rigor]

- Aan wat voor database had je gedacht, relationeel of niet relationeel?
- Wil je de database zelf opzetten op virtual machine in de cloud of zoek je echt een cloud database?
- In het laatste geval kun je bv. eens kijken naar AWS RDS, Azure SQL (Google zal ook wel iets soortgelijks hebben) of naar bv. MongoDB Atlas (NoSQL cloud database) dat zowel op AWS, Azure of Google Cloud kan runnen.

[SVMartin]

Gezien de wijze waarop je de vraag stelt ben ik bang dat je nu te weinig kennis in huis hebt om zelfs met wat tips hier een deugdelijke oplossing neer te zetten. Mijn advies is eerder om iemand in de arm te nemen die je kan adviseren over applicatie en infra architectuur, en evt. Zelfs hands on kennis heeft om dit veilig en betrouwbaar op te zetten.

Nog twee adviezen:
- als startup kun je ook afspreken om iemand pas later te betalen als de onderneming slaagt.
- werk agile: probeer niet nu een oplossing te bedenken/maken die je over een jaar nodig denkt te hebben, maar vind een klant die jou gaat betalen en gebruik dat geld om te investeren in de volgende versie van je technische oplossing.

[MAX3400]

uptime en snelheid; hiervoor zijn we echt wel bereid om te betalen. Alles valt of staat met hoe soepel de applicatie werkt.

Zegt helemaal niks; een provider kan "bizar snel zijn" binnen hun eigen cloud maar als je peering & transit naar die provider ruk zijn, heb je dus niets aan die provider.

That said, hoeveel mensen / connecties moeten naar jouw database kunnen? 1 per uur? 30 per uur? 90000 per seconde? Is de data lineair schaalbaar? Waarom denk je binnenkort van 10GB naar enkele 100GB te gaan; waar ligt het einde?

[The Eagle]

De gouden tip is denk ik gaan praten met iemand die er verstand van heeft. En dan niet alleen van cloud bouwblokken van de diverse providers, maar ook van dingen als privacy en security.
Ik kan je vanalles adviseren, maar zo der volledig zicht op wat je exact doet of waar je heen wilt is ieder advies 100% goed maar ook 100% fout.

Opslag schalen is in de cloud geen issue, mits enigszins goed opgezet. Maar als jij nu met Excel als backend werkt om een applicatie op te ontwikkelen, heb je duidelijk al niet de kennis om in te schatten wat er bij het bouwen van een echte applicatie of toepassing komt kijken. Nofi

[HKLM_]

The Eagle schreef op vrijdag 14 oktober 2022 @ 20:05:
De gouden tip is denk ik gaan praten met iemand die er verstand van heeft. En dan niet alleen van cloud bouwblokken van de diverse providers, maar ook van dingen als privacy en security.
Ik kan je vanalles adviseren, maar zo der volledig zicht op wat je exact doet of waar je heen wilt is ieder advies 100% goed maar ook 100% fout.

Opslag schalen is in de cloud geen issue, mits enigszins goed opgezet. Maar als jij nu met Excel als backend werkt om een applicatie op te ontwikkelen, heb je duidelijk al niet de kennis om in te schatten wat er bij het bouwen van een echte applicatie of toepassing komt kijken. Nofi

Volledig mee eens, security en privacy by design moet één van je uitgangspunten zijn. @Merlijn25 Breng eerst eens goed je wensen in kaart en vertaal dat naar een technische oplossing met bijvoorbeeld een partner welke een advies kan geven over verschelende Cloud verdors.

[BCC]

Als je overal voor mensen moet inhuren kom je als startup natuurlijk nergens - bekijk firebase eens simpel en default veilig en veel tutorials. Je kan later altijd nog switchen als het succesvol wordt.

[i-chat]

@BCC, dat is echt die ouderwetse jaren 90 mentaliteit waar die hele dot.com-bubbel door ontstaan is.

Expertise moet er gewoon zijn, of je die nu zelf hebt of moet inkopen..

wil je dan houtje-toewtje-oplossingen dan ben je direct ontzettend afhankelijk van je lokale beveiliging (fysiek) en (digitaal) - en dan is cloud defacto GEEN oplossing.

Ik ben het dan ook helemaal eens met de personen hierboven..

zodra je maatwerk gaat doen, komt het neer op expertise. zodra je hosted-maatwerk gaat doen, dat vanaf het WereldVreemdeWeb te benaderen is, komt daar nog een ontzettend dikke laag security bij kijken ook (en dat is gewoon duur).

En dan is er nog de vraag: wat is er nu precies gewenst?
en welke aanwezige kennis is er?

Heb je een ontwikkelaar die prima overweg kan met SQL en bijvoorbeeld python dan moet je misschien gewoon lekker een VPSje huren bij transip en bigstorage nemen. dan zorgen zij voor de snapshots en de backups. en kun je af met relatief simpele (en ontzettend standaard) webserver-beveiliging af

Zoek je meer iets in de niet-zo-gestructureerde databases-wereld dan wordt het al heel snel ... of je kunt het, of je moet er niet aan beginnen.

Vooral als startup geldt dan vaak: geen geld, nog minder reputatie (goodwil) t moet vaak NU en niet pas over 33 jaar... kortom je zit nog volop in de prototyping fase... dan zijn er simpelweg de middelen niet om te experimenteren.

elke dag dat je niet aan het produceren ben kost je dubbel...
1: je werk levert geen geld op,
2: je werk kost wel geld.. (loon, bedrijfskosten etc)

en dat je ook nog een keer moet terugverdienen dus 3: zodra je dan eenmaal wel geld gaat ontvangen, mag je aan het terugbetalen... in plaats van investeren.... dus ben je ook je groei weer aan het remmen waardoor je later weer met schaalproblemen komt te zitten.

kortom : begin goedkoop, snel EN eenvoudig! precies zoals hierboven ook al is gesuggereerd.

[Voor 8% gewijzigd door i-chat op 16-10-2022 00:02. Reden: leesbaarheid]

[FrankHe]

Van een lokaal Excel bestand naar een Cloud database is nogal wat. Je zult echt meer informatie moeten delen over het gebruik van de database om tot een goed afgewogen advies te kunnen komen. Hoeveel verbindingen en transacties moeten er tegelijk gaan plaatsvinden, is het ok als bepaalde informatie lokaal blijft waarbij de Cloud meer een backup functie heeft? Lees je wellicht ook even in op "Edge Computing".

[sig69]

@FrankHe Ik stond net op het punt hetzelfde te posten. Even gechargeerd (en in MS land blijvende), maar normaal is het Excel > soms Access > Sql Server (on prem) en dan wellicht cloud. Maar Excel > cloud is een grote stap. Is dat noodzaak? Of staat het hip op de site? Kan niemand wat over zeggen zonder meer informatie.
Verder zeg je bereid te zijn te betalen voor uptime en snelheid, maar Azure vind je duur. Dat zit in de prijs die jouw klant voor jouw dienst afneemt hoop ik toch (+marge)?

[FrankHe]

We hoeven inderdaad geen inhoudelijke informatie over het product, wat we moeten weten zijn technische specificaties van de database. Aangezien er nu kennelijk met Excel bestanden wordt gewerkt ben ik bang dat er wellicht geen samenhangend antwoord valt te verwachten. Uptime is een relatief begrip, is 99,5% afdoende of moet het 99,995% zijn? Dat los je niet op door dit bij je (cloud) hosting provider neer te leggen. Wanneer je voor bij pakweg de 99,95 wilt dan zul je dit ook in de architectuur van je applicatie mee moeten nemen. Zo'n vraagstuk kun je niet zomaar over de muur gooien. Welke latency is acceptabel? Is 200 ms geen probleem, prima knal het maar ergens neer. Moet de latency echt onder de 20 ms liggen dan zul je toch echt naar "Edge Computing" moeten kijken omdat zelf de grootste cloud platforms dit niet kunnen leveren naar elke willekeurige client op het internet. Zoveel vragen...

[MAX3400]

BCC schreef op vrijdag 14 oktober 2022 @ 20:16:
Als je overal voor mensen moet inhuren kom je als startup natuurlijk nergens - bekijk firebase eens simpel en default veilig en veel tutorials. Je kan later altijd nog switchen als het succesvol wordt.

Topicstart begon over "wat kost het" en "waar". De pricing calculator van Google gaat rap naar de $500 als ik alleen de storage omhoog gooi.

Dit soort prijzen zal bij andere providers niet anders zijn maar gezien de onbeargumenteerde verwachte groei, zou ik toch echt uitgaan van "worst case expansion" en willen weten wat 10GB / 50GB / 200GB gaat kosten incl. alle bijbehorende compute & data up/down.

[The Eagle]

Ach welnee.
Van Excel kun je rechtstreeks naar een sql doos. Pak Azure sql, kies een lichte serverless variant, pay as you go. Zit rond de 100 euro per maand verwacht ik voor 500 GB.

Maar als je nu op Excel zit gaat dat niet zo snel groeien ;
Daarbij: als je een expansie verwacht omdat je nieuwe klanten aan gaat sluiten, geef je die hun eigen db en belast je dat door. Klanten zitten er namelijk meestal niet op te wachten om bij elkaar in een db te zitten

[FrankHe]

Ik vind 100 euro per maand een hoop geld voor een Excel databeestje. Het zou fijn zijn als TS (topic starter) @Merlijn25 meer inzicht kan geven over de bedoeling en benodigde specificaties.

[The Eagle]

FrankHe schreef op donderdag 20 oktober 2022 @ 06:59:
Ik vind 100 euro per maand een hoop geld voor een Excel databeestje. Het zou fijn zijn als TS (topic starter) @Merlijn25 meer inzicht kan geven over de bedoeling en benodigde specificaties.

Kun je vinden, maar zie jij de eerste commerciële klant maar eens te vinden die een applicatie van je wil kopen die bovenop Excel gebouwd is
Daarbij: veel succes met het inladen van een 500GB grote Excel sheet

Excel is geen dbms. Access ook niet. Het zijn beiden desktop tools, bedoeld voor frontend gebruik. Niet als applicatie backend.

[MAX3400]

The Eagle schreef op vrijdag 21 oktober 2022 @ 20:19:
[...]

Kun je vinden, maar zie jij de eerste commerciële klant maar eens te vinden die een applicatie van je wil kopen die bovenop Excel gebouwd is

Iedereen die Bloomberg gebruikt

De eigen software van Bloomberg heeft namelijk "hele mooie maar zware" mogelijkheden om realtime lokale Excel-sheets te vullen, marktposities te markeren, marges te sorteren en dan in verschillende kleuren en functies die data door te sturen naar andere (vaak on-prem) backends.

Hierdoor is het ook essentieel, een beetje overeenkomstig de topicstart, dat de connectie van een machine waar de full-blown Bloomberg-client op draait, een dedicated NIC heeft (en het liefst op een VLAN met voorrang) kan werken om zo dicht mogelijk tegen actuele data aan te kunnen praten.

[The Eagle]

Dan kan, maar dan gebruik je Excel als Gui / user interactie, en nog steeds niet als backend voor je applicatie. Stel je voor dat heel Bloomberg ( voor high frequency trading is dat toch? ) Excel als backend zou hebben. Geen idee hoeveel transacties dat totaal per sec zijn, maar ongetwijfeld meer dan een desktop pc aan kan, danwel er überhaupt in een Excel sheet passen.

Nogmaals: Excel is prima naar een interactieve frontend te verbouwen met gebruik van vbs of macros, en dat gebeurt ook. Maar niet, ik herhaal niet als backend om een (multi user) applicatie op te draaien.

[FrankHe]

Zonder extra informatie van TS is alles wat we erover zeggen speculatie. We hebben onvoldoende informatie om tot een goed afgewogen advies te kunnen komen.

[MAX3400]

FrankHe schreef op zaterdag 22 oktober 2022 @ 11:29:
Zonder extra informatie van TS

@Merlijn25 is op de kop af al 10 dagen niet meer gezien dus heul spannend zal het wel niet zijn wat ze nodig hebben

[The Eagle]

MAX3400 schreef op zaterdag 22 oktober 2022 @ 12:55:
[...]

@Merlijn25 is op de kop af al 10 dagen niet meer gezien dus heul spannend zal het wel niet zijn wat ze nodig hebben

Ik gok dat ie zijn Excel bestand kwijt is

[FrankHe]

Beste @Merlijn25 heb je nog aanvullende informatie zodat we je verder kunnen helpen?

[nelizmastr]

FrankHe schreef op woensdag 2 november 2022 @ 16:54:
Beste @Merlijn25 heb je nog aanvullende informatie zodat we je verder kunnen helpen?

Merlijn is terug naar de ridders van de ronde tafel

[FrankHe]

nelizmastr schreef op woensdag 2 november 2022 @ 21:40:
Merlijn is terug naar de ridders van de ronde tafel

Die hebben vast alle IT gerelateerde antwoorden paraat.