Server / cloud oplossing met flinke workload

[Anoniem: 426840]

Hallo,

In een professionele omgeving zijn wij op zoek naar een oplossing (dienst) voor het volgende probleem:

- We willen graag een online service (SaaS) aanbieden die informatie weergeeft en opdrachten aanneemt.
- We kiezen voor een webapplicatie (Client) voor het weergeven van informatie, en een Windows Service applicatie (Worker) voor het onder water doen van de opdrachten. De Client geeft opdrachten door aan de Worker.
- De opdrachten voor de Worker zijn in dit voorbeeld fictief en wel in de vorm: DataProcess. Worden uitgevoerd middels 32-bits 3rd party DLLs.
- Er zijn 1000+ DataProcess opdrachten per dag. Dit kan oplopen dus we zoeken een schaalbare oplossing.
- Eén DataProcess opdracht duurt 10 seconden op een gemiddelde pc, waarmee we graag willen aangeven dat dit een vrij serieuze workload is en we rekenkracht nodig hebben.
- Opdrachten kunnen asynchroon en parallel worden aangevraagd en afgehandeld. Deze moeten na aanvraag zo snel mogelijk (zeg max. 5 seconden) klaar zijn. Batches van opdrachten van een klant zijn mogelijk, hier mag op gewacht worden.
- Dus: concurrent opdrachten met pieken van 20,30,40... kan oplopen. [+]
- DataProcess maakt gebruik van een Filesystem en een Database.
- Uptime is belangrijk.
- Minimaal onderhoud is belangrijk.
- Een testinrichting moet bestaan.
- Databases moeten van buitenaf te benaderen zijn. [+]
- Externe databases moeten te benaderen zijn. [+]

Wij schrijven de code (.Net) zelf. Voor de oplossing hebben we dus minimaal nodig:
- Nieuwere Windows omgeving
- Database server
- Filesystem (voldoende toegang)
- Webserver(s)
- Servers die de workload van DataProcess opdrachten kunnen handelen.
- Testinrichtingen van bovenstaande.

We zijn op zoek naar een hardwareoplossing/dienst voor dit probleem. Oplossingsrichtingen (?):
- We zoeken iets in de richting van een Server Cluster dat zelf de load balancing regelt, redundancy biedt en veel rekenkracht heeft.
- We zoeken iets wat zich gedraagt als een Cloud SDK (bv. Azure) in de zin dat wij geen (of hooguit 1 a 2) inrichtingen moeten updaten met de benodigde software en libraries, en gemakkelijk releases kunnen uitrollen.

Vragen:
- Is de oplossing zo gemakkelijk als een Server cluster of Cloud SDK als Azure?
- Zo nee, wat denken jullie wat voor ons probleem de meest geschikte oplossing zou zijn?
- Kennen jullie partijen die dergelijke oplossingen kunnen hosten?

Bedankt alvast voor jullie waardevolle meningen!

[ Voor 3% gewijzigd door Anoniem: 426840 op 20-10-2011 09:40 . Reden: toevoegingen [+] ]

[Anoniem: 371484]

is in deze situatie niet makkelijker om zelf een aantal servers aan te schaffen en in te richten, en deze vervolgens ergens in een datacenter onder te brengen?

[Anoniem: 426840]

Anoniem: 371484 schreef op woensdag 19 oktober 2011 @ 16:55:
is in deze situatie niet makkelijker om zelf een aantal servers aan te schaffen en in te richten, en deze vervolgens ergens in een datacenter onder te brengen?

Bedankt voor je reactie, Djeems. Zoals gezegd:

We zoeken iets in de richting van een Server Cluster dat zelf de load balancing regelt, redundancy biedt en veel rekenkracht heeft.

Een soort cloud oplossing dus die onder andere de onderlinge load balancing regelt, maar ook goed performt.
Ook het "op iedere server een installatie onderhouden": dat moet beter kunnen in onze ogen in deze tijd van cloud computing. Of zijn we dan nog te vroeg?

[Beatboxx]

Je kan eens kijken bij Amazon oid

[ Voor 6% gewijzigd door Beatboxx op 19-10-2011 17:18 ]

[aZuL2001]

Azure ?

Of heet de cloud oplossing van Microsoft zo niet ?

[Anoniem: 426840]

aZuL2001 schreef op woensdag 19 oktober 2011 @ 17:39:
Azure ?

Of heet de cloud oplossing van Microsoft zo niet ?

Bedankt aZuL2001. Azure is inderdaad de naam, en een overweging. Wij vragen ons (onder andere) af of dit daadwerkelijk kan performen met onze Worker.

Beatboxx schreef op woensdag 19 oktober 2011 @ 17:17:
Je kan eens kijken bij Amazon oid

Dank, Beatboxx, hier hetzelfde verhaal.

Ook is Amazon meer VMWare based, kunnen we dan wel bij de databases? Zit er dan ook een performance knop op voor 1 VM zodat die de workload aankan?

[Gomez12]

Wat bevalt je niet aan alle bestaande cloudoplossingen?

In principe kan een willekeurige cloud (azure / amazon / rackspace) perfect performen met je worker, je kan er tijden van minder dan een milliseconde mee halen (mits je zo ongeveer de staatsloterij aan maandgeld meeneemt).

En of je wel bij die databases kan dat is helemaal aan jezelf...

Ik zou zeggen, lees je eerst eens in in de bestaande cloud-aanbieders, want je wilt schijnbaar de cloud hebben, maar je stelt daarbij vragen die simpelweg niet relevant zijn.

En stel je feitenlijstje ook eens wat gestructureerder op, je zegt nu veel maar weinig inhoudelijk.
1 job is 10 sec (op een gemiddelde pc) en je wilt 1000+ jobs op een dag afhandelen, dan zegt mijn rekenvermogen mij : Dat gaat ie makkelijk redden op een gemiddelde pc.
Je wilt max 5 sec wachten, ok dat is dus een 2x zo snel als gemiddelde pc en je bent er.

Oftewel : Hoeveel concurrent jobs wil je afhandelen dat is relevant, niet het aantal jobs per dag...
En bovenal, hoeveel geld is ervoor. Zolang je geld hebt overhoudt is namelijk zo ongeveer alles mogelijk in "thé cloud". Wil jij google gaan beconcurreren, dat is mogelijk. Enkel kost het ietwat aan investeringen...

[ Voor 9% gewijzigd door Gomez12 op 19-10-2011 19:57 ]

[Anoniem: 426840]

Gomez12 schreef op woensdag 19 oktober 2011 @ 19:55:
Wat bevalt je niet aan alle bestaande cloudoplossingen?
[...]
Ik zou zeggen, lees je eerst eens in in de bestaande cloud-aanbieders, want je wilt schijnbaar de cloud hebben, maar je stelt daarbij vragen die simpelweg niet relevant zijn.
[...]
Oftewel : Hoeveel concurrent jobs wil je afhandelen dat is relevant, niet het aantal jobs per dag...
En bovenal, hoeveel geld is ervoor. Zolang je geld hebt overhoudt is namelijk zo ongeveer alles mogelijk in "thé cloud". Wil jij google gaan beconcurreren, dat is mogelijk. Enkel kost het ietwat aan investeringen...

Gomez, bedankt. Het klopt dat het hier om het aantal concurrent jobs gaat, dat staat er ook (parallel). Dit kan wel oplopen, en hoe meer klanten we hebben, hoe hoger dit aantal zal zijn.

Uiteindelijk is het de klant die betaald, dus "er is geld", maar we willen natuurlijk de meest efficiënte oplossing. Het bekende verhaal.

De vragen die we stellen zijn voor ons relevant, omdat we de antwoorden (nog) niet hebben maar wel nodig hebben. Als de antwoorden voor de hand zouden liggen, zou ik hier geen topic plaatsen.

Wij zijn een klein team met verstand van code (.Net) en databases, en we willen het hele server inrichting verhaal zoveel mogelijk uitbesteden. Dus geen rackspace met onze zelf onderhouden eigen servers, maar inderdaad, een of andere black-box-met-internet = cloud. Release uitrollen, deployen, klaar. Wat me niet bevalt aan "thé cloud" (lees: Amazon en Azure) is dat we natuurlijk wel zelf alles in de hand willen hebben, en vraagtekens hebben bij de technische mogelijkheden voor ons. Technisch kan misschien alles, maar kan het ook in de geschetste setting? Voor max. een paar honderd in de maand in het begin?

Misschien willen we het liefst een oplossing met het datacenter "om de hoek" die ons biedt wat we willen, een partij die concurreert met Microsoft als het om een oplossing als Windows Azure gaat.

[TheRyzenDude]

Meschien intresant : Cloud Infrastructure as a Service (C-IaaS)

Vrij open platform om zelf een en ander op uit te rollen.

www.cloudcityeu.com

Meschien intresant voor jullie.

[Anoniem: 426840]

Deze partij is niet exact wat we in gedachten hadden, maar toch bedankt, amdboy1983, voor de suggestie.

[Jimbo71]

Wellicht de moeite waard om te bekijken: Applogic (was van bedrijf 3Tera en die is overgenomen CA technologies). Applogic is een cloud platform die gebruikt maat van de XEN of VMWare ESX hypervisor.

Video op tube Applogic algemeen: YouTube: DNS Europe : Private Cloud Services with CA® 3Tera® AppLogic®

Je kunt net als in visio je infrastructuur bouwen die je nodig hebt voor je applicatie, dus ook de benodige clustering en load balancing. Zie video op youtube hierover:
YouTube: Can you create and deploy a new application in days rather than months?

Applogic bied de mogelijkheid om zowel Iaas, Paas als Saas diensten aan te bieden.

Als je zelf een applicatie heb gebouwd zou je di oon kunnen verkopen onn de App marketplace voor Applogic: Cloudcommons.
Zie youtube video:
YouTube: The Cloud Commons® Ecosystem

[Anoniem: 426840]

Update: Na het uitproberen van Azure en Amazon zijn we hier redelijk enthousiast over geworden. Toch wel . Vooral met Amazon zouden wij uit de voeten kunnen.

Dank je Jimbo, Applogic filmpje is interessant. Ook hier gaan we eens naar kijken.