Advies mbt hosting grote social media site

[Peunage]

Op dit moment werk ik met een aantal collega's aan een best wel uniek social media concept. Misschien hebben jullie dit wel vaker gehoord, maar ik kan er gewoon niet zo veel over kwijt op dit moment.

Ik ben nu de enige developer die er aan werkt, mijn andere collega's hebben het concept bedacht en maken vooral schetsen van de GUI en bepalen welke functies er moeten komen.

Momenteel ontwikkel ik online op een shared hosting account. Ik merk nu al dat de website niet altijd even snel reageert, en dat met maar 1 gebruiker. Er wordt gebruik gemaakt van PHP 5.3/5.4 en Mysql. Verder maak ik ook gebruik van mail. De database wordt best wel intensief gebruikt, op bijna elke pagina wordt wel data uit de database gehaald of opgeslagen. Verder wordt er ook veel met sessions gewerkt.

Het is de bedoeling dat de website over +- 6 maanden gelanceerd wordt, tot die tijd blijf ik op de shared hosting draaien. We verwachten ook enkele 100den gebruikers wanneer de website gelanceerd wordt.

Nou is mijn vraag;

- Ik kan niet op de shared hosting account blijven draaien, we zullen voor de lancering iets fatsoenlijks moeten vinden. Wat is volgens jullie, voor dit geval, de beste keuze? VPS? Dedicated? Of Cloud hosting? En vooral, waarom?

Ik moet er wel bij vermelden dat we niet beschikken over een netwerkspecialist; eigenlijk weten we bijna niks van netwerken af.

[Exhar]

In dat geval zou ik kijken naar een partij die hierin gespecialiseerd is. Sowieso wil je naar een "Managed Dedicated" oplossing toe: een server die voor jou beheerd wordt.

Als 't dan nog geclustered kan worden (er zijn een paar partijen die dit voor je kunnen: PCExtreme, Byte, Bit (en dergelijke platformen zelf ook gebruiken)) ben je helemaal klaar.

Maar alles staat of valt met het budget wat je hebt... Managed Dedi is niet goedkoop, Managed Dedi Clustered ook niet

[Gomez12]

Waarom heb je het in je titel over grote social media site terwijl je slechts enkele 100'en gebruikers verwacht tijdens launch? Met een enkele radio-ad of een enkele metro-ad oid haal je al meer als dat.

Maar in principe is je hosting niet echt relevant als je nu al met 1 gebruiker traag reageert. Dan zit het probleem in je coding en niet zozeer in je hosting. (Of je moet het echt zo grootschalig hebben opgezet dat eerst al je caches op moeten warmen en dat je daartegenaan loopt als enige gebruiker, maar ik vermoed van niet)

Ontopic : De vraag qua hosting is voornamelijk afhankelijk van verwachte bezoekers en groei. In principe zou ik el-cheapo VPS laten varen. Of je gaat voor dedicated of je gaat voor cloud (wat ook weer VPS kan zijn)
Wil je bijv wereldwijde bezoekers aantrekken dan wil je waarschijnlijk of dedi met CDN of cloud.
Verwacht je veel groei dan is cloud heel erg makkelijk upscaleable (mits je infrastructuur ervoor geschikt is), je klikt op een paar knopjes bij Amazon en je hebt 100 extra servers.

Even ter indicatie : Hyves gebruikte in zijn hoogtij dagen iets van 1800 servers, hebben jullie de cash en de coding zo goed onder handen dat jullie makkelijk 100 servers kunnen toevoegen? Of gaat dat code-wijzigingen vereisen en moet elke server los geinstalleerd worden etc. etc.

In principe is het grootste gevaar bij social media sites dat ze de groei niet bij kunnen benen en dat daardoor de site traag wordt (en mensen gaan afhaken).

Illustratief verhaaltje : http://mashable.com/2011/03/30/scaling-instagram/
er was nog een uitgebreider verhaal over de instagram startup, maar die kan ik zo snel niet vinden.
Als het echt aanslaat dan moet je niet denken aan 2 servers toevoegen in de 1e week, dan moet je echt de klap op kunnen vangen van xx servers toevoegen in een paar dagen. En omgekeerd moet je ook weer zo van die xx servers af kunnen als het een tijdelijke topper was en niet zoals hyves je servers maar gaan onderverhuren omdat ze anders niets staan te doen.

Wat ik persoonlijk een startup zou adviseren (zeker op social media gebied) is altijd cloud. Daar heb je alle flexibiliteit qua groeispurt etc. Werkt het niet dan ben je er zo weer van af. En is de initiele groeispurt uitgekristalliseerd dan kan je altijd nog gaan kijken of je niet zelf een cloud kan bouwen goedkoper dan amazon.

Social media is veelal super hot or not, er zijn weinig tussenwegen ( je krijgt niet 1 nieuwe gebruiker, je krijgt er over het algemeen 10 of 20, want die ene nieuwe gebruiker die wil socializen en nodigt daarom 9 anderen uit. Vind er 1 van die 20 dat je site niet snel genoeg is dan ben je zo weer 20 gebruikers kwijt)

[The Eagle]

Ik zou als ik jou was eens bij terremark gaan babbelen. Da's een dochteronderneming van Verizon. Bieden verschillende opties, van decidated tot volledig dynamisch in de cloud .
En sowieso zou ik even kijken wat je op welke machine wilt gaan draaien - DB en webserver op dezelfde bak lijkt me met heel veel bezoekers niet echt handig

[Peunage]

Bedankt voor de antwoorden. Hier heb ik inderdaad wat aan. We gaan sowieso nog met een netwerkspecialist praten hier over, maar voor nu lijkt cloudhosting de meest ideale oplossing.

Hoe zit het eigenlijk met het omzetten van 1 machine naar de cloud of zelfs naar een dedicated machine? Want ik neem aan dat het niet alleen een kwestie van bestanden en database overzetten is? De code is nu zo gebouwd dat er gebruik wordt gemaakt van 1 database. Moeten we nu ook rekening gaan houden met dat de website op meerdere servers gaat draaien? In de code dus?

[Gomez12]

Peunage schreef op dinsdag 05 maart 2013 @ 11:26:
De code is nu zo gebouwd dat er gebruik wordt gemaakt van 1 database. Moeten we nu ook rekening gaan houden met dat de website op meerdere servers gaat draaien? In de code dus?

Wat ik me meer zit af te vragen is of als jij dit soort vragen stelt of jij dan wel de juiste developer bent?

Niet lullig bedoeld, maar een grote social media site maak je niet op een shared hosting site. En als jij de enige developer bent en je zit met dit soort vragen dan begin je al met een giga-achterstand.

[Peunage]

Gomez12 schreef op dinsdag 05 maart 2013 @ 12:17:
[...]

Wat ik me meer zit af te vragen is of als jij dit soort vragen stelt of jij dan wel de juiste developer bent?

Niet lullig bedoeld, maar een grote social media site maak je niet op een shared hosting site. En als jij de enige developer bent en je zit met dit soort vragen dan begin je al met een giga-achterstand.

Dat is juist de reden dat ik deze vragen nu stel. Ik verwacht niet dat het meteen megagroot wordt. Daarom ben ik mij nu aan het oriënteren op de mogelijkheden en eisen.

[Gomez12]

Peunage schreef op dinsdag 05 maart 2013 @ 14:43:
[...]

Dat is juist de reden dat ik deze vragen nu stel. Ik verwacht niet dat het meteen megagroot wordt. Daarom ben ik mij nu aan het oriënteren op de mogelijkheden en eisen.

Serieus advies : Of stel je deadline bij of gooi het plan nu al overboord.
Als je over 6 maanden iets wilt opleveren dan moet je momenteel niet met dit soort vragen zitten.

[djluc]

Lees verhalen van start-ups die die proces al doorgemaakt hebben. Genoeg te vinden, bijvoorbeeld: http://highscalability.com dan zie je hoe dit soort besluiten vaak genomen worden. Simpele start om te experimenteren kan bijvoorbeeld AWS zijn.

[Rolfie]

Peunage schreef op dinsdag 05 maart 2013 @ 14:43:
[...]

Dat is juist de reden dat ik deze vragen nu stel. Ik verwacht niet dat het meteen megagroot wordt. Daarom ben ik mij nu aan het oriënteren op de mogelijkheden en eisen.

Zoals al gemeld, dan moet je nu al zeker navragen of jullie wel goed bezig zijn.
Zoals gemeld, als je nu al performance issues hebt, dan zou ik je code eens heel goed nalopen.

Je moet eerst eens goed nadenken over de Architectuur. En als je nu al de boven genoemde vragen moet stellen, dan hebben jullie serieus een issue.

Je zal zeker rekening moeten houden me een dedicated database server. Of misschien wel een Cluster?
Hoe ga je er bv mee om, als je straks meerdere webservers nodig heb om je load aan te kunnen? En hoe ga je deze load balancen?
Misschien meteen nadenken over images te offloaden. Apache is bv hierin niet de snelste.
Caching servers? Al over nagedacht?

En zo zijn er zeker nog andere dingen waar je over na moet denken.

[Peunage]

Rolfie schreef op dinsdag 05 maart 2013 @ 19:10:
[...]


Zoals al gemeld, dan moet je nu al zeker navragen of jullie wel goed bezig zijn.
Zoals gemeld, als je nu al performance issues hebt, dan zou ik je code eens heel goed nalopen.

Je moet eerst eens goed nadenken over de Architectuur. En als je nu al de boven genoemde vragen moet stellen, dan hebben jullie serieus een issue.

Je zal zeker rekening moeten houden me een dedicated database server. Of misschien wel een Cluster?
Hoe ga je er bv mee om, als je straks meerdere webservers nodig heb om je load aan te kunnen? En hoe ga je deze load balancen?
Misschien meteen nadenken over images te offloaden. Apache is bv hierin niet de snelste.
Caching servers? Al over nagedacht?

En zo zijn er zeker nog andere dingen waar je over na moet denken.

Maar dit zijn toch zaken waar een netwerkspecialist ook zegge in doet? Of is dit alleen aan de programmeur? Er komt binnenkort in ieder geval een professionele netwerkspecialist bij, omdat wij die kennis missen, dus ik vermoed dat die hier ook verstand van heeft.

[Exhar]

Peunage schreef op dinsdag 05 maart 2013 @ 21:23:
[...]

Maar dit zijn toch zaken waar een netwerkspecialist ook zegge in doet? Of is dit alleen aan de programmeur? Er komt binnenkort in ieder geval een professionele netwerkspecialist bij, omdat wij die kennis missen, dus ik vermoed dat die hier ook verstand van heeft.

Uhm, een netwerkspecialist is iemand die alles van routers en switches weet (even bruut).

Je zoekt een systeembeheerder, die kan je er meer over vertellen. En dan het liefst eentje met al wat meer ervaring op dit vlak

[frickY]

Als de server nu al moeite heeft met 1 gebruiker, vrees ik dat er tegen de huidige code geen hardware aan te slepen is. Je wilt in dergelijke systemen niet voor elke page view je database querien maar die data uit bijvoorbeeld memory cache kunnen lezen.

[ Voor 14% gewijzigd door frickY op 05-03-2013 21:31 ]

[Peunage]

Exhar schreef op dinsdag 05 maart 2013 @ 21:24:
[...]

Uhm, een netwerkspecialist is iemand die alles van routers en switches weet (even bruut).

Je zoekt een systeembeheerder, die kan je er meer over vertellen. En dan het liefst eentje met al wat meer ervaring op dit vlak

Volgens mij is (web)servers en hosting echt een netwerkdingetje hoor
Maar je hebt beide nodig in dit geval denk ik.

[The Eagle]

Als jij denkt dat (web)servers en hosting een netwerkdingetje is, heb je nu echt een serieus probleem. Assumption is the mother of all fuckups, en als je voor iets omvangrijks als wat jij schetst al niet weet wat je precies nodig hebt en waar je over praat dan nofi, maar stop er alsjeblieft mee voor je al je geld in een bodemloze put gestopt hebt.

[BtM909]

Gomez12 schreef op maandag 04 maart 2013 @ 23:37:
Illustratief verhaaltje : http://mashable.com/2011/03/30/scaling-instagram/
er was nog een uitgebreider verhaal over de instagram startup, maar die kan ik zo snel niet vinden.

Deze bedoel je: http://techcrunch.com/201...-co-founder-mike-krieger/?

[DiedX]

frickY schreef op dinsdag 05 maart 2013 @ 21:30:
Als de server nu al moeite heeft met 1 gebruiker, vrees ik dat er tegen de huidige code geen hardware aan te slepen is. Je wilt in dergelijke systemen niet voor elke page view je database querien maar die data uit bijvoorbeeld memory cache kunnen lezen.

Ik ben bang dat ik het hier mee eens ben. Ik weet iemand die je hiermee zou kunnen helpen, en heb je net een PB gestuurd.

[Rolfie]

Peunage schreef op dinsdag 05 maart 2013 @ 21:31:
[...]

Volgens mij is (web)servers en hosting echt een netwerkdingetje hoor
Maar je hebt beide nodig in dit geval denk ik.

Volgens mij maak je hier een grote fout.
Zoals aangegeven een nnetwerkspecialist doet zoals het al zegt, 'netwerken". Routers, Firewalls en switches (even heel kort door de bocht).

En een netwerk beheerder voor 1 server is was overkill.

Je hebt een server beheerder nodig voor het beheer van de OS (webserver). Maar die kan je vaak ook niet echt veel vertellen hoe je een applicatie architectuur moet opbouwen.

Waar jij eerst naar opzoek moet is een Architect. Als je enig sinds groot wil kunnen worden, zonder dat ga je het echt niet redden. Zeker niet met de antwoorden die je hier nu noemt op de vragen / opmerkingen die je nu noemt. En dat is niet verkeerd bedoelt.

Als je bij 1 gebruiker al issues hebt met performance, dan gaat je site op zijn gat bij 10 of 100 of nog meer gebruikers.
Een Normale beheerder gaat dit issue ook niet oplossen voor je. Je moet eerst goed nadenken over hoe gaat je applicatie communiceren. Hoe kan je bv een scale out doen?

Jullie zijn eigenlijk een paar stappen te ver. En zijn eigenlijk gaan bouwen in de techniek, Zonder eerst een goed design te maken of over dingen goed na te denken.
Techniek is hier niet de meest belangrijkste.

Klassieke fout

En het hoeft allemaal niet heel erg complex te zijn. Maar als je er nu niet over nadenk, dan kan je nu beter stoppen. Want je gaat een heel hoop shit over je krijgen. En uiteindelijk mislukt het helemaal.

[ Voor 6% gewijzigd door Rolfie op 05-03-2013 22:11 ]

[Gomez12]

Rolfie schreef op dinsdag 05 maart 2013 @ 22:06:
[...]
Waar jij eerst naar opzoek moet is een Architect. Als je enig sinds groot wil kunnen worden, zonder dat ga je het echt niet redden. Zeker niet met de antwoorden die je hier nu noemt op de vragen / opmerkingen die je nu noemt. En dat is niet verkeerd bedoelt.

Geef het beestje een naampje (netwerkbeheerder / systeembeheerder / architect / weet ik veel wat) het is allemaal verkeerd.

Ze hebben geen specialist nodig (althans niet met maar 1 programmeur in dienst), ze hebben een ervaren allrounder nodig die mee kan helpen coden, na kan denken over de infrastructuur, na kan denken over de scalingmogelijkheden etc. etc.

Als je nu naast TS een specialist gaat zetten dan krijg je enkel 2 mensen die elkaar niet begrijpen en niets met elkaar kunnen opbouwen, de specialist zal zeggen : Je moet dit of dat doen en TS zal vragen : hoe dan?

Alleen zie maar eens een ervaren allrounder te vinden als je die niet in je kennissenkring hebt zitten, die trek je niet zomaar van monsterboard af. Dat is veelal een kwestie van relaties...
En ik vermoed dat een ervaren allrounder al snel de chaos overziet bij dit project en ervoor bedankt (meerdere mensen die met ideeeen komen en maar 1 persoon die ze kan developen. En de developer heeft geen kennis van zaken als het maar om de basale dingen gaat)

Als ik TS was dan zou ik onderhand gewoon simpelweg een technische partner zoeken die het concept technisch kan invullen. Zoals het er nu naar uitziet tweet de juiste persoon iets over je website en heb je een paar seconden euforie-gevoelens omdat je iedereen ziet toesnellen en daarna heb je een rokende server.
En daar gaat geen netwerk-specialist je mee helpen als je niet al scalability in je code hebt ingebouwd.

Specialisten zijn over het algemeen heel erg handig als je tig andere handjes hebt die wensen van de specialist in andere gebieden kunnen invullen. Zonder die invullende handjes heb je veelal niets aan een specialist.

[PerfectPC]

Gomez12 schreef op woensdag 06 maart 2013 @ 01:05:
[...]
Ze hebben geen specialist nodig (althans niet met maar 1 programmeur in dienst), ze hebben een ervaren allrounder nodig die mee kan helpen coden, na kan denken over de infrastructuur, na kan denken over de scalingmogelijkheden etc. etc.

jup, klopt

Gomez12 schreef op woensdag 06 maart 2013 @ 01:05:
[...]
En ik vermoed dat een ervaren allrounder al snel de chaos overziet bij dit project en ervoor bedankt

ja, klopt jammer genoeg ook helemaal

[Peunage]

Bedankt voor advies!
We zijn ons natuurlijk bewust van het gebrek aan specialistische kennis, dat heb ik ook duidelijk gemaakt bij het begin van het ontwikkelingsproces. Ik heb het hier misschien nog niet vermeld, maar er komt in ieder geval nog een ervaren technicus bij.

Of het al dan niet een netwerkspecialist, systeembeheerder of systeem/software architect is wordt nog duidelijk. Door de natuur van het concept zijn we wat voorzichtig met het binnenhalen van mensen maar het is ook van belang om zo snel mogelijk online te zijn. De launch zal waarschijnlijk gewoon opgeschoven worden.

[Gomez12]

Peunage schreef op woensdag 06 maart 2013 @ 10:35:
Bedankt voor advies!
We zijn ons natuurlijk bewust van het gebrek aan specialistische kennis,

Lees eens terug, specialistische kennis heb je niets aan als je maar 2 mensen hebt.

Specialisten hebben inherent last van tunnelvisie waar het alles buiten hun specialisme betreft.

In wezen heb je bij een startup 200 taken die gedaan moeten worden door 2 man en een echte specialist kan 1 van die 200 taken uitmuntend goed doen, maar 199 taken simpelweg niet.

Wat hier de hele tijd geroepen wordt is juist geen specialistische kennis, het is allemaal basale kennis op het moment dat je iets wilt gaan doen.

[DennusB]

Ik ben toch wel benieuwd of jullie code wel goed in elkaar zit. Als je met 1 gebruiker al vertraging merkt (ook al haal je 100 regels uit een tabel) dan gaat er echt iets niet goed met je code. Dat zou gewoon rete snel moeten zijn

[Peunage]

DennusB schreef op woensdag 06 maart 2013 @ 11:36:
Ik ben toch wel benieuwd of jullie code wel goed in elkaar zit. Als je met 1 gebruiker al vertraging merkt (ook al haal je 100 regels uit een tabel) dan gaat er echt iets niet goed met je code. Dat zou gewoon rete snel moeten zijn

Ik heb het getest en nagevraagd, de hickups lag niet aan de code maar tijdelijk aan de hostingprovider. De meeste pagina's laden nu in minder dan 0.05 seconden.

[Peunage]

Gomez12 schreef op woensdag 06 maart 2013 @ 11:29:
[...]

Lees eens terug, specialistische kennis heb je niets aan als je maar 2 mensen hebt.

Specialisten hebben inherent last van tunnelvisie waar het alles buiten hun specialisme betreft.

In wezen heb je bij een startup 200 taken die gedaan moeten worden door 2 man en een echte specialist kan 1 van die 200 taken uitmuntend goed doen, maar 199 taken simpelweg niet.

Wat hier de hele tijd geroepen wordt is juist geen specialistische kennis, het is allemaal basale kennis op het moment dat je iets wilt gaan doen.

Dat begrijp ik ook wel, maar we moeten met meerdere mensen praten voordat we weten met wie we in zee gaan. Het zit er voor nu gewoon financieel en praktisch niet in om met een groot aantal verschillende technici te ontwikkelen.

[418O2]

Ik zou gewoon ergens een schaalbare managed VPS huren met lage specs. Je kan bij een beetje provider zo meer CPU kracht of geheugen krijgen als het nodig is

[Ethirty]

DennusB schreef op woensdag 06 maart 2013 @ 11:36:
Ik ben toch wel benieuwd of jullie code wel goed in elkaar zit. Als je met 1 gebruiker al vertraging merkt (ook al haal je 100 regels uit een tabel) dan gaat er echt iets niet goed met je code. Dat zou gewoon rete snel moeten zijn

Inderdaad. De code moet bij een concept voor een social media site al vanaf regel 1 zo geschreven zijn dat scale-out een kwestie van een server bijplaatsen is. En of dat nu een extra database server of een extra front-end server is, dat zou niet uit moeten maken. Anders is dit idee gedoemd om te mislukken. Het feit dat je nu met 1 gebruiker al performance problemen hebt en nog geen kaas van dit alles lijkt te hebben gegeten (nofi), doet mij het ergste vermoeden en dan kan je beter gelijk stoppen.

Ik moet terugdenken aan de begindagen van Hyves. Het maakte niet uit hoeveel servers ze wekelijks bijplaatsten, ik bleef het een trage site vinden. Dat zat hem in de code en als je eenmaal live bent en een userbase begint op te bouwen, dan gooi je niet ineens het roer om. Dat kost duizenden man-uren ontwikkelen met een grote groep ontwikkelaars, architecten, beheerders (netwerk, server, database) en managers om je heen om te corrigeren en ik denk dat we allemaal weten dat Hyves alleen nog een plekje in de marge heeft tot het uiteindelijk helemaal afsterft.

Het aantal all-rounders dat je hierbij kan helpen is zeldzaam en verkoopt zijn huid waarschijnlijk duur

[LiquidT_NL]

Peunage schreef op woensdag 06 maart 2013 @ 11:56:
[...]

Dat begrijp ik ook wel, maar we moeten met meerdere mensen praten voordat we weten met wie we in zee gaan. Het zit er voor nu gewoon financieel en praktisch niet in om met een groot aantal verschillende technici te ontwikkelen.

Kan je je dan niet beter afvragen in hoeverre het idee uberhaupt haalbaar is? De vragen die je stelt zijn wel echt hele eenvoudige vragen, en gaan juist over de onderwerpen waar een social media site sterk in moet zijn.

[leuk_he]

DennusB schreef op woensdag 06 maart 2013 @ 11:36:
Ik ben toch wel benieuwd of jullie code wel goed in elkaar zit. Als je met 1 gebruiker al vertraging merkt (ook al haal je 100 regels uit een tabel) dan gaat er echt iets niet goed met je code. Dat zou gewoon rete snel moeten zijn

Dit roepen meerdere mensen. Echter het is nauwelijks ergens op gebaseerd. Als er op de zelfde shared host een drukke site zit drukt die de site van topic starter helemaal weg. Een goedkope oplossing is wellicht een paar andere 15 euro/j providers te proberen en kijken of het daar net zo traag is.


Een VPS ipv een shared server is de volgende stap, daarna kun je kiezen om een dedicated server te nemen, of gewoon je eigen hardware te kiezen.

Als je site niet van begin af aan gebouwd is om op te schalen/clusteren dan is dat niet echt een optie.

Echter een site als tweakers.net draait ook een heel beperk aantal server. 1 webserver, 1 database server.

[Peunage]

LiquidT_NL schreef op woensdag 06 maart 2013 @ 12:03:
[...]

Kan je je dan niet beter afvragen in hoeverre het idee uberhaupt haalbaar is? De vragen die je stelt zijn wel echt hele eenvoudige vragen, en gaan juist over de onderwerpen waar een social media site sterk in moet zijn.

Het is zeker haalbaar, alleen de tijdperiode die wij voor ogen hadden moet gewoon aangepast worden. Een vermoeden dat ik al had, maar alleen maar bevestigd wordt.

[Ethirty]

leuk_he schreef op woensdag 06 maart 2013 @ 12:08:
Echter een site als tweakers.net draait ook een heel beperk aantal server. 1 webserver, 1 database server.

Het zit iets ingewikkelder in elkaar dan dat. Dit alleen al is de backup locatie (kan zo even niet terugvinden wat het primaire systeem is).

[DennusB]

leuk_he schreef op woensdag 06 maart 2013 @ 12:08:
[...]

Echter een site als tweakers.net draait ook een heel beperk aantal server. 1 webserver, 1 database server.

Sorry? Tweakers.net op 1 webserver en 1 db server? HAHAHAHAHA. Check www.tweakers.net/stats anders even voor je zulke belachelijke dingen gaat roepen!

[leuk_he]

Ik ben me heel erg van bewust dat er meer tweakers servers zijn. Maar in essentie is het een simpele lamp server setup. Database staat op 1 server, php /java meuk op een andere. Niks storage server (gewoon veel ram en een SSD) , niks virtualisatie. En traditionele cluster waar je gewoon een extra server bij zet en de load dan verdeeld wordt over de extra server is nauwelijks sprake van. Er is gewoon goed geoptimaliseerde sofware die op 1 zwaar stuk ijzer draait. En zo zitten veel sites in elkaar.

Dit in tegenstelling tot b.v. google of facebook die op een echter cluster met een NO-sql omgeving draaien waar je zo een extra server erbij of eraf kunt halen om de load te managen. Maar daar moet je vanaf stap 1 over na denken.

[Felyrion]

DennusB schreef op woensdag 06 maart 2013 @ 12:30:
[...]


Sorry? Tweakers.net op 1 webserver en 1 db server? HAHAHAHAHA. Check www.tweakers.net/stats anders even voor je zulke belachelijke dingen gaat roepen!

Beetje offtopic, maar voor de volledigheid:

28 servers, waarvan 10 webservers, 6 DB servers, 2 fileservers, 2 loadbalancers, 3 VM servers en nog 5 servers voor andere zaken.

ontopic:

Zorg in ieder geval dat je een goede (en realistische) toekomstvisie op papier hebben staan. Voor meerdere lagen: business, informatie/applicatie en technisch.
Maak daar (of laat maken) een goede architectuur van, met als uitgangspositie dat alles mogelijk moet zijn. Of je nu na een paar maand weer afdruipt zonder succes of dat het sky-high gaat en een internationaal succes wordt. Vergeet ook niet dingen zoals high availability, disaster recovery en backup mee te plannen.

De meeste technici of programmeurs houden ervan om gewoon lekker te beginnen en dan te kijken waar het heen gaat, maar voor zo'n project is dat wellicht niet zo'n goed plan.


Voor een project waar ik mee te maken heb gehad hebben we ooit voor een hybrid oplossing gekozen. Eigen rackspace met wat hardware, waar al loadbalancing inzat. Alles al in het "klein" gebouwd. 2 DB servers, 2 webservers 1 fileserver en een loadbalancer. En dan alles met in het achterhoofd dat er overal wat bijgeschoven kon worden. En dat bijschuiven kun je vanuit de cloud doen als je het handig aanpakt.
Zo heb je een stabiele eigen beheerde basis, maar kun je snelle groei en pieken wel opvangen.

Op een dergelijke manier zou je ook kunnen ontwikkelen. Zorg voor een virtuele omgeving (esxi bijvoorbeeld) waar je alles in kunt simuleren, dan weet je wat er gebeurt als er bijgeschakeld moet worden.

[Gomez12]

leuk_he schreef op woensdag 06 maart 2013 @ 12:58:
En traditionele cluster waar je gewoon een extra server bij zet en de load dan verdeeld wordt over de extra server is nauwelijks sprake van. Er is gewoon goed geoptimaliseerde sofware die op 1 zwaar stuk ijzer draait. En zo zitten veel sites in elkaar.

Nope, de load wordt wel verdeeld richting de extra server, maar niet direct en op "gevirtualiseerd". Als morgen de mysql db-server giga-load krijgt vanwege tweakblogs dan gaat er misschien overmorgen gekeken worden naar hoe ze tweakblogs kunnen overhevelen naar een nieuwe server.

T.net bevat simpelweg tig componenten en momenteel wordt de loadverdeling gedaan door componenten te verschuiven.

T.net kan al een hele tijd niet meer op 1 betaalbare server gedraaid worden, er wordt niet gevirtualiseerd maar er vindt nog wel een soort van handmatige loadbalancing plaats tussen wat waar draait.

Dit is ook een weg die TS zou kunnen inslaan, enkel dan moet hij de componenten wel allemaal zo programmeren dat deze makkelijk los te koppelen zijn. (En het is maar net de vraag of je daar wel iets mee opschiet met een social platform, CDN etc gaat veelal veel zwaarder tellen dan een simpel load getalletje)

Peunage schreef op woensdag 06 maart 2013 @ 12:08:
[...]
Het is zeker haalbaar, alleen de tijdperiode die wij voor ogen hadden moet gewoon aangepast worden. Een vermoeden dat ik al had, maar alleen maar bevestigd wordt.

Of je zegt het rot, of je ziet het niet denk ik...
Het is niet alleen de tijdsperiode, het is de hele aanpak. Jullie hebben momenteel simpelweg geen idee wat je nodig hebt en dan helpt alleen programmeertijd je niet.
Je hebt funding nodig om mensen met verstand van zaken aan te trekken. En dan kan je in combinatie met die mensen bepalen wat de benodigde tijd is (en wat er aan additionele funding nodig is)