Tijdelijk server huren?

[Verwijderd]

Voor een project heb ik een MySQL database gevuld met een paar miljoen tweets. Op elke tweet wil ik een aantal bewerkingen uitvoeren - hiervoor heb ik een stukje (PHP) software geschreven. Mijn laptop trekt het om 150 - 200 tweets per minuut te bewerken. Het gaat dus dagen duren voordat de hele dataset bewerkt is.

Ik vraag mij dus af er een soort hosters met veel snellere servers zijn waar ik mijn php en database kan uploaden, en waar de bewerking in een of enkele uren klaar is. Ik betaal dat voor de tijd dat de service is gebruikt (of voor het aantal berekeningen dat is uitgevoerd oid).

Ik hoor graag of jullie van die diensten kennen en zo het even kan - of iemand er ook ervaring mee heeft. Dit topic heb ik overigens niet geopend om te discussieren over de efficiency van mijn aanpak Ongetwijfeld is eea veel sneller te maken door optimalisatie en compilatie, maar daar wil ik nu niet aan beginnen.

[edit] Misschien is het wel even handig om te expliciteren dat ik een service zoek zonder abonnement. Dit is een eenmalige bewerking die ik wil uitvoeren. Misschien over een aantal weken nog eens, maar zeker niet met enige regelmaat.

[ Voor 11% gewijzigd door Verwijderd op 16-02-2012 22:22 ]

[SeatRider]

Mijn vraag gaat wel over efficiency, maar dan met name over je idee om dit allemaal op te gaan zetten voor een eenmalig iets. Zet je laptop nu aan, is ie morgen of overmorgen klaar, klaar!

[Herko_ter_Horst]

Los van dat je topic op de verkeerde plek staat: Amazon EC2.

[Nic]

Wat jij wilt is precies wat Amazon EC2 doet: je kunt servercapaciteit per uur huren, en je zit nergens aan vast.
http://aws.amazon.com/ec2/

Los van het feit dat er iets niet helemaal efficient gaat als je maar 150-200 bewerkingen per uur haalt...

[Microkid]

Amazon?

edit: duh, spuit 11

[ Voor 65% gewijzigd door Microkid op 16-02-2012 22:26 ]

[karstnl]

Kun je niet de database splitsen, zodoende op meerdere laptops/pcs wat draaien.

[RemcoDelft]

dsltv schreef op donderdag 16 februari 2012 @ 22:25:
Los van het feit dat er iets niet helemaal efficient gaat als je maar 150-200 bewerkingen per uur minuut haalt...

Fixed
Maar ook dan vind ik het niet bijster veel: slechts enkele bewerkingen per seconde voor zeer kleine stukjes (neem ik aan) tekst.
Heb je een voorbeeld van de bewerkingen waar het om gaat?

[ Voor 7% gewijzigd door RemcoDelft op 16-02-2012 22:27 ]

[Verwijderd]

Door middel van Amazon kun je hier de prijs calculatie doen http://calculator.s3.amazonaws.com/calc5.html

[Verwijderd]

Dat is ook een beetje mijn vraag, wat kun je met tekst doen wat 0.3 seconden kost?

[djluc]

Tsja, zo duurt het voor 2 miljoen records zo'n 166 uur. Als je met 1 proces werkt. Uiteraard kan het ook met meerdere processen, gewoon elke instance een bepaalde hoeveelheid tweets en het is ook zo geregeld.

Verwijderd schreef op donderdag 16 februari 2012 @ 22:28:
Dat is ook een beetje mijn vraag, wat kun je met tekst doen wat 0.3 seconden kost?

Kan prima, zeker als je zaken gaat relateren e.d. schiet dat wel op. Kan sneller maar een simpel script kan dat zeker halen zolang je geen goede algoritmes gebruikt.

[ Voor 47% gewijzigd door djluc op 16-02-2012 22:29 ]

[downtime]

Verwijderd schreef op donderdag 16 februari 2012 @ 22:20:
Dit topic heb ik overigens niet geopend om te discussieren over de efficiency van mijn aanpak Ongetwijfeld is eea veel sneller te maken door optimalisatie en compilatie, maar daar wil ik nu niet aan beginnen.

Eerlijk gezegd denk ik dat je daar toch moet beginnen. De aanname dat een server het met die code veel sneller kan doen dan jouw laptop zou best eens een onjuiste kunnen zijn. Dat hangt er namelijk maar van af waar de bottleneck zit.

Kan me de ruzie discussie op m'n werk herinneren toen ontwikkelaars merkten dat hun website op onze (redundant uitgevoerde) webservers maar een fractie van de performance haalde die zij in een VM op hun laptop haalden. Maar slechte code laat zich soms slecht schalen.

[Verwijderd]

Verwijderd schreef op donderdag 16 februari 2012 @ 22:28:
Dat is ook een beetje mijn vraag, wat kun je met tekst doen wat 0.3 seconden kost?

Misschien had ik hier wat dieper op in moeten gaan Een van de bewerkingen is dat als ik te maken heb met een retweet (RT), ik in de database zoek naar de originele tweet, om zo het id-nummer op te halen van de originele tweet. Daarnaast wordt elke @username gematched tegen een usertabel. Verder haal ik de tweet door een POS tagger, om daarna nog wat eenvoudige bewerkingen uit te voeren (leestekens verwijderen, etc.)

[NMe]

Ik zie niet hoe dit iets met Programming te maken heeft?

PRG >> IH

[Verwijderd]

Herko_ter_Horst schreef op donderdag 16 februari 2012 @ 22:25:
Los van dat je topic op de verkeerde plek staat: Amazon EC2.

Dat had ik zelf ook gevonden, maar ik vraag me af wie er daadwerkelijk ervaring mee heeft. Dat is nog niet zo eenvoudig in het gebruik als dat iedereen hier doet voorkomen

[Gomez12]

Hoeveel haast heb je hiermee?

Persoonlijk zou ik voor die 166 uur die te verdelen is simpelweg het in een l(/w)amp-pakketje gieten en een stuk of 20 pc's zoeken zodat het in 1 dag klaar is.

Ik gok dat het bestellen en opzetten bij Amazon (als je het nooit eerder hebt gedaan) meer tijd gaat kosten.

[Herko_ter_Horst]

Hoeveel tijd denk je dat het installeren van 20 pc's kost? Dit is nu juist wat Amazon al voor je gedaan heeft: je neemt een Ubuntu AMI, zet je PHP script erop en gaan. https://help.ubuntu.com/community/EC2

[Garyu]

Als het maar 1 keer 166 uur is, dan zet je die PC toch gewoon een week in een hoekje en klaar?

Voor sommige van onze berekeningen wacht je ook een paar dagen op het resultaat, big deal, gewoon zorgen dat je daar qua tijd niet van afhankelijk bent en je kan gewoon een willekeurig PC'tje aan het rekenen zetten. Beetje zoals in de tijd van de mainframes zeg maar, maar goed, het is zo financieel gezien het efficienst.

[SinergyX]

Toevallig geen familie/vrienden die een wat snellere PC hebben staan? Die een paar uurtjes lenen (desnoods in batches) en ben je ook zo klaar. Mag aannemen dat een beetje PC wel factor x sneller kan zijn dan je laptop.

[Verwijderd]

Directvps.nl, daar kan je een gratis VPS aanvragen voor 7 dagen. Verloopt automatisch weer zonder meerkosten.

Meen dat je wel even contact met ze op moet nemen hiervoor.

[ Voor 22% gewijzigd door Verwijderd op 17-02-2012 20:24 ]

[tweakG5]

Zet een advertentie in de V&A voor iemand met een hele snelle pc/server, bijvoorbeeld met 24 of meer cores. Betaal je er wat voor en is het een stuk sneller geregeld.

[DukeBox]

Waar zit de bottleneck ? CPU of Disk IO ?
Dat laatste zou je kunnen oplossen om bijv. een SSD te nemen.
Valt er nog te optimaliseren aan je SQL database / querys ?