Krachtige hosting voor website met beeldbewerking

[flopdral]

Hallo allemaal,

Mijn naam is Flopdral, nieuw op dit forum (meelezen niet meegeteld).
Ik ben voor een bekende van me bezig met een website waarop veel beeldbewerking wordt gedaan.
Er worden op deze website (grote) afbeeldingen in elkaar gedraaid met PHP en Imagick, de PHP-versie van ImageMagic. Dit proces kost volgens mij nogal aardig wat kracht van de server en is daardoor ook erg langdurig.
Ook vraag ik me af wat er gebeurt als er bijvoorbeeld 3 bezoekers tegelijkertijd zo'n proces starten.

Dit zou ik graag willen oplossen en het lijkt me het beste om de website op een krachtige server te zetten.
Is dit de juiste denkwijze?

Zo ja, waar moet ik op letten bij het uitzoeken van een nieuwe hostingprovider die hiervoor geschikt is? Of kennen er iemand hier toevallig zo'n provider?

[418O2]

Veel vps'en zijn wel schaalbaar. Hoeveel power je nodig hebt moet je uittesten.

[McKaamos]

Sja, daar valt zonder enige info niks over te zeggen.
Wat Catch22 al zegt, je kan een VPS (Virtual Private Server) huren en als blijkt dat je niet genoeg capaciteit hebt, gewoon power laten bijschalen. Dat kan tegenwoordig zonder enige significante down time.

[MAX3400]

Is weinig over te zeggen; ga eerst eens definieren wat een "grote afbeelding" is? Is dat een RAW-bestand van 300 megapixel of is dat een GIF van 400B? En wat is dan de bewerking die eroverheen moet? Is het een relatief simpele resize? Of laat je 30 opeenvolgende filters los die allerlei kleurverschillen etc moeten toepassen?

Dit proces kost volgens mij nogal aardig wat kracht van de server en is daardoor ook erg langdurig.

Meten is weten. Aangezien je al weet hoe de website moet werken, heb je deze waarschijnlijk ook al draaien thuis of op werk op een bepaald stuk hardware of in een VM. En hoe lang duurt een bewerking daar dan?

En als laatste; mensen raden in dit topic een VPS aan maar niet alle hosters hebben hier een ondergrens aan hardware aanzitten oftewel sommige VPS'en hebben "shared hardware" en je kan dan maximaal zoveel RAM en zoveel MHz gebruiken. Persoonlijk denk ik, maar ook dat mag je zelf even uitzoeken & posten, dat het proces httpd -> PHP -> Imagick multithreading is en je dus veel meer plezier gaat hebben van een (kleine) dedicated server waar je dan middels een relatief goedkope Xeon en relatief veel geheugen, je doorlooptijd van je processen aanzienlijk kan inkorten en/of meer processen tegelijk kan afhandelen.

[Ramon]

Beetje tegenstrijdig advies, MAX3400, om eerst te zeggen dat hij moet testen en daarna de duurste optie aan te raden.

We weten niet eens of de site wel commercieel iets oplevert en het waard is om honderden euro's te investeren. Ik zou dus zeker weten eerst een goedkope VPS proberen om te kijken hoe de performance daar is.

[MAX3400]

Ramon schreef op woensdag 26 augustus 2015 @ 07:59:
Beetje tegenstrijdig advies, MAX3400, om eerst te zeggen dat hij moet testen en daarna de duurste optie aan te raden.

We weten niet eens of de site wel commercieel iets oplevert en het waard is om honderden euro's te investeren. Ik zou dus zeker weten eerst een goedkope VPS proberen om te kijken hoe de performance daar is.

Hoezo tegenstrijdig? Blijkbaar heb je meer informatie dan ik over prijzen? Ja, je kan een VPS opspinnen voor een maandje voor kosten van 5 tot 20 Euro en dan heb je best een mooie machine. Maar voor minder dan 20 Euro kan je ook al een pricewatch: Intel Core i5 750 Boxed in een dedicated server met 16GB RAM huren. Dus nee, ik vind zeker niet dat het tegenstrijdig is. Ik vind het eigenlijk ergerlijker dat je meteen de prijzen opdrijft (en mijn antwoord dus vervormd) naar "honderden Euro's investeren"; dat is eenvoudigweg niet waar!

Daarnaast, en ik ken echt heel weinig VPS-providers die het wel durven te zeggen: VPS'en zijn vaak shared hardware (zoals ik al aangaf) en/of draaien op iets als KVM of XenServer en hierdoor kan het voorkomen dat als jij 2 tests doet van elk 4 uur aan bewerkingen, dat de resultaten niet consistent zijn. Het is mijn inziens dus veel slimmer om een test te doen op fysieke hardware (al dan niet eigen virtualisatie) omdat je zo veel randvoorwaarden als overige processen in de gaten kan houden. Hiermee kan je zelf mooie benchmarks op papier krijgen en kan je daarmee naar een hoster met de open vraag "ik heb dit of dat nodig met die PHP-versie of zoveel GB RAM".

[Ramon]

Excuses, ik dacht dat je het over plaatsen van zelfgekochte serverhardware had. Als je het met weinig kosten kan testen op dedicated hardware is dat ook prima natuurlijk.

[MAX3400]

Ramon schreef op woensdag 26 augustus 2015 @ 08:19:
Excuses, ik dacht dat je het over plaatsen van zelfgekochte serverhardware had. Als je het met weinig kosten kan testen op dedicated hardware is dat ook prima natuurlijk.

Ben wel gek maar niet zo gek. We zitten weer op 1 lijn

[flopdral]

MAX3400 schreef op woensdag 26 augustus 2015 @ 07:24:
Is weinig over te zeggen; ga eerst eens definieren wat een "grote afbeelding" is? Is dat een RAW-bestand van 300 megapixel of is dat een GIF van 400B? En wat is dan de bewerking die eroverheen moet? Is het een relatief simpele resize? Of laat je 30 opeenvolgende filters los die allerlei kleurverschillen etc moeten toepassen?

De grootte van de afbeeldingen is verschillend. Dit kan een bezoeker namelijk zelf aangeven.
Uiteindelijk wordt de output een druk-klaar 1-op-1 bestand (pdf, misschien jpg), aan de hand van de input van de gebruiker. Een bestand kan maximaal 1,5 meter breed zijn en maximaal 20 meter lang. Met een dpi van 300 (voorkeur!) kom ik dan uit op een resolutie van 17716 x 236220. Dit zal op uitzonderingen na, de maximale grootte van een output-bestand zijn.

De website is in principe een ontwerp-tool. De bezoeker kiest een product, een afmeting en kan dan zelf zijn eigen product ontwerpen.
Hij of zijn kan hier afbeeldingen aan toevoegen (dit kunnen WhatsApp-foto's zijn maar ook bijvoorbeeld RAW bestanden. Ook pdf- en psd-bestanden zijn toegestaan, deze worden tijdens de upload d.m.v. Imagick omgezet naar jpg (of png).
Ook kan de bezoeker tekst toevoegen en toegevoegde afbeeldingen voorzien van filters (a-la Instagram).
Dit alles kan geschaald, verplaatst en geroteerd worden.

Wanneer de bezoeker tevreden is met zijn ontwerp, wordt deze opgeslagen en verwerkt.
Op dat moment worden alle toegevoegde items ge-exporteert naar één bestand. Dat wil zeggen dat voor elk onderdeel berekend wordt wat de (uiteindelijke) breedte + hoogte is, wat de positie is en wat de draaihoek is.
Teksten worden ook door middel van Imagick op de juiste plek gezet. Het juiste lettertype, kleur, grootte en de draaihoek worden dan ook berekend en ingesteld.

418O2 schreef op dinsdag 25 augustus 2015 @ 23:58:
Veel vps'en zijn wel schaalbaar. Hoeveel power je nodig hebt moet je uittesten.

Een VPS lijkt me inderdaad een goede keuze. Maar heeft dit wel voordeel ten opzichte van shared hosting als de hardware gedeeld wordt (zoals hierboven over wordt verteld)?

Op dit moment draait de website om te testen op een shared hosting server met deze specs:

4x deze processor:
Intel(R) Xeon(R) CPU E5620 @ 2.40GHz
GenuineIntel
2400.085 MHz

Total Memory: 6112020 kB

Als ik kies voor een VPS, wil ik natuurlijk een snellere bak hebben dan dit. Echter zie ik veel VPS-pakketten beginnen bij 1 processor. Betekent dit dat ik bij het kiezen van een VPS-pakket minimaal 4 processoren en 6gb geheugen moet kiezen? Of valt dit niet te vergelijken?

[ Voor 18% gewijzigd door flopdral op 26-08-2015 18:05 ]

[418O2]

Een hoster heeft vaak nauwelijks nog fysieke servers (serieuze partijen iig). Alles is gevirtualiseerd als het goed is. Daardoor kunnen ze ook makkelijk cpukracht en geheugen opschalen.

Je moet gewoon testen.

[ Voor 6% gewijzigd door 418O2 op 26-08-2015 18:10 ]

[MAX3400]

flopdral schreef op woensdag 26 augustus 2015 @ 17:59:
[...]
heeeel verhaal

Wow, veel info. Je hebt in ieder geval een test-server al in gebruik. Heb je hier metingen op uitgevoerd voor 1, 2, 3 en misschien zelfs 10 gelijktijdige resizes? En dan ook nog eens met plaatjes die echt schunnig groot zijn zoals 44 megapixel RAW? En wat doet dat dan voor de load op de CPU en het RAM? Kan me zo voorstellen dat, gezien overige opmerkingen/klachten over Imagick, je een redelijk unieke en correcte PHP-instance moet hebben draaien om dit af te handelen.

Oudere waarden die ik vond, gingen over ongeveer 500MB RAM per 10 megapixel per proces. Zelfs al zou het de helft zijn, dan kom ik op 250MB/10 megapixel. Voor 44mp kom ik voor het gemak op 1GB en voor 10 resizes tegelijk dus mogelijk al op 10GB RAM.

Als je waarden & benchmarks hebt van jouw setup, zijn die wel erg interessant om te weten.

418O2 schreef op woensdag 26 augustus 2015 @ 18:09:
Een hoster heeft vaak nauwelijks nog fysieke servers (serieuze partijen iig). Alles is gevirtualiseerd als het goed is. Daardoor kunnen ze ook makkelijk cpukracht en geheugen opschalen.

Ben je serieus of maak je een grapje? Leaseweb, i3d, OVH, Hetzner etc. hebben echt nog zo'n ontzettende hoeveelheid dedicated ijzer staan ter verhuur dat je onmogelijk kan zeggen dat het geen serieuze partijen zijn. Alleen al OVH heeft bijna 1 miljoen (!!!) fysieke pizza-dozen in allerlei vormen en maten in de racks hangen. Leaseweb (die kleine hoster uit Amsterdam) beheert grofweg 70.000 fysieke machines.

[Gomez12]

flopdral schreef op woensdag 26 augustus 2015 @ 17:59:
[...]
De grootte van de afbeeldingen is verschillend. Dit kan een bezoeker namelijk zelf aangeven.
Uiteindelijk wordt de output een druk-klaar 1-op-1 bestand (pdf, misschien jpg), aan de hand van de input van de gebruiker. Een bestand kan maximaal 1,5 meter breed zijn en maximaal 20 meter lang. Met een dpi van 300 (voorkeur!) kom ik dan uit op een resolutie van 17716 x 236220. Dit zal op uitzonderingen na, de maximale grootte van een output-bestand zijn.

De website is in principe een ontwerp-tool. De bezoeker kiest een product, een afmeting en kan dan zelf zijn eigen product ontwerpen.

Dit is imho meer een ontwerp keuze die je moet maken dan een server-keuze.

Persoonlijk zou ik die max-afbeeldingen gewoon grondig downscalen, mensen alle mutaties laten doen in het gedownscalede bestand en de mutaties loggen. Dan kan de gebruiker een preview voorlopig goedkeuren, als de gebruiker die goed vind gooi je het originele bestand en de gelogde mutaties naar een 2e vps/server die een queue draait en enkel de mutaties over het originele bestand uitvoert waarna de gebruiker een mailtje krijgt ter finale goedkeuring (maar dit kan dus ook 12 uur later zijn bijv) en daarna is het proces pas afgerond.

Je wilt niet op een php-server daadwerkelijk met imagemagick in jouw maximale output-formaat gaan werken, dat dwingt zo ongeveer elke betaalbare server op zijn knieën als je met 3 man gaat werken.
Bereken voor de grap ook eens het geheugen gebruik van 1 bewerking op zo'n formaat.

Ik zou zeggen : Downscalen naar random formaat (bijv 2000x2000 max) die muteren en daarna mutaties over origineel laten lopen, dan kan je bijv bij effecten ook voor een iets minder zware variant kiezen en de zwaarste enkel op het origineel uitvoeren etc.

[Kees]

Inderdaad, dit soort verwerking schreeuwt om queue's / batchprocessing. Probeer het voor de gebruiker snel te houden en offload de uiteindelijke verwerking naar een queue die het weer verwerkt met max #CPU threads op een tweede server (om zo de webserver snel te houden).

[flopdral]

Sorry voor de stilte van mijn kant. Er zijn wat onderdelen die een hogere prioriteit hebben op dit moment, dus ik ga later deze week weer aan het rondzoeken/testen met de hosting/VPS.

Het idee van queue's en batchprocessing vind ik trouwens geniaal en - mocht de website goed gaan lopen - misschien zelfs noodzakelijk. Stom dat ik daar zelf niet eerder aan heb gedacht. Begrijp ik het goed dat ik dan het beste met 2 servers kan werken? Of kan dit ook op één VPS server?
Heb me ondertussen wat ingelezen in VPS, echter heb ik nog nooit zelf een VPS beheerd. Zal niet al te moeilijk zijn toch?

[emnich]

Of het op één server kan ligt volledig aan de hoeveelheid afbeeldingen die je gaat verwerken en hoe snel het moet.

Je zou de queue alleen s nachts kunnen laten verwerken. Of alleen als de load onder X is.

Ga gewoon testen met een server en kijk wat die aan kan. Opschalen kan altijd

[Nenoki]

Ik zou inderdaad ook met 1 VPS starten en zodoende gaan kijken hoe het gaat met de load en het geheugen/cpu gebruik van de server. De meeste providers kunt u zonder problemen en lastige verhuizingen opschalen naar een grotere VPS zodat u dan alsnog over meer resources kunt beschikken. Het is ook jammer om aan het begin te veel kosten te hebben.

De verwerking van data kun je inderdaad het beste op rustige momenten uitvoeren of verdelen door maximaal x aantal querys in een bepaalde tijd uit te laten voeren.

[johnkeates]

Je kan in elk geval shared basic hosting vergeten, en 99% van de managed hosting zal ook niet werken.
Ik heb zelf redelijk wat van dit soort setups opgezet waarbij met PHP en imagick (en dus imagemagick) en een queue (ZeroMQ, ActiveMQ, RabbitMQ, gearman en beanstalkd allemaal wel gehad) dit soort dingen gedaan werden. Meest recent nog een paar simpelere setups waarbij het om bewerkingen ging zoals cropping, filters, combineren, roteren enz. maar dan wel meteen op 300DPI of meer, en dan bestanden van honderden MB's. Dit wil je niet in je frontend stuk hebben, die kan op z'n best wat asynchrone calls maken maar that's it.

Qua server heb je voor ~10 gelijktijdige bezoekers 4GB RAM, SSD-speed storage en 8 cores nodig (minimaal Xeon E5xxx of Xeon E5-XXXX series) om dit soort dingen vlot te doen. Met 4 cores wil het ook wel als de bewerkingen niet te lang duren, anders krijg je een te lange queue. Minder huren/leasen qua hardware heeft ook weinig zin om dat je qua kosten niet veel lager uit komt. Een redelijke machine (dedicated) gaat je c.a. 80 euro per maand kosten om te leasen met een setje IPv4 adressen, remote KVM, RAID10 storage enz. Ik heb ze bij Leaseweb, PCX en OVH staan, waarbij het meeste toch nog bij Leaseweb staat. Zwaardere toepassingen ook wel op Rackspace en TransIP geprobeerd maar qua prijs/kwaliteit vaak toch net niet goed genoeg.

Hoe ga je de software inrichten of hoe is het op het moment ingericht? En hoeveel engineers heb je die er aan werken? En heb je iemand die de server gaat onderhouden?

[bvk]

johnkeates schreef op zaterdag 29 augustus 2015 @ 17:18:

Qua server heb je voor ~10 gelijktijdige bezoekers 4GB RAM, SSD-speed storage en 8 cores nodig (minimaal Xeon E5xxx of Xeon E5-XXXX series) om dit soort dingen vlot te doen. Met 4 cores wil het ook wel als de bewerkingen niet te lang duren, anders krijg je een te lange queue. Minder huren/leasen qua hardware heeft ook weinig zin om dat je qua kosten niet veel lager uit komt. Een redelijke machine (dedicated) gaat je c.a. 80 euro per maand kosten om te leasen met een setje IPv4 adressen, remote KVM, RAID10 storage enz. Ik heb ze bij Leaseweb, PCX en OVH staan, waarbij het meeste toch nog bij Leaseweb staat. Zwaardere toepassingen ook wel op Rackspace en TransIP geprobeerd maar qua prijs/kwaliteit vaak toch net niet goed genoeg.

Geef je met die € 80,- hier niet een wat te rooskleurig beeld?

Ik heb onderstaande server draaien bij i3D.net en betaal daar € 163,- voor per maand wat nog een "vaste klant" prijs is. Voor exact dezelfde server en zelfde overige opties betaal ik bij Leaseweb al € 249,-...



En dan is dat al het minimum als ik het hier zo'n beetje lees.

[ Voor 0% gewijzigd door bvk op 29-08-2015 19:17 . Reden: typo ]

[MAX3400]

bvk schreef op zaterdag 29 augustus 2015 @ 19:16:
[...]


Geef je met die € 80,- hier niet een wat te rooskleurig beeld?

Ik heb onderstaande server draaien bij i3D.net en betaal daar € 163,- voor per maand wat nog een "vaste klant" prijs is. Voor exact dezelfde server en zelfde overige opties betaal ik bij Leaseweb al € 249,-...

[afbeelding]

En dan is dat al het minimum als ik het hier zo'n beetje lees.

Zie ook MAX3400 in "Krachtige hosting voor website met beeldbewerking" en johnkeates had het bijvoorbeeld ook over OVH waar je bijvoorbeeld deze machines kan leasen. Ook Leaseweb (zie screenie) heeft redelijke machines te huur. Laten we ook niet vergeten dat jouw 100Mbit unmetered mogelijk voor ander gebruik is dan van de TS. Het gaat er vooral om dat de server data binnen krijgt van mensen die iets willen resizen, zeg maar; dat valt over het algemeen onder "gratis" data; uitgaande data is wel kostbaar(der) per host.

[ Voor 3% gewijzigd door MAX3400 op 29-08-2015 19:26 ]

[johnkeates]

Ik heb bijvoorbeeld een Dell PE R710 met iDRAC Enterprise, 1Gbit + 4TB Data, 8GB RAM en dual E5000 series Xeon voor 80 euro draaien bij Leaseweb ja. Maar ik draai dus Linux, niet unmetered en met minder RAM en minder nieuwe CPU. Natuurlijk heb ik er ook wel wat zwaar spul staan, maar dat is voor deze case niet relevant.

Je hebt ook helemaal niet de nieuwste CPU nodig en ook totaal geen Windows (=Resource hog en incompatible met zo'n beetje alles wat niet van MS is).

Voor een single node site met niet te veel concurrent bezoekers kan je prima low-budget dedicated bare metal gaan. Installeer uiteraard wel even Xen ofzo, en draai een fatsoenlijke stable Linux zoals Debian, en je zit goed. Nu zal je de hardware die ik heb niet voor die prijs direct kunnen krijgen als nieuwe klant, maar als je een portfolio opbouwt en goed met je account manager communiceert is er prima flink wat van de prijs af te halen.

Stel dat je simpelweg gewoon wil beginnen en gegarandeerde resources wil hebben, dan kan je ook voor een X-series Xeon van 5 jaar oud gaan, zegt op de servermarkt een stuk minder dan voor "w00t-1337-gamer" computers. Kijk hier bijvoorbeeld: https://www.leaseweb.com/...rocessor?processorCount=1

Single CPU (maar bijna altijd wel Quad Core), 4GB RAM, 1TB RAID1, 10TB traffic, HP DL120G6 voor 60 euro per maand incl. BTW. Daar kan je prima op starten en als je multi-level caching in je applicatie goed zit zal je nooit merken dat het niet op een of andere PCIe SSD constructie met 1TB RAM draait.

Voor 145/maand heb je een IBM X3630 met 2x4 cores, 8GB RAM 2TB RAID10. Kan ook nog.

[ Voor 3% gewijzigd door johnkeates op 29-08-2015 19:27 ]

[redfoxert]

bvk schreef op zaterdag 29 augustus 2015 @ 19:16:
[...]


Geef je met die € 80,- hier niet een wat te rooskleurig beeld?

Ik heb onderstaande server draaien bij i3D.net en betaal daar € 163,- voor per maand wat nog een "vaste klant" prijs is. Voor exact dezelfde server en zelfde overige opties betaal ik bij Leaseweb al € 249,-...

[afbeelding]

En dan is dat al het minimum als ik het hier zo'n beetje lees.

Dit heb ik voor 15 euro ex btw bij OVH, geen support overigens. Ze hebben bij Soyoustart nog sneller spul voor iets meer met iets meer support.

[johnkeates]

redfoxert schreef op zaterdag 29 augustus 2015 @ 19:27:
[...]


Dit heb ik voor 15 euro ex btw bij OVH, geen support overigens. Ze hebben bij Soyoustart nog sneller spul voor iets meer met iets meer support.

Als de TS/OP (is maar net welke afkorting je leest ) support nodig heeft van het hosting bedrijf terwijl zo'n applicatie (gebouwd?) gedraaid wordt denk ik niet dat het levensvatbaar is natuurlijk kan je alles uitbesteden maar qua expertise in je eigen bedrijf en kosten bij een ander zal het heel snel scheef lopen. Dan kan je bijna al suggereren om naar AWS te gaan

[bvk]

MAX3400 schreef op zaterdag 29 augustus 2015 @ 19:26:
[...]

Zie ook MAX3400 in "Krachtige hosting voor website met beeldbewerking" en johnkeates had het bijvoorbeeld ook over OVH waar je bijvoorbeeld deze machines kan leasen. Ook Leaseweb (zie screenie) heeft redelijke machines te huur. Laten we ook niet vergeten dat jouw 100Mbit unmetered mogelijk voor ander gebruik is dan van de TS. Het gaat er vooral om dat de server data binnen krijgt van mensen die iets willen resizen, zeg maar; dat valt over het algemeen onder "gratis" data; uitgaande data is wel kostbaar(der) per host.
[afbeelding]

Dat begrijp ik, die 100 mbit unmetered kan nogal in de prijs schelen. Ik heb het zelf nodig omdat er onder andere ook een FTP server op draait, maar voor de TS is dat inderdaad wellicht niet noodzakelijk.

Maar ik vroeg me gewoon af of die 80 Euro niet te laag was ingeschat voor wat er daadwerkelijk nodig gaat zijn. Wat we nog niet weten....