Geblokkeerd door hostingbedrijf na versturen nieuwsbrief

[Joost231]

Beste allemaal,

Probleem:
De reden dat ik hier een bericht post is dat het hostingbedrijf het nodig vond om onze website te blokkeren na het verzenden van de nieuwsbrief. Dit omdat de ‘load’ onzettend was gestegen. We hebben van dit bedrijf loggegevens gekregen. De vraag aan jullie hoe kan dit probleem het beste oplossen? Normal gesproken los ik zoiets op met trial & error, maar dat gaat in dit geval niet omdat ik niet de hele mailinglijst kan bombarderen met onleesbare nieuwsbrieven.

Alvast bedankt,

Joost.

email van hostingbedrijf:

Beste,


Zojuist kregen wij diverse meldingen van ons monitoring systeem.
Dat de load op diverse webservers uitzonderlijk was gestegen:

root@web10:~# ps aux | grep 54421
54421 329 3.1 3.6 1191920 603064 ? R 14:06 0:02 /usr/sbin/apache2 -k start
root 751 0.0 0.0 7640 968 pts/0 R+ 14:08 0:00 grep --color=auto 54421
54421 927 41.8 3.6 1193372 602088 ? R 12:40 36:53 /usr/sbin/apache2 -k start
54421 2413 35.4 3.6 1187908 598712 ? R 12:45 29:18 /usr/sbin/apache2 -k start
54421 3209 35.2 3.6 1188276 599344 ? R 12:48 28:09 /usr/sbin/apache2 -k start
54421 5046 33.8 3.6 1198696 608296 ? R 12:50 26:24 /usr/sbin/apache2 -k start
54421 5289 28.3 3.6 1200016 606944 ? R 12:51 21:50 /usr/sbin/apache2 -k start
54421 7202 30.8 3.6 1189636 602452 ? R 12:57 21:44 /usr/sbin/apache2 -k start
54421 7765 25.7 3.6 1201684 609084 ? R 12:59 17:38 /usr/sbin/apache2 -k start
54421 8103 27.4 3.6 1194476 606040 ? R 13:00 18:40 /usr/sbin/apache2 -k start
54421 8424 29.4 3.6 1195916 605848 ? R 13:01 19:36 /usr/sbin/apache2 -k start
54421 8753 26.3 3.7 1198956 609328 ? R 13:03 17:09 /usr/sbin/apache2 -k start
54421 12197 26.7 3.6 1189364 601024 ? R 13:12 14:51 /usr/sbin/apache2 -k start
54421 13238 24.8 3.6 1191764 602776 ? R 13:15 13:08 /usr/sbin/apache2 -k start
54421 14177 24.9 3.6 1189696 601684 ? R 13:18 12:22 /usr/sbin/apache2 -k start
54421 15307 24.6 3.8 1215076 626240 ? R 13:21 11:38 /usr/sbin/apache2 -k start
54421 17240 25.5 3.6 1195884 606876 ? R 13:23 11:24 /usr/sbin/apache2 -k start
54421 18079 21.1 3.6 1196356 607408 ? R 13:26 8:45 /usr/sbin/apache2 -k start
54421 19358 24.8 3.6 1191700 603924 ? R 13:30 9:23 /usr/sbin/apache2 -k start
54421 20135 21.8 3.6 1193280 604320 ? R 13:33 7:33 /usr/sbin/apache2 -k start
54421 21334 20.8 3.6 1190988 602920 ? R 13:36 6:44 /usr/sbin/apache2 -k start
54421 21381 20.8 3.6 1197656 607728 ? R 13:36 6:43 /usr/sbin/apache2 -k start
54421 30240 48.3 3.6 1189304 601116 ? R 12:28 48:20 /usr/sbin/apache2 -k start
54421 31007 44.2 3.6 1191068 601084 ? R 12:31 43:01 /usr/sbin/apache2 -k start
54421 31766 42.1 3.6 1193692 602264 ? R 12:34 39:36 /usr/sbin/apache2 -k start
54421 32689 41.5 3.6 1187848 598596 ? R 12:37 37:35 /usr/sbin/apache2 -k start

COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
apache2 18079 vhost0049421 cwd DIR 0,30 37 32153289 /home/vhosting/d/vhost0049421/domains/beeldtaal.nl/htdocs/www (nas01.storage.pcextreme.nl:/volumes/pool001/vhosting-d)

root@web10:~# getent passwd | grep 54421 vhost0049421:*:54421:5000:vhost0049421:/home/vhosting/d/vhost0049421:/bin/bash

In het bovenstaande ziet men diverse "apache2 (webserver)" processen terug. Deze draaien allemaal onder uw user. Om er voor te zorgen dat de prestaties van ons hosting platform optimaal blijven, was ik helaas genoodzaakt om uw webpagina te blokkeren.

[ Voor 9% gewijzigd door Joost231 op 16-03-2023 13:35 . Reden: Persoonlijke info weggehaald. ]

[NMe]

Sorry als het wat bot overkomt, maar als je dit moet vragen kun je het beter door iemand laten doen die wél weet wat hij doet.

[LeVortex]

NMe schreef op zaterdag 09 maart 2013 @ 14:45:
Sorry als het wat bot overkomt, maar als je dit moet vragen kun je het beter door iemand laten doen die wél weet wat hij doet.

Nouja je moet ergen beginnen natuurlijk. Sommige zaken kun je lokaal slecht oefenen en kom je achter door ervaring.

Ben geen expert, maar is je hostingplan niet gewoon erg slecht/licht? Ik ga ervan uit dat je op een gedeelde server zit en dan mag je inderdaad niet teveel. Als jou mailscript de load laat stijgen (door aantal mails of gewoon een slechte plugin) dan gaat de performance van alle tig andere sites op jou server ook onderuit.

Of op een of andere manier in batches sturen, dus steeds 100 mails tegelijk en totdat die weg zijn de volgende 100.

[ Voor 8% gewijzigd door LeVortex op 09-03-2013 14:50 ]

[Verwijderd]

Blijkbaar heb je niet betaald voor deze load? Het is anders nogal kort door de bocht dat ze zich hierover ontfermen en zijn ze niet correct bezig. Of lees je contract nog is na of laat ze uitleg geven over de verdere toedracht. Als je voor een bepaalde bandbreedte hebt betaald en deze is niet gehaald zijn ze dus onrechtmatig bezig en kan je ze aansprakelijk stellen voor deze fout in de vorm van een maandje gratis hosten? Zonder deze info kan niemand iets voor je doen!

[NMe]

Je moet zeker ergens beginnen, maar een live-omgeving met mailadressen is geen goed begin.

Verwijderd schreef op zaterdag 09 maart 2013 @ 14:51:
Blijkbaar heb je niet betaald voor deze load? Het is anders nogal kort door de bocht dat ze zich hierover ontfermen en zijn ze niet correct bezig. Of lees je contract nog is na of laat ze uitleg geven over de verdere toedracht. Als je voor een bepaalde bandbreedte hebt betaald en deze is niet gehaald zijn ze dus onrechtmatig bezig en kan je ze aansprakelijk stellen voor deze fout in de vorm van een maandje gratis hosten? Zonder deze info kan niemand iets voor je doen!

Je mag onder geen beding andere klanten last laten hebben van jouw site...

[Joost231]

@NMe Geen probleem, ben blij dat je moeite neemt om te reageren. Aan wat voor iemand zit je te denken? Volgens mij heb ik genoeg kennis om een website te bouwen met een cms-syteem. Heb helaas geen kennis over servers en monitor systems.

@LeVortex Ik denk eigenlijk niet dat het daaraan ligt en probleem is dat ik het niet goed kan testen of het met een zwaarder pakket wel werkt.

Volgens het hostingbedrijf zij dat het normal gesproken niet zo veel bandbreedte mag kosten maar had geen verklaring waardoor het wel te veel was. Maar ik zoek eigenlijk naar ideeen hoe ik zo'n probleem kan achterhalen zonder dat ik iedereen een nieuwsbrief moet sturen.

[RobIII]

Waar hoort mijn topic?
WEB >> IH

[Joost231]

@RobIII Sorry eerste keer op dit forum. Moet/kan ik het bericht verplaatsen als het ergens anders thuishoort?

[revertive]

Ik zou zeggen test het systeem lokaal, en zet desnoods 50x je eigen e-mail adres erin zo dat je wat load kan testen. Hierdoor is het heel makelijk om te kijken of het aan het script/cms ligt of dat het aan iets anders ligt lijkt mij.

[Joost231]

@revertive Is er een manier waarmee je de load kan meten als je iets lokaal plaats? Anders lijkt met het een goede oplossing

[Rye]

Gebruik niet je eigen server voor het versturen van e-mails, maar gebruik een externe mailpartij zoals: SendGrid of Mailchimp.

Beide partijen hebben goede API's en ze zijn niet eens zo heel duur.
http://sendgrid.com/pricing.html

Ik weet niet hoeveel e-mail er uit moeten op een dag, maar als dat er 200 of minder zijn dan is Sendgrid zelfs gratis.

Voor Wordpress is een SMTP Plugin, die zorgt dat Wordpress ipv de standaard phpmail dan SMTP gebruikt

[revertive]

Joost231 schreef op zaterdag 09 maart 2013 @ 15:01:
@revertive Is er een manier waarmee je de load kan meten als je iets lokaal plaats? Anders lijkt met het een goede oplossing

Ik neem aan dat je windows draait, en als het daadwerkelijk een hoge load geeft zou je met resource monitor (Task manager -> Performance tab -> Resource monitor) al een heel eind kunnen komen. Daar kan je in ieder geval zien of apache een hoge load op CPU, HDD of Network geeft.

[Joost231]

@ Rye Het gaat om een mailing lijst van 2000 mensen, mailchimp hebben we wel overwogen maar is dan toch een dure oplossing ten opzichte van de plugin. En mist ook sommige functie's die de plugin wel heeft.

Ter info: We hadden tijdens het verzenden de nieuwsbrief zo ingesteld dat hij 20 mensen per 2 minuten mailt.

[Joost231]

revertive schreef op zaterdag 09 maart 2013 @ 15:06:
[...]


Ik neem aan dat je windows draait, en als het daadwerkelijk een hoge load geeft zou je met resource monitor (Task manager -> Performance tab -> Resource monitor) al een heel eind kunnen komen. Daar kan je in ieder geval zien of apache een hoge load op CPU, HDD of Network geeft.

Nee, werk op een mac. Zou voor een test wel een windows systeem kunnen regelen. Kun je dit met mac ook testen?

[CodeCaster]

Joost231 schreef op zaterdag 09 maart 2013 @ 15:08:
We hadden tijdens het verzenden de nieuwsbrief zo ingesteld dat hij 20 mensen per 2 minuten mailt.

En aan de processenlijst te zien, krijgt één mailproces (ik neem tenminste aan dat die plugin gewoon een http-verzoek doet naar zijn mailscript, vandaar de apache-processen) er in 48 minuten nog niet eens 20 mailtjes uit, of blijft daarna load trekken.

Die plugin is dus gaar of de configuratie niet goed.

De vraag aan jullie hoe kan dit probleem het beste oplossen?

Een degelijke mail- en/of hostingprovider nemen.

[djluc]

Het probleem zit niet in het aantal mails waarschijnlijk maar de manier waarop deze mails klaargezet worden. Wellicht worden ze wel alle 2000 in 1x aangemaakt en wellicht op een manier waarbij er veel verzoeken aan de website gedaan worden. Heb zelfs systemen gezien die daadwerkelijk websites pagina's opvragen. Dat is een leuk idee maar niet in een loop van 2000 keer.

In dit geval heb je 2 keuzes: Of leren hoe het precies werkt, meten, weten, monitoren etc. Gezien dat niet in 1 dag lukt nu stoppen met de mailings tot je weet hoe het draait. Of iemand inhuren die dit kan.

Alternatief is een oplossing als een hosted nieuwsbrieven systeem. Dan betaal je voor de expertise, hosting e.d. maar je hebt het wel goed en professioneel opgelost.

In dit geval zou de 2e oplossing de beste zijn gezien je klant gewoon mailings wil verzenden waarschijnlijk.

[Rye]

revertive schreef op zaterdag 09 maart 2013 @ 15:06:
[...]


Ik neem aan dat je windows draait

Windows? Op een webhostingserver? Nee... dat is niet echt gebruikelijk.

Joost231 schreef op zaterdag 09 maart 2013 @ 15:08:
@ Rye Het gaat om een mailing lijst van 2000 mensen, mailchimp hebben we wel overwogen maar is dan toch een dure oplossing ten opzichte van de plugin. En mist ook sommige functie's die de plugin wel heeft.

Ter info: We hadden tijdens het verzenden de nieuwsbrief zo ingesteld dat hij 20 mensen per 2 minuten mailt.

Maar je hoeft Mailchimp zelf ook niet te gebruiken.
Ik heb het over een externe SMTP mailserver

Nu is jouw server aan het pompen tijdens het versturen van de mailing. Die load kan je dan bij de externe mailserver leggen. Het enige wat jij hoeft te doen is; aangeven wat de content is, de lijst met mailadressen en presto.
(En ja, als dat gepersonaliseerde dingen bij zitten dan kan dat ook met replace tags)

[djluc]

Rye schreef op zaterdag 09 maart 2013 @ 15:13:
[...]
Maar je hoeft Mailchimp zelf ook niet te gebruiken.
Ik heb het over een externe SMTP mailserver
[...]

Het ligt niet direct aan de SMTP, dat is vaak het probleem maar hier zijn ladingen apache processen. Dan ligt de oorzaak waarschijnlijk in de generatie en queue software.

[ Voor 34% gewijzigd door djluc op 09-03-2013 15:16 ]

[Joost231]

CodeCaster schreef op zaterdag 09 maart 2013 @ 15:12:
[...]

En aan de processenlijst te zien, krijgt één mailproces (ik neem tenminste aan dat die plugin gewoon een http-verzoek doet naar zijn mailscript, vandaar de apache-processen) er in 48 minuten nog niet eens 20 mailtjes uit, of blijft daarna load trekken.

Die plugin is dus gaar of de configuratie niet goed.

[...]

Een degelijke mail- en/of hostingprovider nemen.

Op dit moment heb ik een dynamic pakket bij pcextreme. Is deze niet degelijk? Welke wel?
https://www.pcextreme.nl/webhosting/hosting-pakketten/

[Rye]

djluc schreef op zaterdag 09 maart 2013 @ 15:14:
s
[...]

Het ligt niet direct aan de SMTP, dat is vaak het probleem maar hier zijn ladingen apache processen. Dan ligt de oorzaak waarschijnlijk in de generatie en queue software.

Precies en dat wil je dus ook niet op je lokale bak hebben draaien. 2000 mails versturen gaat nu eenmaal wat resources trekken. Het is wel te doen via de standaard phpmail(), maar of je daar nu vrolijk van wordt?
Also; een externe mailpartij heeft veel meer zaken op orde (DKIM, whitelisting, etc).

Hoe worden de e-mails nu gegenereerd? De content van te voren en dan in een queue (db tabel?), alle e-mailadressen in een queue en dan on the fly genereren per adres?

Als het een standaard mail is; spreid die 2000 adressen over een paar mails door gebruik te maken van BCC.

[Verwijderd]

YMLP NL
MailChimp
SendGrid
AWeber

[ Voor 112% gewijzigd door Verwijderd op 14-08-2016 18:49 ]

[revertive]

Joost231 schreef op zaterdag 09 maart 2013 @ 15:12:
[...]


Nee, werk op een mac. Zou voor een test wel een windows systeem kunnen regelen. Kun je dit met mac ook testen?

Activity monitor in de utilities map laat de CPU, HDD en Network load zien, dus daar zou je het mee kunnen doen.

@Rye: Ik snap ook wel dat het niet gebruikelijk is om Windows op een webhostingssever te hebben maar daar had ik het dan ook helemaal niet over! Voor een lokaal systeem (lees thuisgebruik) is het best wel gebruikelijk om Windows te draaien? Want ik had het over testen op een lokaal systeem, vooral ook niet de post lezen waarop gereageerd word .

[Rye]

revertive schreef op zaterdag 09 maart 2013 @ 15:21:
[...]
@Rye: Ik snap ook wel dat het niet gebruikelijk is om Windows op een webhostingssever te hebben maar daar had ik het dan ook helemaal niet over! Voor een lokaal systeem (lees thuisgebruik) is het best wel gebruikelijk om Windows te draaien? Want ik had het over testen op een lokaal systeem, vooral ook niet de post lezen waarop gereageerd word .

Oh, whoops. Ja, als je lokaal de boel gaat draaien dan is dat wel mogelijk ja

Anyway;
Simpelste oplossing voor Joost als het probleem hem zit in het versturen (niet genereren):
-WP Mail SMTP installeren (http://wordpress.org/extend/plugins/wp-mail-smtp/)
-Mailserver nemen
-SMTP gegeven invullen in die plugin

en klaar.

Edit: maar als die plugin echt z'n geld waar is dan zit daar natuurlijk ook een SMTP functie in.

[ Voor 5% gewijzigd door Rye op 09-03-2013 15:30 ]

[MCP cloud]

Verwijderd schreef op zaterdag 09 maart 2013 @ 15:20:
Naast mailchimp en sendgrid heb je ook nog de volgende:

- http://www.ymlp.com/nl/
- http://www.aweber.com

Is dat misschien iets?

Heb nergens last van met 3500+ subscribers, gebruik hier WEBinsta mailing manager V1.3

[Joost231]

Volgens mij zou het versturen van de nieuwsbrief gewoon moeten kunnen met de plugin en een normaal hosting pakket. Als je mailings verdeelt door er elke 2 minuten er 20 te versturen. Ze hebben immers met hun oude website ook naar dezelfde mailinglijst een zelfde soort nieuwsbrief gestuurd met een normaal hostingpakket. Ik denk dat er een fout in een script zit, en het zou fijn zijn als ik een test kan doen zonder dat ik de abbonees een mail stuur.

Het idee om dit lokaal te doen vind ik wel goed, alleen is het me nog niet helemaal duidelijk hoe ik dit kan meten? Wat is normaal en wanneer is het veel te veel? qua threads,processes, %cpu?

[Rye]

Het zou ook moeten kunnen.
Het gaat in dit geval niet om %cpu load, het gaat om hoe lang en hoeveel processen er draaien.
Zorg ervoor dat er niet meer dan 1 of 2 processen (apache2) naast elkaar draaien. 2 minuten moet meeeeer dan genoeg tijd zijn 20 e-mailtjes te versturen, maar blijkbaar doet het script er toch langer over.

To the debug mobile! Of natuurlijk, omdat je een betaalde plugin gebruikt; klop daar eens aan en vraag om support.http://gathering.tweakers.net/forum/insert_message/1540246/last

[djluc]

Het is natuurlijk budget hosting, 2 euro per maand. Dus niet gek dat ze daar heel goed op moeten letten dat websites niet meer load genereren. Er moeten nogal wat sites per server draaien tenslotte.

De tips hier zijn leuk maar het punt is puur ontbrekende kennis. Niet erg maar daar moet wel iets aan gedaan worden. Het scheiden van de webhosting en het verzenden van de e-mails is daar 1 van.

Zelf gaan lopen meten op je lokale machine is leuk maar het punt is dat je niet in de praktijk kan testen. Als je dit goed wilt doen pak je een hostingpakket bij je provider op een andere machine en draai je daar tests op etc. Ookal is je lokale test gelukt dat zegt helemaal niets.

[Joost231]

[ Voor 100% gewijzigd door Joost231 op 16-03-2023 13:38 ]

[Gropah]

Joost231 schreef op zaterdag 09 maart 2013 @ 15:49:
Ik bedenk me ook in een keer dat ik de plugin lokaal niet kan testen, dit omdat we betaald hebben om de de plugin alleen op het eigen domein te gebruiken. De plugin controleert dat. De enige manier is denk ik om een nep-email-lijst te maken met eigen mailadressen en deze te versturen. En als we dan weer geblokkeerd worden so-be-it, zoveel bezoekers heeft de website ook weer niet. Bedankt allemaal voor het meedenken.

Je geeft aan dat het een betaalde plug-in is. Waarom gebruik je niet de suggestie die hier is gedaan om naar de support van de plug-in toe te gaan? Dan kunnen zij het gaan uitvogelen voor je en raakt je website niet onbereikbaar.

[Joost231]

Gropah schreef op zaterdag 09 maart 2013 @ 15:52:
[...]


Je geeft aan dat het een betaalde plug-in is. Waarom gebruik je niet de suggestie die hier is gedaan om naar de support van de plug-in toe te gaan? Dan kunnen zij het gaan uitvogelen voor je en raakt je website niet onbereikbaar.

We hebben betaald voor een jaar support, dat is inmiddels verlopen. Daarnaast denk ik dat de fout is ontstaan door eigen aanpassingen. Ik heb namelijk een keertje iets aanpast voor de layout van de nieuwsbrief, en vanaf toen deed het admin panel van plug in ook een beetje vreemd. Denk dat er toen een fout is onstaan in het script. Ga nu de plugin updaten en dan kijken of hij dan nog steeds zo'n hoge load heeft bij een test-mailing lijst.

[xares]

Je moet er ook rekening mee houden dat bij veel hosting providers een limiet staat ingesteld op de uitgaande mail. Dit om veel SPAM te voorkomen bij een gehackt account.

[Joost231]

xares schreef op zaterdag 09 maart 2013 @ 16:13:
Je moet er ook rekening mee houden dat bij veel hosting providers een limiet staat ingesteld op de uitgaande mail. Dit om veel SPAM te voorkomen bij een gehackt account.

Ik heb wel contact gehad met mijn hosting provider over dit probleem. Als er zoiets aan de hand wat konden ze het wel vertellen denk ik. Maar goed dat je het noemt.

[_JGC_]

Ik denk eerder dat het versturen van mailtjes niet het probleem is (2000 mails de queue inschieten is peanuts), maar dat de webserver vervolgens moeite heeft met het verwerken van de bezoekers die uit zo'n mailing komen.

Nu is budgethosting ook niet ingericht om goed te presteren bij grote bezoekersaantallen, dus zoiets kan je verwachten.

[CodeCaster]

Waarom zouden tweeduizend mails die ineens worden verstuurd minder zwaar zijn dan misschien vijftig bezoekers verspreid over een paar dagen?

[_JGC_]

Omdat mailservers met standaard instellingen daar mee om kunnen gaan terwijl een standaard gwconfigureerde webserver met een beetje wordpress site met wat te zware plugins al bij 20 gelijktijdige bezoekers op zijn bek gaat.