Help T.net de zomer door

[Onno]

laat ook maar trouwens

[Hans]

Ik heb nog een tipje voor de sysadmin voor minder serverload. PHP caching!

Er zijn nu diverse caching paketten uit, zowel gratis als betaald, die aardige resultaten boeken.

Een waar voor betaald moet worden is Zend Cache. Dit is ook meteen degene met de beste performance. Kijk voor meer info en prijzen op www.zend.com

Gratis caching modules zijn Afterburner Cache en APC (Alternative PHP Cache). Kijk voor meer info op http://bwcache.bware.it/ voor Afterburner en http://apc.communityconnect.com/ voor APC.

Is natuurlijk geen oplossing voor de problemen rond de database server maar toch weer een tipje voor minder frontend serverload.

Ik ben er overigens van overtuigd dat MySQL deze load gewoon aan zou moeten kunnen, ik denk echter dat er een aantal scripts zijn die minder efficient met hun queries omgaan, en er soms zelfs voor zorgen dat mysql threads blijven hangen totdat ze afsterven als de timeout verstreken is. Ik heb uit betrouwbare bron de serverload van een van de dbservers van t.net gezien en die is echt abnormaal te noemen. (mysql threads die continu op 30-35% cpu load zitten zijn IMO niet normaal)
Ik beheer zelf ook een aantal servers voor grote websites, en heb dit nog nooit gezien.

[Femme]

Ik hoorde net trouwens dat er pas in oktober geupgrade kan worden omdat vuurwerk geen tijd heeft en Rick geen heeft zin om te upgraden. Is hier iets van waar?, want als dat zo is ziet het er somber uit.

De upgrade gaat de komende week gebeuren, hopelijk al van maandag op dinsdag. De AMI controller is iig al door Rick aan de praat gekregen in Linux.

Wildhagen ik ben het in grote lijnen met je eens maar punt is dat men hier
zo koppig is dat men liever 100 keer op ze bek gaat met opensource shit
dan dat men in een normale DB investeert. In plaats van ontopic te blijven
komen we weer bij de fabeltjes dat NT/win2K zo instabiel is, vreemd overal
waar ik werk loopt het goed. Daarnaast ging de discussie dus niet over om
win2k als webserver te gebruiken maar als database server, maar dat
terzijde.

Er zijn zat redenen te bedenken dat wij niet op MS SQL willen overstappen.

Om maar eens te beginnen: er is hier niemand die ervaring heeft met MS SQL. Hoe moet dat gaan werken als we maar één SQL server hebben en er dus geen mogelijkheid is om te kloten, want de hele server moet omgebouwd worden naar Windows 2000. MySQL loopt ruk onder Win2k dus daar wil je geen t.net op gaan draaien.

Stel je voor: een bedrijf heeft een IT afdeling waar een stel Microsoft-gecertificeerde mannetjes rondlopen die geen enkele ervaring hebben met een gebruik van Linux als server. Van hoger hand wordt besloten dat de hele winkel op Linux moet gaan draaien. Dan denken die mannetjes ook van "erhm, is dat wel verstandig?", zeker als zij vinden dat deze verandering geen juiste oplossing biedt voor het probleem.

Wat hier een paar mensen koppigheid vinden, noem ik vooruitzien op de toekomst. Stel dat MS SQL het kan trekken op 1 proc (valt te betwijfelen), dan nog zal er in de toekomst een moment komen dat dit niet meer lukt en dat zelfs clustering noodzakelijk. MS SQL is schandalig duur in vergelijking met open source databases. Als we de kosten van licenties wel kunnen ophoesten dan in ieder geval niet meer de kosten van betere hardware. Lekkere handige situatie.

Dan is het nog sterk de vraag of MS SQL wel de beste technische oplossing is. Win2k+MS SQL zal een hogere load nodig hebben, dus hebben we zwaardere hardware nodig (en dus - in het geval van MS SQL - duurdere licenties). De OSS oplossing zijn op dezelfde hardware waarschijnlijk al sneller dan MS SQL en als er dankzij het gebruik van open source software meer budget beschikbaar is voor snellere hardware dan zal OSS _zeker_ sneller zijn.

Hans:

Ik heb uit betrouwbare bron de serverload van een van de dbservers van t.net gezien en die is echt abnormaal te noemen. (mysql threads die continu op 30-35% cpu load zitten zijn IMO niet normaal)

Wat jij hebt gezien is de CPU load van een complete MySQL server (50-100 threads) en niet van één MySQL thread. Onder Linux kunnen de threadjes over meerdere CPU's verdeelt worden. Onder FreeBSD blijkt dat niet het geval te zijn (de reden waarom er Linux op Artemis moet komen). De drie MySQL servers die Tweakers.net en Fokzine bedienen hebben tijdens de topuren zo'n 50-65% processor belasting. Dat werkt prima zolang er geen gekke dingen gebeuren, bijvoorbeeld als één server een file lockt waardoor er enorme opstopping ontstaan in een andere server die van dezelfde file gebruik maakt. Onder Linux kan alles op één MySQL server draaien en is er geen external file locking probleem.

[Hans]

Owja, ik moet toegeven dat ik vergeten was dat die bak op FreeBSD draait en dat MySQL daar als 1 proces weergegeven word

Toch is het vrij raar dat er dan voor word gekozen om 3 mysql daemons te draaien terwijl er nu maar 1 processor in die machine zit. Ok, 2 daemons draaien bij 2 procs kan ik inkomen. Als je dat allemaal in account neemt is het niet zo vreemd dat de huidige database server (met tijdelijk dus 1 cpu) staat te pruttelen.

Het is IMO zowiezo vreemd te noemen dat er de afgelopen tijd alleen maar geinvesteerd is in meer frontend power (athena,odin,arshia) terwijl het hele zaakje nog steeds op 1 db server draait. Dat is een wat verkeerde keuze.

Eigenlijk zou je naar de situatie toe moeten werken dat www.tweakers en www.fokzine een eigen db server hebben, en de afzonderlijke fora (fokforum en GoT) ook beide een eigen db server. Maar ik begrijp en kan me voorstellen dat dat financieel misschien wat problemen oplevert.

[Femme]

Omdat de Adaptec controller niet onder Linux wilde draaien werd vorige maand de AMI RAID controller besteld en werd tegelijkertijd de hardware voor 2 extra webservers gekocht / bij elkaar geregeld. Omdat Artemis bij deze upgrade toch down zou moeten gaan werd meteen besloten om de CPU's tot de hoogst mogelijke snelheid te upgraden. Het idee was dus om van PIII-733 + Tbird 1GHz / Athlon 800 naar Dual PIII-1000 + 3x Tbird 1GHz / Tbird 1,2GHz te gaan. Dat is wel een redelijk evenwichtige upgrade, alleen kon de RAID upgrade niet doorgaan omdat we om begrijpelijke redenen niet de halve dag in het server hok van Vuurwerk konden bivakkeren. We kunnen er waarschijnlijk een tweede Dual PIII-1000 database server bij krijgen. In dat geval hebben we voorlopig flink wat overcapaciteit in onze webserver frontend én database backend.

De drie MySQL daemons hebben iig als voordeel dat niet heel t.net+Fokzine plat ligt als er een bijv. een probleem op het forum is. Dit gaat binnenkort toch gefixt worden als alles onder Linux komt te draaien.

MySQL heeft dit (relatief rustige) weekend trouwens al vrij goed gedraaid. Dit geeft al aan dat MySQL zeker wel stabiel kan werken.

[Onno]

Stabiel == niet crashen.
Stabiel != niet crashen als het rustig is.

[Verwijderd]

Windows 95 crasht ook als je er niets mee doet hoor

[Verwijderd]

Heeft open source nou niets beters voortgebracht dan MySQL? Dat je niet naar een W2k platform gaat snap ik wel maar neem dan tenminste een volwassen database.

Op zondag 25 maart 2001 03:03 schreef Femme het volgende:
Om maar eens te beginnen: er is hier niemand die ervaring heeft met MS SQL. Hoe moet dat gaan werken als we maar één SQL server hebben en er dus geen mogelijkheid is om te kloten, want de hele server moet omgebouwd worden naar Windows 2000. MySQL loopt ruk onder Win2k dus daar wil je geen t.net op gaan draaien.

Uh als ik geen nieuwe dingen zou willen leren zou ik over een jaartje ontslagen worden waarschijnlijk..

[Femme]

Uh als ik geen nieuwe dingen zou willen leren zou ik over een jaartje ontslagen worden waarschijnlijk..

Wij hebben maar één database server en die moet dus goed werken. Dat gaat beter lukken met MySQL/Linux/dual PIII-1000 dan met Win2K/MS SQL waar niemand ervaring heeft.

Als jij onder het mom van 'experimenteren' de hele IT afdeling van het bedrijf waar je werkt gaat omgooien naar OS/nogwat terwijl je daar geen ervaring mee hebt dan wordt je waarschijnlijk ontslagen ja.

[raptorix]

Dat heet geen experimenteren maar innovatie.
En natuurlijk ga je niet op je live servers kutten maar waarom niet iets nieuws proberen als je blijft zoeken naar workarounds, al met al kost dat meestal meer tijd als iets nieuws waar je bovendien ook nog iets van leert.

[Hans]

Ik heb ergens een leuke discussie gevonden met als titel "Why not MySQL". Hierin worden statements gedaan waarom je niet voor MySQL zou moeten kiezen, en hieruit volgt een interessante discussie.

Ik ben zelf ook een aanhanger van MySQL, zowel prive als voor mijn werk, maar ik hou al een tijdje de ontwikkelingen rond PostgreSQL in de gaten, puur omdat dit qua functionaliteit een volwassener RDBMS is. De nieuwste versie 7.1b (op het moment nog in development) kan zich qua snelheid meten met MySQL en ze claimen zelfs dat het RDBMS'en als Oracle, Sybase en MSSQL verslaat. Ik ben nu eens aan het testen hoe het draait, en ben tot nu toe erg tevreden.

Neem maar eens een kijkje, its worth the read:

http://openacs.org/philosophy/why-not-mysql.html

[xoror]

pgsql 7.1 gaat echt koel worden.
(stored procedures, triggers, subselect etc ... al die dingen waar mysql van droomt)
RC1 is pas uitgekomen. te downen van
ftp://ftp.postgresql.org/pub/dev/

de final komt een deze dagen.

http://www.sap.com/solutions/technology/sapdb

deze gaat ook heel koel worden... zat GOEDE alternatieven dus

[raptorix]

Waar staat die feature list trouwens, die site is nou niet echt het toonbeeld van helderheid.

[Hans]

hier: http://www.postgresql.uli.it/features.html

of hier: http://www.postgresql.org/features.html

Zo moeilijk was het niet hoor!

[raptorix]

Features van 7.1 dit lijkt me oudere versie

[Hans]

hier staat een lijstje (niet echt recent):

http://www.postgresql.org/mhonarc/pgsql-docs/2000-12/msg00041.html

[Verwijderd]

Op maandag 26 maart 2001 16:14 schreef xoror het volgende:
pgsql 7.1 gaat echt koel worden.
(stored procedures, triggers, subselect etc ... al die dingen waar mysql van droomt)

Jamaar dat hoort toch al lang in elk serieus DBMS te zitten? Dat het in een beta of versie 1.x niet zit ok, maar dit is versie 7.1 en nu pas sp's, triggers etc?
Zo'n db is juist een onderdeeltje dat je het liefst op proven technology zet.. toch? Niet op een nog niet uitontwikkeld product of RC's ofzo.

[Hans]

sp's, triggers, views, subselects etc. zitten al veel langer in PostgreSQL dan de komende versie 7.1

Check de feature list voor 7.1 eerst maar eens...

[xoror]

tjek http://www.sap.com/solutions/technology/sapdb/

die heeft zelf clustering etc.. en ook opensource. daarbij (wat ik van de site gelezen heb) mag je hem gewoon gebruiken voor alle doeleinden. ze willen alleen verdienen op support en service geloof ik.

[xoror]

Op maandag 26 maart 2001 17:20 schreef Kerrick het volgende:

[..]

Jamaar dat hoort toch al lang in elk serieus DBMS te zitten? Dat het in een beta of versie 1.x niet zit ok, maar dit is versie 7.1 en nu pas sp's, triggers etc?
Zo'n db is juist een onderdeeltje dat je het liefst op proven technology zet.. toch? Niet op een nog niet uitontwikkeld product of RC's ofzo.

wat nieuw in 7.1 is de unlimited rowsize.. (en nog meer dingen, tjek de todo maar)
de rest zat er allang in.

[Daniel]

Op maandag 26 maart 2001 15:12 schreef raptorix het volgende:
Dat heet geen experimenteren maar innovatie.
En natuurlijk ga je niet op je live servers kutten maar waarom niet iets nieuws proberen als je blijft zoeken naar workarounds, al met al kost dat meestal meer tijd als iets nieuws waar je bovendien ook nog iets van leert.

Klinkt aardig maar als je geen server beschikbaar hebt om op te experimenteren houdt het snel op

[witchdoc]

Op maandag 26 maart 2001 18:42 schreef Daniel Kegel het volgende:
Klinkt aardig maar als je geen server beschikbaar hebt om op te experimenteren houdt het snel op

tss, en zo'n 200 posts terug moest T.net niks weten van sponsering door tweakertjes?!

[raptorix]

Op maandag 26 maart 2001 18:42 schreef Daniel Kegel het volgende:

[..]

Klinkt aardig maar als je geen server beschikbaar hebt om op te experimenteren houdt het snel op

Localhost
Ok ideale situatie is natuurlijk dat je zelfde server hebt voor dev als voor live maar ik heb nog niet veel bedrijven meegemaakt, maarja qua hardware mag het lokaal natuurlijk wel wat minder zijn, je krijgt natuurlijk niet het aantal hits wat je op een gewone website krijgt.

[Hans]

MEUH? Ideale situatie volgens jou 1 server voor production EN development?!

Mjaaa kan je lachen als er weer eens zo'n idioot langskomt die als test (in het kader van development) een mega query op de database lostlaat waardoor de hele boel als een pudding in elkaar zakt.
Production en development moet je *altijd* gescheiden houden! (of ik begrijp je verkeerd)

[Wouter Tinus]

Ik denk dat hij dezelfde hardware specs bedoelt.

[xoror]

laat ik deze draad maar afsluiten met de set van features van sapdb ( http://www.sapdb.org )

SAP DB Features
The main SAP DB features are listed below.
This list does not claim to be complete.

SQL Features
Enterprise Features
Programming Interfaces

SQL Features
SQL 92 entry level with several extensions


Oracle 7 compatibility mode
see Reference Manual: SAP DB 7.2 and 7.3 -> Concepts -> SQL mode



Key benefits


Referential integrity (to be defined in CREATE TABLE or ALTER Table statement)
see Reference Manual: SAP DB 7.2 and 7.3 -> Data definition -> CREATE TABLE statement -> Referential CONSTRAINT definition


Stored procedures
see Reference Manual: SAP DB 7.2 and 7.3 -> Concepts -> Database procedures and
Reference Manual: SAP DB 7.2 and 7.3 -> Data definition -> CREATE DBPROC statement


After statement trigger (INSERT/UPDATE/DELETE)
see Reference Manual: SAP DB 7.2 and 7.3 -> Data definition -> CREATE TRIGGER statement


Updateable views, although not every view is updateable
see Reference Manual: SAP DB 7.2 and 7.3 -> Data definition -> CREATE VIEW statement -> Updateable view table


Datatype BOOLEAN
see Reference Manual: SAP DB 7.2 and 7.3 -> Data definition -> CREATE TABLE statement -> Column definition > Data type


A number of functions including functions for date values
see Reference Manual: SAP DB 7.2 and 7.3 -> Basic elements -> Function (function spec)


Maximum length of object names is 32 characters
see Reference Manual: SAP DB 7.2 and 7.3 -> Basic elements -> Names (and links indicated there)


Subtransactions
see Reference Manual: SAP DB 7.2 and 7.3 -> Concepts -> Subtransaction (and links indicated there)


Sequences (number generator) see Reference Manual: SAP DB 7.2 and 7.3 -> Data definition -> CREATE SEQUENCE: value spec


Roles (compositions of user authorizations that can be granted/revoked as a whole)
see Reference Manual: SAP DB 7.2 and 7.3 -> Concepts -> Role (and links indicated there)


Subselects that can be specified in the FROM clause of a query
see Reference Manual: SAP DB 7.2 and 7.3 -> Data query -> QUERY statement -> Table expression -> FROM clause -> FROM TABLE specification


Outer joins
see Reference Manual: SAP DB 7.2 and 7.3 -> Data query -> QUERY statement -> Table expression -> FROM clause -> FROM TABLE specification and
see Reference Manual: SAP DB 7.2 and 7.3 -> Basic elements -> Predicate -> JOIN predicate


Scrollable cursor
see Reference Manual: SAP DB 7.2 and 7.3 -> Data query -> FETCH statement


Temporary tables that will be destroyed if the application ends the session
These tables can be created within a stored procedure and selected from outside this procedure. They are updateable, although there is no implicit update of the rows that created the temporary table.
see Reference Manual: SAP DB 7.2 and 7.3 -> Data definition -> CREATE TABLE statement


Explicit and implicit locking on row level
see Reference Manual: SAP DB 7.2 and 7.3 -> Transactions and
see Reference Manual: SAP DB 7.2 and 7.3 -> Transactions -> Lock statement


NOT supported features:


Collations


Result sets that are created within a stored procedure and fetched outside. This feature is planned to be offered in one of the coming releases.
Meanwhile, use temporary tables.
see Reference Manual: SAP DB 7.2 and 7.3 -> Data definition -> CREATE TABLE statement: Owner of a table


Multi version concurrency for OLTP
It is available with the object extension of SAPDB only.


Hot stand by
This feature is planned to be offered in one of the coming releases.



Enterprise Features
The Microsoft cluster server is supported. For other systems scripts have to be written according to the failover solution of the system.


Online backup


Online expansion of the database


No explicit reorganization


Supported backup tools:


ADSM + adint2
Networker
Netvault, HiBack
(soon) Backint for Oracle
Tools supporting this interface are:
ARCserve, Backup Express, dbBRZ for R/3, DBVAULT, DoroStore, EASY_BASE, EMC, EPOCH, FDR/UPSTREAM, HIBACK, HSMS-CL Backint, NetBackup, NetVault, NetWorker, Omniback, Seagate Backup, SESAM, Solstice Backup, Sys-Save, TIME NAVIGATOR for R/3, Tivoli
Programming Interfaces
ODBC

C/C++ Precompiler (Embedded SQL)
JDBC
Perl DBI
Python
PHP

[localhost]

Op maandag 26 maart 2001 21:54 schreef raptorix het volgende:

[..]

Localhost

Ehhh... Ja dat ben ik. Ik snap 'm niet

Maar 't is een beetje een eindeloze discussie zo. Tweakers.net is nu MySQL + Apache/PHP, waarom ? Zo gegroeid, de eerste (goedkope) hosting accounts waren alleen met de combinatie beschikbaar. En er is in de development / beheer ervaring opgebouw met deze combinatie.

Grote aantallen mensen beweren dat WinNT of Win2000 met MS SQL 7 of 2000 sneller werkt op dezelfde hardware. Zelfs de Tweakers.net crew staat hier niet negatief tegenover, maar heeft wel een aantal bezwaren:
* Geld / Licenties (ik zag dat iemand dat al gratis had aangeboden).
* Beheersbaarheid (op afstand beheren van WinNT server kan wel eens helemaal fout gaan = kosten Vuurwerk voor resetten server).
* Ervaring (iemand nodig met kennis op WinNT / MS SQL gebied in soortgelijke setup).
* Betrouwbaarheid (uptime, wat is uptime, en misschien is iedere nacht een reboot wel niet zo'n slecht idee).
* Risico (je gaat dus alles ombouwen en daar enorm veel tijd in stoppen. Wat nu, als alle experts in deze thread het niet bij het juiste eind hadden ?)
* ...

Enige oplossing is om een "Tweakers.net load simulator" te bouwen en de site gedeeltjelijk na te bouwen in MS SQL en MySQL. Nu alleen nog mensen vinden die tijd hebben om zo iets effetjes te doen.

Suc6.

PS. Mocht je ooit een complete Rewrite/Redesign van alle scripts en de database doen, dan zou ik eens kijken naar MS SQL, want echt slecht is het niet. Blijf voorlopig (komende jaar ++) echter gewoon bij MySQL. Mits je server snel genoeg is, is dat een methode die werkt, dat hebben jullie de afgelopen jaren bewezen.

[Verwijderd]

Ik denk dat de beheersbaarheid van Win2K dmv Terminal Services minstens even goed is als die bij Linux.

[Hans]

Hee Xoror wat zit je nou te spammen met je sapdb feature list en shit, is een link plaatsen niet genoeg?

[localhost]

Op dinsdag 27 maart 2001 00:08 schreef Revolution het volgende:
Ik denk dat de beheersbaarheid van Win2K dmv Terminal Services minstens even goed is als die bij Linux.

Op de serieele poort tijdens het booten ? Ja dat kan MS ook, maar da's dan voor het debuggen van de kernel.
Oh ja, voor Win 2000 moeten we natuurlijk ook nog Firewall software hebben. Weer een paar duizend dollar.

Let wel, ik denk dat Microsoft met Win2000 de goede weg ingeslagen heeft om in de toekomst op internet aan de slag te kunnen.

Linux en KDE is bv. nu nog niet klaar voor de eindgebruiker. Die wil je daar niet aanzetten, een ramp wordt dat. Maar Linux komt er wel op de desktop, duurt alleen nog een jaar of 3.

Kortom, gebruik op internet het liefst een OS dat bedoeld is om op Internet te gebruiken. En op kantoor eentje die bedoeld is om op kantoor te gebruiken. Dan is iedereen dus happy

[Booster]

Laten we nu maar gewoon roeien met de riemen die we hebben... Dat kost niks (of vrijwel niks), daar voelt de crew zich veilig en vertrouwd in én écht, nood maakt vindingrijk.

Persoonlijk denk ik dat we over een maandje weer een prima lopend T.net en GoT hebben. Op FreeBSD, Linux en MySQL, met de hardware upgrades achter de rug.
Vertrouwen hebben in mensen is hier ook wel een issue lijkt het...

edit:

Wat zeg ik? Misschien geen maandje maar een week?
[topic=150544]

[jep]

Ik denk dat de problemen met de genomen en aangekondigde maatregelen best overgaan, overstappen op bijv win2k lijkt me niet echt clever; dan downgrade je je serverpark IMHO.

Ik denk dat we eventjes moeten wachten kinders

[PieterJ]

Op dinsdag 05 juni 2001 22:31 schreef j3p het volgende:
Ik denk dat de problemen met de genomen en aangekondigde maatregelen best overgaan, overstappen op bijv win2k lijkt me niet echt clever; dan downgrade je je serverpark IMHO.

Ik denk dat we eventjes moeten wachten kinders

* PieterJ denkt dat dit een zinloze actie is

Voegt niet echt iets toe aan de niet meer bestaande discussie.

[ronaz]

Is het nodig deze omhoog te trappen? Hij is 2 maanden oud...

Is ook niet actueel want alles mbt. de crash en hoe het verder moet is al gezegd..

[jep]

Sorry jongens, zat van links naar rechts te klikken.. blushen die zooi

[Kees]

k