Webserver: SCSI of IDE RAID

[Femme]

Ik ben op dit moment bezig het samenstellen van een webserverconfiguratie voor de Best Buy Guide. Ik ga uit van een standaard LAMP combinatie die naast het serveren van http en ftp ook mail, DNS en dergelijke gaat handelen (een allround webserver dus).

Voor het budget van 2000,- excl. is 15K/10K SCSI + grote IDE schijf mogelijk, of IDE RAID 1 met een intelligente RAID controller. SCSI zal zeker sneller zijn, de vraag is of die extra performance nodig is (disk usage op de meeste webservers stelt niet veel voor). SCSI schijven zijn erg betrouwbaar, IDE RAID 1 waarschijnlijk ook.

Ik wil graag jullie mening weten over het vraagstuk SCSI of IDE RAID 1 .

2x 10K SCSI met software RAID is trouwens ook nog net mogelijk met het budget, maar dan kan er geen IDE schijf naast voor extra storage en backups.

Een goede backup oplossing zit ik ook nog over te denken ivm de problematiek rond het wisselen van tapes in een colo op afstand.

[NiGeLaToR]

Ik zoe SCSI nemen. Mijn ervaring met IDE schijven is niet zo best op een webserver omdat die nogal wat kleine bewerkingen te verduren krijgt. Een 10k rpm schijf biedt hier meer performance en zekerheid. Zou meer in snelle schijven en stabiel systeem investeren dan een snelle cpu bijv. Veel mem is ook altijd wel lekker en niet zo duur meer.

[Zwelgje]

gewoon gaan voor IDE raid 1, dan heb je meer ruimte voor minder geld, en ben je nog redelijk betrouwbaar bezig, het geld wat je dan overhoudt kun je dan spenderen aan spullen die echte relevant zijn (cpu power, + ram)

als backup zou je mischien een removable harrdisk kunnen nemen waar je elke dag een dump op maakt van je files, en eens in de zoveel tijd ga je langs je servertje om die disk eens om te ruilen voor een ander, (2 hotswap diskjes aanschaffen dus)

[under-world]

Voor 24/7 zou ik voor SCSI gaan. Accestime en Tagged Queing buiten beschouwing gelaten moet je je altijd afvragen of het geen overkill is. Ik ben ook vaak geneigd overkill aan te schaffen voor klanten maar vaak zijn ze me achteraf dankbaar omdat de configuratielevensduur ook vaak langer is. Die 1e en 2e generatie 10k schijven zijn trouwens flink in prijs gedaald...

[egeltje]

Mja, CPU power voor een webserver vind ik minder relevant dan een goeie schijf. Ook al zijn het maar kleine files die opgehaald moeten worden, het zijn er wel veel. En ze staan waarschijnlijk ook vrij random over je schijf (zeker na een paar updates).
Het is altijd een afweging performance versus grootte+prijs.
Mijn ervaring met dit soort servers is dat een betrouwbare configuratie meer waard is dan gigantische hoeveelheden data-opslag. Daar zijn andere apparaten voor.
Ik zou dan ook voor een snelle SCSI + RAID 1 oplossing gaan. (Eerlijk is eerlijk, ook SCSI schijven gaan stuk, afgelopen maand zelfs drie achter elkaar...)
Ik ga er trouwens vanuit dat je software RAID-1 door blijft draaien als er een schijf uitklapt...

[mvdejong]

IDE is heel leuk voor een single-user systeem, dus voor de meeste thuis-gebruikers is SCSI de hedendaagse meerprijzen niet waard.
Er is echter een groot verschil tussen IDE en SCSI :
Als je een IDE-schijf om data vraagt, blijft de bus gereserveerd totdat de request is afgehandeld (of tegen een timeout aanloopt).
Bij SCSI neemt de schijf de request in behandeling, en disconnect weer, zodat de bus beschikbaar is voor andere requests; zodra de schijf na de eeuwigheid van enkele milliseconden de gegevens klaar heeft, volgt een reconnect en worden de gegevens aan de controller overdragen.
Hierdoor is de effectieve bandbreedte SCSI-bus in een multi-user, multi-tasking of multi-threaded omgeving heel erg veel hoger dan die van een IDE-bus.

[Zwelgje]

mvdejong schreef op 04 oktober 2002 @ 21:41:
IDE is heel leuk voor een single-user systeem, dus voor de meeste thuis-gebruikers is SCSI de hedendaagse meerprijzen niet waard.
Er is echter een groot verschil tussen IDE en SCSI :
Als je een IDE-schijf om data vraagt, blijft de bus gereserveerd totdat de request is afgehandeld (of tegen een timeout aanloopt).
Bij SCSI neemt de schijf de request in behandeling, en disconnect weer, zodat de bus beschikbaar is voor andere requests; zodra de schijf na de eeuwigheid van enkele milliseconden de gegevens klaar heeft, volgt een reconnect en worden de gegevens aan de controller overdragen.
Hierdoor is de effectieve bandbreedte SCSI-bus in een multi-user, multi-tasking of multi-threaded omgeving heel erg veel hoger dan die van een IDE-bus.

leuke info voor de beginners, maar we zitten hier in een 'professional networking & servers' en eerlijk gezegd ga ik er vanuit dat iedereen hier wel 'scsi-basics' onder de knie heeft...

[mvdejong]

Waarom is er dan nog een discussie over ?

[DJSmiley]

offtopic:
Goh, femme die een topic OPENT, da's ook de 1e keer dat ik 't zie

Ik zou zelf SCSI kiezen. accesstijden zijn beter (10k), en ik vind scsi een stuk betrouwbaarder.
Als je naar de uitvalspercentages kijkt van de huidige (grote) IDE schijven schrik je je lam. Komt ook nog eens bij dat je maar 1 jaar garantie hebt nu, ( muv WD 8Mb cache diskjes).

IDE raid1 is leuk, maar crashen zal de schijf tochwel als je pech hebt

Voor de backup/storage gewoon een IDE disk erin (WD 8Mb cache).

[Zwelgje]

mvdejong schreef op 04 oktober 2002 @ 21:49:
Waarom is er dan nog een discussie over ?

omdat we het hier niet hebben over een IDE vs SCSI discussie, als dit zo was waren we snel klaar..

we hebben het hier over ervaringen met webserver in combo met IDE danwel SCSI disken,

tuurlijk ik zou ook voor scsi disken gaan, maar je moet het hele plaatje even bekijken, heb je echt die snelle access times nodig? heb je echt zoveel betrouwbaarheid nodig? (betrouwbaarheid kan ik me nog wel wat bij indenken, maar met raid1 heb je dat ook wel een beetje goed dichtgetimmerd)

mijn ervaring is dat het niet noodzakelijk is om snelle access times te hebben (tis tenslotte geen file server voor op een lan, de bottleneck is gewoon je internetverbinding, en met veel ram erin maak je bijna geen gebruik meer van je hdd's, ergo: gebruik gewoon goed (=snelle) ide diskjes,

maar goed das mijn ervaring,

[JackBol]

Ikzelf ben van mening dat je een SCSI schijfje erbij moet stoppen.
Het moet zowiezo al op een andere partitie(lees disk) als het OS, helemaal als je een ook een mailserver gebruikt.

Als je geen mailserver had, zou ik voor enkel IDE gaan, als zo'n schijf crasht, zet je er een nieuw OS op, en upload je je site opnieuw. maar nu je ook (waarschijnlijk belangrijke) email op je server hebt staan, moet je een goede oplossing in de vorm van (RAID1) scsi zoeken.

[Verwijderd]

ik heb 3x scsi 15k maar dat lukt niet in het budget, maar neem dan 10k, dan kun je zelf nog snellere schijven erin stoppen, is het zelfde trucje... maar als je ide raid neemt is het een groot verschil...

scsi 2x 10k raid please...

wel aardig dat je op mn verzoek bent ingegaan...

[JackBol]

Verwijderd schreef op 04 oktober 2002 @ 22:28:
ik heb 3x scsi 15k maar dat lukt niet in het budget, maar neem dan 10k, dan kun je zelf nog snellere schijven erin stoppen, is het zelfde trucje... maar als je ide raid neemt is het een groot verschil...

scsi 2x 10k raid please...

dat is leuk voor een fileserver voor 200 gebruikers, maar voor een mail/webserver dikke overkill... een ATA133 disk kan teoretisch 133mb/sec aan... dat is theoretisch 10x 100mbit. dus dat zit echt wel goed.

nu weet ik ook wel dat ATA133 hooguit 30mb per sec sustained haalt, maar dat is nog altijd 3x meer als je internetverbinding. (ervanuitgaand dat je een fatsoenlijke internetverbinding hebt )

[Verwijderd]

Dirk-Jan schreef op 04 oktober 2002 @ 22:31:
[...]


dat is leuk voor een fileserver voor 200 gebruikers, maar voor een mail/webserver dikke overkill... een ATA133 disk kan teoretisch 133mb/sec aan... dat is theoretisch 10x 100mbit. dus dat zit echt wel goed.

nu weet ik ook wel dat ATA133 hooguit 30mb per sec sustained haalt, maar dat is nog altijd 3x meer als je internetverbinding. (ervanuitgaand dat je een fatsoenlijke internetverbinding hebt )

ik had dit gister aan femme voorgesteld, omdat mn coloservertje aan vervanging toe is... en er geen wat raden jullie aan topics meer mogen...

maar ik gebruik et ook voor dikke databeest dus daarom scsi server + hoop geheugen...

[Verwijderd]

Ik zou gaan voor SCSI systeemschijf en een 80GB IDE schijf voor backup/storage. Gewoon 's nachts een crontabje laten draaien die dirs op je SCSI schijf backupped naar je IDE schijf.

Zo heb je:
1) betrouwbaarheid (**)
2) snelheid (SCSI, lage access time)
3) storage space (80GB + 18GB SCSI ofzo, kun je aardige DB mee maken dacht ik)
4) geen RAID, niet afhankelijk van drivers & OS ondersteuning.
5) binnen budget?

(**) Met RAID ben je ook niet helemaal veilig. De data is wel consistent en redundant, d.w.z. wat op de ene schijf staat, staat ook op de andere. Maar daar heb je niets aan als je box gecrackt wordt en data verwijderd/gemanipuleerd wordt. RAID is géén backup!

[JackBol]

Verwijderd schreef op 04 oktober 2002 @ 22:33:
[...]


ik had dit gister aan femme voorgesteld, omdat mn coloservertje aan vervanging toe is... en er geen wat raden jullie aan topics meer mogen...

maar ik gebruik et ook voor dikke databeest dus daarom scsi server + hoop geheugen...

aargh! je kan zelf toch wel beslissen wat je in een server moet stoppen?

schijf je een keertje in voor een Compaq HP product dingetje... dan krijg je er een kursus bij, systeemsamenstellen. het mooie is, deze cursus is helemaal gratis, en je kan ook nog gigantisch goedkoop aan een proliant/netserver komen!

PS. ik heb dat toendertijd via Pluz gedaan...

[Verwijderd]

Dirk-Jan schreef op 04 oktober 2002 @ 22:47:
[...]


aargh! je kan zelf toch wel beslissen wat je in een server moet stoppen?

schijf je een keertje in voor een Compaq HP product dingetje... dan krijg je er een kursus bij, systeemsamenstellen. het mooie is, deze cursus is helemaal gratis, en je kan ook nog gigantisch goedkoop aan een proliant/netserver komen!

PS. ik heb dat toendertijd via Pluz gedaan...

ja kan wel... maar dan wordt je helemaal gebrainwasht met compaq proliant servers... en die hoef ik niet...

[mavink]

Nou eens even mijn gedachten. Ik ga er van uit dat we het hebben over of een webserver met vooral statische content, of een databasegestuurde website met zoveel RAM dat de database mooi in het geheugen past. Dan blijft er over aan disk-benodigdheden:
- Storage voor de statische content. Vooral leestoegang; aantal accesses per seconde is bij een drukke server belangrijker dan sequentiele leessnelheid
- Backupmogelijkheid en logfiles

Dat zijn twee heel verschillende benodigdheden; voor het eerste geldt dat er vooral snel gelezen moet kunnen worden, voor het tweede heb je vooral veel ruimte nodig.

Uitgaande van het bovenstaande zou ik gaan voor 2 schijven met (eventueel software-) RAID1. Voordeel: je kunt een kapotte disk opvangen zonder data te verliezen, en misschien nog wel belangrijker: bij leesoperaties heb je dubbele performance! Veel mensen zien dat nog weleens over het hoofd, maar bij RAID1 bevatten je schijven exact dezelfde data. Bij lezen kan het OS of de RAID-controller dus willekeurig een schijf kiezen om de data vanaf te halen, en de leesverzoeken scheiden over 2 disks. Kortom voor lezen kan RAID1 ongeveer 2x zoveel I/O operaties per seconde doen dan een enkele schijf.

Bij schrijven zit je uiteraard met RAID1 niet zo heel fijn, maar een gemiddelde webserver hoeft helemaal niet zoveel weg te schrijven. Daarom stel ik voor om een derde schijf toe te voegen voor eventuele logfiles (dat is het merendeel van de schrijfoperaties), en die zo groot te maken dat je daarop een backup van je belangrijkste data kwijt kunt.

Bijvoorbeeld met tar of een vergelijkbaar programma; en dan bijvoorbeeld op dag 1 een volledige backup, en dan de volgende 6 dagen incrementele backups. Als je genoeg ruimte hebt kan je het makkelijk zo regelen dat je nog ongeveer een week terug kunt gaan als je een bestandje gewist hebt.

Wat mij betreft kunnen alle schijven overigens IDE zijn; zolang de twee schijven voor de RAID1 maar vooral snel zijn (7200 rpm in verband met lagere seektimes), en de derde maar lekker groot.

[Femme]

nu weet ik ook wel dat ATA133 hooguit 30mb per sec sustained haalt, maar dat is nog altijd 3x meer als je internetverbinding. (ervanuitgaand dat je een fatsoenlijke internetverbinding hebt )

Dat is een leuke theorie, maar zo werkt het in de praktijk niet. De harddisk zal zo'n data niet sequentiel van de schijf kunnen halen. Zodra er veel seeks bij komen kijken zakt de transferrate tot een paar MB/s. De verhouding netwerkbandbreedte / harddisk transferrate is ook niet erg relevant. Bij een dynamische site moet de parsetijd van een pagina zo laag mogelijk zijn. Als er veel queries op één pagina draaien waarvoor de de database server data van de schijf moet halen zal de parsetijd snel stijgen (een 7200rpm schijf heeft een toegangstijd van rond de 12ms).

Een website bestaat normaal gesproken niet uit pagina's waarvoor realtime extreem zware queries gedraaid moeten worden. Meestal gaat het om erg lichte selects waarvoor de data met een juiste configuratie van de database server allemaal uit RAM gehaald kan worden. In dat geval speelt de snelheid van de harddisk geen grote rol. Ik merk dat zelf wel met het harddiskgebruik in onze servers. Vooral de database servers staan continue te ratelen, maar de daadwerkelijke belasting is ver onder het maximum dat we met onze 10K en 15K RAID arrays kunnen trekken (en voor website-begrippen hebben die database servers geen kinderachtige belasting). Ik heb dus weinig twijfel dat twee WD's voor de meeste toepassingen snel genoeg zijn.

Het moeilijk punt is betrouwbaarheid. SCSI schijven zijn veel betrouwbaarder dan 7200rpm IDE schijven, die tegenwoordig (in desktops) bij bosjes doodvallen. Aan de andere kant biedt RAID 1 met een 3ware controller ook veel zekerheid. Voor het budget is het waarschijnlijk net mogelijk om twee 10K schijven te nemen en een 5400rpm IDE backup schijfje. Hardware SCSI RAID is simpelweg te duur, software RAID kan wel, maar dat is weer een minder elegante oplossing dan een 3ware controller die features heeft zoals hotswap.

[Verwijderd]

Mijn visie hierop,

Ik draai thuis ook alles ( mail , APache , forum , mysql , msde , ftp ) dit alles op een Proliant met interne raid, en een beetje fibrechannel. ( ja overkill )

Scsi is duidelijk beter dan Ide, maar waarom moet er 10K scsi in ? neem een paar 7200 RPM disken en een goede raidcontroller met cache ( 16/32/64 mb ). Tagged command queing heeft bijna geen nut als je cache hebt, want de cache doet de optimalisatie. Neem je raid1 , kun je split reads doen van 2 members ( denk aan je chunksize ) . IMHO snel zat. verder is memory en cpu net zo belangrijk.

[Femme]

7200 toeren SCSI schijven zijn nauwelijks goedkoper maar wel een stuk trager dan 10K SCSI. Een SCSI RAID controller van >550 euro is gewoon te duur tov het totale budget.

[Verwijderd]

Nog ff voor het slapen gaan:

Ik heb ervaringen met beide maar een IDE schrijf kan nog behoorlijk wat aan. Ik heb een server(AMD 1200,7200 IDE) een jaar met rond de 1-2000000(deel PHP+mysql) page views per dag. Draait nu nog steeds perfect.

[Brahiewahiewa]

Femme schreef op 05 oktober 2002 @ 21:30:
7200 toeren SCSI schijven zijn nauwelijks goedkoper maar wel een stuk trager dan 10K SCSI. Een SCSI RAID controller van >550 euro is gewoon te duur tov het totale budget.

Bij Dell heb je een Perc3 voor 505 €uro

[Iken374]

zwelgje schreef op 04 oktober 2002 @ 22:04:
[...]


omdat we het hier niet hebben over een IDE vs SCSI discussie, als dit zo was waren we snel klaar..

we hebben het hier over ervaringen met webserver in combo met IDE danwel SCSI disken,

tuurlijk ik zou ook voor scsi disken gaan, maar je moet het hele plaatje even bekijken, heb je echt die snelle access times nodig? heb je echt zoveel betrouwbaarheid nodig? (betrouwbaarheid kan ik me nog wel wat bij indenken, maar met raid1 heb je dat ook wel een beetje goed dichtgetimmerd)

Dan moet de administrator wel de logfiles in de gaten houden en dus controleren of er 1 disk is uitgevallen. Het zal namelijk niet de eerste keer zijn dat iemand vertrouwd op zijn o zo veilige RAID-1 systeem terwijl er al weken geleden 1 disk is uitgevallen. En als dan opeens de tweede disk uitvalt, tja...

[Verwijderd]

als je gewoon goed spul (compaq... hp proliant ) koopt en de hardware monitoring tools gebruikt, krijg je daar gewoon een melding over... zelfs al voordat de schijf daadwerkelijk uitvalt...

maar ja... geld zal wel weer een probleem zijn...

/me IIS5_rulez vindt het stom om te beknibbelen op hardware

[MADSMILE]

Aan je budget te zien zal er geen 2 maal 36 Gb 15k RAID in passen. Jammer maar waar.
Ik zou in dit geval voor een IDE oplossing gaan met hardwarematige RAID, dit vanwege het feit dat een HW RAID oplossing altijd stabieler en sneller is dan een SW RAID oplossing . 2x min 40 Gb 7200 RPM (133/100) met los PCI IDE-RAID kaart ( 133 of 100 ).

Voor backup zou ik gewoon 1 DLTUnit erin zetten .
Is het trouwens een Windows Server of Unix/linux systeem ?

Iig voor Windows 2k zou ik er 1 backup schijf naast zetten en met behulp van NTBACKUP daily fullbackup to file doen op die backupschijf . Als backup to file klaar is Per dag steeds full backup van de reserveschijf naar tape blazen. Na verloop van ( zeg hoeveel dagen je terug wil de backups op backupschijf verwijderen.
Nu hoef je iig geen tapes te wisselen , 1 DLT compressed 80 Gb kan hierdoor 5 dagen backup kwijt .

Hierdoor fungeerd je backupschijf dus als een soort copypool voor snelle restores
en je tape voor noodzakelijke opslag .

Voor linux/unix zelfde principe alleen dan tar of cpio ofzo ipv ntbackup

[Brahiewahiewa]

MADSMILE schreef op 09 oktober 2002 @ 21:35:
[...]Is het trouwens een Windows Server of Unix/linux systeem ?
[...]

LAMP == Linux, Apache, MySQL, PHP