[fileserver] welke ontwerpbeslissingen, samba, RAID5, Gbit

[TD-er]

Ik ben recentelijk een schijf kwijt geraakt of eigenlijk veel erger de data die erop stond.
Dit wil ik in de toekomst proberen te voorkomen en wil eigenlijk over op RAID5. Mijn idee is dan ook om een fileservertje neer te zetten, wat vanuit alle computers op het netwerk te benaderen is. (backup op tape gaat dan nog steeds vanaf de server)
Ik heb al de nodige topics door gespit en nu blijkt er nogal wat verschil te zijn in performance met het een of het ander.

Dit is wat ik zelf al bedacht had...

• 2 Promise ATA66 of -100 controllers (geen RAID-versies)
• simpel PII-tje of PIII-tje met ongeveer 128 a 256 MB RAM
• Linux als OS
• 4* 80GB 5400 rmp hdds (in removable HDD-racks)
• RAID-5 dus effectief 240GB aan opslag (elke schijf op een eigen kabel)
• los schijfje voor het OS
• 100Mbit en/of Gbit ethernet
• (stille) 300Watt voeding
• Samba of Coda en NFS voor netwerk-communicatie.
• tools om de hdd-status bij te houden (HDDtemp of IDE-S.M.A.R.T.-tools)
• Ext3 op het RAID-station

Maar dan blijf ik nog wel met een aantal vragen zitten.
Ik heb recentelijk nogal wat rare dingen met Samba meegemaakt en vraag me dus af of het wel zo'n geweldig protocol is om vrij frequent data over te sturen.
Op de site van coda heb ik gezien dat er wel een uitbreiding te krijgen is voor Win'95 en Win NT, maar dat klink mij nogal out-dated in de oren.
Eventueel zat ik te denken aan W2000 als OS, met een NTFS-formattering van het RAID-station, maar ik ben bang dat het dan niet flexibel genoeg is (lees: ik heb met windows weinig ervaring als het aankomt op netwerken en beheer daarvan)

Worden Gigabit kaarten goed ondersteund in zowel windows als Linux. Het artikel in de C'T hierover is ook alweer een tijdje geleden en ik zou graag praktijk ervaring horen. Dus zijn snelheden van 30 - 40 MB/s echt haalbaar, of moet ik dan gaan kijken naar bijvoorbeeld firewire (gewoon tussen de fileserver en de werkcomputer)

Is het eenvoudig mogelijk om het RAID-station te rebuilden, wanneer er een schijf vervangen is? en zijn er hiervoor tools te krijgen?

NFS heeft ook zijn nadelen, zoals geen locking (stateless server) en umounten gaat niet als server down is. Zijn hievoor oplossingen of alternatieven (Coda??)

Werken HDD-tools ook, wanneer de schijf benaderd wordt als een SCSI-device, of wordt een HDD op een promise kaart gewoon gezien als bijv. /dev/hde ?

Zijn er andere goedkope controllers te krijgen die ook goed werken onder linux? (Highpoint heb ik nogal slechte ervaringen mee, met de HPT366 die op m'n BP6 zit. Werkt niet goed met Maxtors)

Is Ext3 hier wel het meest geschikt voor of zijn er betere FS-en? (reboots horen nooit nodig te zijn, dus een FS-check eigenlijk ook niet)

Kunnen IDE-schijven zonder problemen vertikaal gemonteerd worden, zoals ook de schijven in de tweakers-servers staan/hangen (is mooier, moet waarschijnlijk toch een eigen kast in elkaar timmeren en dan meer ruimte voor de IDE-kabels) Ik weet dat het in merkPCs (Dell/Fujitsu-Siemens, etc) ook gebeurd, maar dat wil nog niet zeggen dat het goed is voor de schijven.

[Ronald]

TD-er schreef op 04 september 2002 @ 01:03:

Dit is wat ik zelf al bedacht had...
[list]
• 2 Promise ATA66 of -100 controllers (geen RAID-versies)

3Ware hardware raid 5 kaart (met hotswap/hotspare enz)

[/list]

Maar dan blijf ik nog wel met een aantal vragen zitten.
Ik heb recentelijk nogal wat rare dingen met Samba meegemaakt en vraag me dus af of het wel zo'n geweldig protocol is om vrij frequent data over te sturen.

Ik heb geen enkel probleem met samba. snel en betrouwbaar.

Op de site van coda heb ik gezien dat er wel een uitbreiding te krijgen is voor Win'95 en Win NT, maar dat klink mij nogal out-dated in de oren.

ruim 2 jaar zonder updates? daar kijk ik niet eena naar

Worden Gigabit kaarten goed ondersteund in zowel windows als Linux. Het artikel in de C'T hierover is ook alweer een tijdje geleden en ik zou graag praktijk ervaring horen. Dus zijn snelheden van 30 - 40 MB/s echt haalbaar, of moet ik dan gaan kijken naar bijvoorbeeld firewire (gewoon tussen de fileserver en de werkcomputer)

Er staan een aantal Gigabitters in de kernel.

Is het eenvoudig mogelijk om het RAID-station te rebuilden, wanneer er een schijf vervangen is? en zijn er hiervoor tools te krijgen?

3ware doet dat gewoon voor je voor zover ik weet

Zijn er andere goedkope controllers te krijgen die ook goed werken onder linux? (Highpoint heb ik nogal slechte ervaringen mee, met de HPT366 die op m'n BP6 zit. Werkt niet goed met Maxtors)

Promise en linux is ook niet geweldig

Is Ext3 hier wel het meest geschikt voor of zijn er betere FS-en? (reboots horen nooit nodig te zijn, dus een FS-check eigenlijk ook niet)

Ext3 is betrouwbaar en stabiel, voldoende snel. eig niets mis mee. mischien dat xfs een fractie sneller is, maar je gaat geen werelden van verschil maken.

Kunnen IDE-schijven zonder problemen vertikaal gemonteerd worden, zoals ook de schijven in de tweakers-servers staan/hangen (is mooier, moet waarschijnlijk toch een eigen kast in elkaar timmeren en dan meer ruimte voor de IDE-kabels) Ik weet dat het in merkPCs (Dell/Fujitsu-Siemens, etc) ook gebeurd, maar dat wil nog niet zeggen dat het goed is voor de schijven.

Dit staat in de Specsheets van de HD's

[Verwijderd]

TD-er schreef op 04 september 2002 @ 01:03:
2 Promise ATA66 of -100 controllers (geen RAID-versies)

Doe jezelf een lol, en gun jezelf een echte RAID-controller. Dit werkt veel sneller, betrouwbaarder en efficiënter. Ik raad de 3Ware Escalade aan.

simpel PII-tje of PIII-tje met ongeveer 128 a 256 MB RAM

Het is niet vervelend voor de server als 'ie meer RAM heeft. Deze wordt onder Linux namelijk gebruikt als filecache.

4* 80GB 5400 rmp hdds (in removable HDD-racks)

7200 RPMs zijn tegenwoordig nauwelijks duurder. Ik geloof dat ik Maxtor 80GB schijven met 7200 RPM voor iets rond de 115 heb gezien.

[b]RAID-5 dus effectief 240GB aan opslag (elke schijf op een eigen kabel)

Je zou ook nog RAID-10 kunnen overwegen. Dat is toch nog iets sneller dan RAID-5.

los schijfje voor het OS

Zou ik niet doen, want dan heb je nog steeds je single point of faillure bij je bootdisk zitten. Een aparte partitie lijkt mij wél helemaal okay.

100Mbit en/of Gbit ethernet

Zorg ervoor dat je iets van een goed merk, zoals Intel of 3Com, koopt. Dat scheelt veel performance.

(stille) 300Watt voeding

Met 4 harde schijven in een server zou je kunnen overwegen om deze iets zwaarder te nemen.

Ext3 op het RAID-station

Goede ervaringen mee.

Eventueel zat ik te denken aan W2000 als OS, met een NTFS-formattering van het RAID-station, maar ik ben bang dat het dan niet flexibel genoeg is (lees: ik heb met windows weinig ervaring als het aankomt op netwerken en beheer daarvan)

Absoluut niet doen als je er weinig ervaring mee hebt.

Worden Gigabit kaarten goed ondersteund in zowel windows als Linux. Het artikel in de C'T hierover is ook alweer een tijdje geleden en ik zou graag praktijk ervaring horen. Dus zijn snelheden van 30 - 40 MB/s echt haalbaar, of moet ik dan gaan kijken naar bijvoorbeeld firewire (gewoon tussen de fileserver en de werkcomputer)

Gigabitkaartjes zijn niet zo duur meer, en je haalt ook echt 30-40 MB. Maar het probleem is dat de switches nogal duur zijn.

Is het eenvoudig mogelijk om het RAID-station te rebuilden, wanneer er een schijf vervangen is? en zijn er hiervoor tools te krijgen?

één woord: 3Ware

Werken HDD-tools ook, wanneer de schijf benaderd wordt als een SCSI-device, of wordt een HDD op een promise kaart gewoon gezien als bijv. /dev/hde ?

Via zo'n promise kaart is het geloof ik /dev/hde en /dev/hdf, uiteraard afhanklijk van je verdere configuratie.

Kunnen IDE-schijven zonder problemen vertikaal gemonteerd worden, zoals ook de schijven in de tweakers-servers staan/hangen (is mooier, moet waarschijnlijk toch een eigen kast in elkaar timmeren en dan meer ruimte voor de IDE-kabels) Ik weet dat het in merkPCs (Dell/Fujitsu-Siemens, etc) ook gebeurd, maar dat wil nog niet zeggen dat het goed is voor de schijven.

Naar mijn weten kan dat prima, zolang je ze ook maar formatteerd in de vertikale positie.

[ACM]

Verwijderd schreef op 04 september 2002 @ 09:48:
7200 RPMs zijn tegenwoordig nauwelijks duurder. Ik geloof dat ik Maxtor 80GB schijven met 7200 RPM voor iets rond de 115 heb gezien.

Over het algemeen zijn ze ook een fractie minder robuust

Je zou ook nog RAID-10 kunnen overwegen. Dat is toch nog iets sneller dan RAID-5.

Dat is voornamelijk met schrijven sneller, raid 5 is echter wel minder verspilling van harddisks.

Zou ik niet doen, want dan heb je nog steeds je single point of faillure bij je bootdisk zitten. Een aparte partitie lijkt mij wél helemaal okay.

Booten van een raid is nou ook weer niet helemaal je-van-het en je OS op je fileserver disk zetten vindt ik persoonlijk niet handig.
ALS je dan een corrupt raid hebt kan je ook niet booten om hem software matig te beheren.
Imho ben je beter af met een losse OS-bootdisk, waar je natuurlijk wel een "quick-reinstall" procedure voor moet hebben (dat je binnen een uur een verse disk geinstalleerd kan hebben).

Naar mijn weten kan dat prima, zolang je ze ook maar formatteerd in de vertikale positie.

Wuh? Formatteren in verticale positie ???
Dat hebben we iig niet bij onze servers gedaan en ze doen het al een tijdje best aardig
Volgens mij kunnen harde schijven over het algemeen prima verticaal of horizontaal draaien.

[TD-er]

Jullie hebben het beide over 3Ware controllers. Ik kan me best voorstellen dat zoiets een heel stuk makkelijker werkt, maar dat kost wel weer een 400 euro, voor de eenvoudigste modellen (2 drives is niet echt een optie)
De reden dat ik geen 7200 rpm drives in de fileserver wil hebben, is dat die dingen een stuk warmer worden en ik al 2 5400 rpm drives heb liggen.
Qua netwerkkaart zat ik zelf te denken aan gewone realteks, daar ik hier met die kaartjes ook al 9 MB/s haal en de rest van de kaartjes in het netwerk ook realtekjes zijn. Dan is een deel van de winst van 3Com al weg (3Com met 3Com gaat inderdaad sneller)
Verder zullen er waarschijnlijk 2 computers vrij intensief van de fileserver gebruik gaan maken, dus hoeven er geen bedrijfs-kritische taken op te draaien (gewoon voor thuis)
Een extra uitgavenpost van zo'n 300 euro voor die 3Ware kaart (tov. een 2-tal Promisekaartjes) vind ik dan ook vooralsnog een beetje veel geld.
Met het idee van die losse IDE controllers in het achterhoofd had ik ook zitten bedenken dat je moet kunnen booten, dus een losse drive voor het OS.
Ik zal eens kijken of zo'n 3Ware kaart 2ehands nog ergens te krijgen is (voor bijvoorbeeld 200 euro)
Ik denk dat ik toch nog voor een flinke uitgave-post kom te staan, dus ik zou graag toch nog wat meer ervaringen willen horen van mensen met een software RAID oplossing.

[Verwijderd]

NFS umounten gaat niet als server down is. -> umount -f
Ext3FS stabiel en snel -> niet waar. XFS, Ext2FS, ReiserFS en FFS zijn stuk voor stuk sneller. XFS is snel in het executen van grote binaries. ReiserFS snel in het lezen kan kleine bestanden. Met name dus. Verder op bijna alle fronten beide sneller dan Ext3FS.

[TD-er]

Dus als FS kan ik het beste ReiserFS nemen?
Heeft die ook een max-filesize van 2GB of niet? dat is namelijk met videocapture wel makkelijk, daar je tegenwoordig niet meer met Virtualdub kunt capturen met de DC10.
Het soort files zal hel erg verschillen, maar de kleine files zullen niet zo super snel geladen hoeven te worden. Het gaat namelijk om eigen gemaakte documenten (kleine files dus) en hele grote files (.avi & .wav) en installaties van software, maar dat laatste hoeft dus niet heel erg snel.
De grote files zullen wel redelijk snel weggeschreven moeten kunnen worden (capturen van video, dus constant 3 - 4 MB/s)
Hoe gaat Samba om met files >2GB?
Qua OS wil ik wel een snelle rescue mogelijkheid maken, met een bootable CDtje die een image terug zet.
Mogelijk dat ik daarvoor een kleine schijf kan vinden, anders wordt dat een 40 GB.
Mijn primaire doel is dus een netwerkdrive die niet al te gevoelig is voor uitval en het liefst betaalbaar. Dus zijn er nog meer mensen met ervaring met software raid (slechte ervaring ben ik ook benieuwd naar)?
Eerder is ook al gemeld dat de Promise kaartjes niet echt geweldig werken in Linux. In welk opzicht? onbetrouwbaar, of wisselende performance, of anders?

[cool_zero]

Even een paar opmerkingen. Ik kwam namelijk het volgende tegen:

Booten van een raid is nou ook weer niet helemaal je-van-het en je OS op je fileserver disk zetten vindt ik persoonlijk niet handig.
ALS je dan een corrupt raid hebt kan je ook niet booten om hem software matig te beheren.
Imho ben je beter af met een losse OS-bootdisk, waar je natuurlijk wel een "quick-reinstall" procedure voor moet hebben (dat je binnen een uur een verse disk geinstalleerd kan hebben).

Booten van raid is als je het helemaal goed hebt ingesteld het beste wat je kunt hebben. Je maakt op twee schijven(of meer) een raid 1 en dan boot je systeem altijd als je bios automatisch kijkt naar de volgende boot als er een disk uitvalt

Zijn er andere goedkope controllers te krijgen die ook goed werken onder linux? (Highpoint heb ik nogal slechte ervaringen mee, met de HPT366 die op m'n BP6 zit. Werkt niet goed met Maxtors)

De nieuwere (raid) controller van highpoint(htp370) heeft geen last van deze kuren. Het is zelf zo dat als je "hardware" raid 0 in linux hebt je beter een highpoint kunt hebben dan een promise.

Heeft die ook een max-filesize van 2GB of niet? dat is namelijk met videocapture wel makkelijk, daar je tegenwoordig niet meer met Virtualdub kunt capturen met de DC10.

Dat is geen linux Maar dit kan wel met virtualdub, je kunt namelijk striped files ofzo capturen en dan worden files opgesplits zodat je geen last hebt van je 2 gb limiet.

De grote files zullen wel redelijk snel weggeschreven moeten kunnen worden (capturen van video, dus constant 3 - 4 MB/s)

Als je dat over netwerk wilt doen hoop ik voor je dat het niet te druk is op je netwerk. een 100 mbit netwerk haalt meestal zo'n beetje 6-7 MB/s. Daarnaast weet ik niet of raid 5 deze snelheid haalt als er ook nog andere mensen op die raid-set werken.

[TD-er]

cool_zero schreef op 04 september 2002 @ 17:06:
Even een paar opmerkingen. Ik kwam namelijk het volgende tegen:

[...]


Booten van raid is als je het helemaal goed hebt ingesteld het beste wat je kunt hebben. Je maakt op twee schijven(of meer) een raid 1 en dan boot je systeem altijd als je bios automatisch kijkt naar de volgende boot als er een disk uitvalt


[...]

De nieuwere (raid) controller van highpoint(htp370) heeft geen last van deze kuren. Het is zelf zo dat als je "hardware" raid 0 in linux hebt je beter een highpoint kunt hebben dan een promise.

Nou dat is dan een stuk verbeterd. Mooi zo.
Wat zit er op die 3Ware controllers? Promise chips of Highpoint?

[...]


Dat is geen linux Maar dit kan wel met virtualdub, je kunt namelijk striped files ofzo capturen en dan worden files opgesplits zodat je geen last hebt van je 2 gb limiet.

Dat bedoelde ik nu juist. In Virtualdub capture-de ik altijd vanwege die feature, maar dat kan nu dus niet meer met de XP drivers van de DC-10. Dan is het dus wel handig om files >2GB aan te kunnen maken, want de studio software van tegenwoordig breekt de files ook niet meer af, zoals de 1.06 drivers onder '98 wel deden.

[...]

Als je dat over netwerk wilt doen hoop ik voor je dat het niet te druk is op je netwerk. een 100 mbit netwerk haalt meestal zo'n beetje 6-7 MB/s. Daarnaast weet ik niet of raid 5 deze snelheid haalt als er ook nog andere mensen op die raid-set werken.

In princiepe werk ik zelf alleen op die machine en ik gebruik geen hub maar een switch dus theoretisch zou ik geen last moeten hebben van verkeer op de rest van het netwerk (wanneer mijn vriendin ineens gaat printen ofzo)
De schijven afzondelijk halen ruim 30 MB/s dus ik verwacht eigenlijk wel dat het lezen met minimaal 6 a 7 MB/s zou moeten kunnen in een RAID-5 setup.

Het beoogde systeem wordt waarschijnlijk een Celeron 400. Is zoiets snel genoeg om software RAID met een redelijk tempo te kunnen doen? (als het toch een 3Ware kaart wordt maakt de CPU helemaal niet meer uit)

[deadinspace]

RonaldH schreef op 04 september 2002 @ 01:32:
3Ware hardware raid 5 kaart (met hotswap/hotspare enz)

Maar 3Ware is een stuk duurder. Voordeel is dat je betere performance en mogelijk betere betrouwbaarheid hebt tov gewoon IDE met software raid.

TD-er schreef op 04 september 2002 @ 12:06:
Qua netwerkkaart zat ik zelf te denken aan gewone realteks, daar ik hier met die kaartjes ook al 9 MB/s haal en de rest van de kaartjes in het netwerk ook realtekjes zijn.

Maar je server gaat meer bandbreedte gebruiken dat je clients waarschijnlijk, dus het kan zijn dat je met 3coms nog altijd snelheidswinst hebt

...dus hoeven er geen bedrijfs-kritische taken op te draaien (gewoon voor thuis)

Hmm, dan is gewone IDE controllers + software raid misschien een betere keuze...

Met het idee van die losse IDE controllers in het achterhoofd had ik ook zitten bedenken dat je moet kunnen booten, dus een losse drive voor het OS.

Daar heb je geen aparte HD voor nodig, alleen wat alternatief partitioneren.

Verwijderd schreef op 04 september 2002 @ 13:19:
Ext3FS stabiel en snel -> niet waar. XFS, Ext2FS, ReiserFS en FFS zijn stuk voor stuk sneller. XFS is snel in het executen van grote binaries. ReiserFS snel in het lezen kan kleine bestanden. Met name dus. Verder op bijna alle fronten beide sneller dan Ext3FS.

EXT3 schijnt in ordered mode toch behoorlijk snel te zijn. Reiser hoor ik wat twijfelachtige dingen over, en met XFS was ik na een systemcrash ineens files kwijt...
Vooralsnog heb ik de beste ervaringen met Ext3 dus.

[deadinspace]

cool_zero schreef op 04 september 2002 @ 17:06:
Als je dat over netwerk wilt doen hoop ik voor je dat het niet te druk is op je netwerk. een 100 mbit netwerk haalt meestal zo'n beetje 6-7 MB/s

Met fatsoenlijke computers en netwerkkaarten (en switch!) is 9 MB/sec ook wel haalbaar hoor.

TD-er schreef op 04 september 2002 @ 17:20:
Wat zit er op die 3Ware controllers? Promise chips of Highpoint?

Die 3Ware controllers zijn *echte* RAID controllers, niet van die trick-BIOS "RAID" controllers zoals de promise, highpoint en fasttrack gevallen (vergelijk winmodems <-> hardware modems).

Dat bedoelde ik nu juist. In Virtualdub capture-de ik altijd vanwege die feature, maar dat kan nu dus niet meer met de XP drivers van de DC-10. Dan is het dus wel handig om files >2GB aan te kunnen maken, want de studio software van tegenwoordig breekt de files ook niet meer af, zoals de 1.06 drivers onder '98 wel deden.

Ext2, Ext3, Reiser en XFS kunnen allemaal files van ver boven de 2 GB aan.

De schijven afzondelijk halen ruim 30 MB/s dus ik verwacht eigenlijk wel dat het lezen met minimaal 6 a 7 MB/s zou moeten kunnen in een RAID-5 setup.

Afaik kun je met het lezen van RAID5 hogere snelheden halen dan individuele drives, alleen met schrijven ligt de performance lager.

Het beoogde systeem wordt waarschijnlijk een Celeron 400. Is zoiets snel genoeg om software RAID met een redelijk tempo te kunnen doen?

Waarschijnlijk wel denk ik (al weet ik niet hoe rekenintensief RAID5 is).

[TD-er]

deadinspace schreef op 04 september 2002 @ 18:08:

[...]

Met fatsoenlijke computers en netwerkkaarten (en switch!) is 9 MB/sec ook wel haalbaar hoor.

9 MB/s haal ik met de realtekjes tussen 2 winXP machines. (via de switch)
Ik vermoed alleen dat de 3Coms wat makkelijker verschillende requests kunnen afhandelen, maar dat is hier dus niet echt van toepassing daar er maar 2 computers veel gebruik zullen maken van de fileserver en ik beide bedien

[...]


Die 3Ware controllers zijn *echte* RAID controllers, niet van die trick-BIOS "RAID" controllers zoals de promise, highpoint en fasttrack gevallen (vergelijk winmodems <-> hardware modems).

Dat weet ik, maar ik had ergens anders gelezen dat op die hardware RAID controllers de (RISC-)CPU het verzamelwerk doet en de aansturing van een IDE controller en dat er soms ook gewone IDE controllers gebruikt worden, in de trand van waarom het wiel opnieuw uitvinden. Dus dat die controller de enige is die die IDE controllers aan kan sturen en dat de computer alleen die kaart ziet als een grote SCSI-kaart, met 1 drive. (of meerdere drives, wanneer d'r meerdere arrays gedefinieerd zijn)
Dus software matig zal het me niet veel uitmaken of op zo'n 3Ware controller nu Promise of Highpoint chippies zitten, maar het is in mijn ogen wel een bewijs dat die Highpoint controllers tegenwoordig betrouwbaar zijn, wanneer ze op dergelijke professionele kaarten worden gebruikt.

[...]

Ext2, Ext3, Reiser en XFS kunnen allemaal files van ver boven de 2 GB aan.

Ik heb het nog nooit geprobeerd, maar ik meende ergens gehoord te hebben dat > 2 (of 4) GB files niet mogelijk waren op Ext2. Als dat dus niet waar is, blijft Ext2 natuurlijk ook nog open als mogelijkheid.

[...]

Afaik kun je met het lezen van RAID5 hogere snelheden halen dan individuele drives, alleen met schrijven ligt de performance lager.

Dat vermoeden had ik al, maar als ze maar 6 a 7 MB/s kunnen halen is het voor mijn toepassing goed genoeg. Eventueel iets intelligenter cachen,(lees: meer geheugen) voor het geval dat er toch iets gelezen moet worden tijdens het capturen.

[...]

Waarschijnlijk wel denk ik (al weet ik niet hoe rekenintensief RAID5 is).

Ik heb het boardje net opgehaald bij een kennis. eerst eens kijken of het werkt en dan gewoon proberen, lijkt me.

[deadinspace]

TD-er schreef op 04 september 2002 @ 18:38:
Dat weet ik, maar ik had ergens anders gelezen dat op die hardware RAID controllers de (RISC-)CPU het verzamelwerk doet en de aansturing van een IDE controller en dat er soms ook gewone IDE controllers gebruikt worden, in de trand van waarom het wiel opnieuw uitvinden. Dus dat die controller de enige is die die IDE controllers aan kan sturen en dat de computer alleen die kaart ziet als een grote SCSI-kaart, met 1 drive. (of meerdere drives, wanneer d'r meerdere arrays gedefinieerd zijn)
Dus software matig zal het me niet veel uitmaken of op zo'n 3Ware controller nu Promise of Highpoint chippies zitten, maar het is in mijn ogen wel een bewijs dat die Highpoint controllers tegenwoordig betrouwbaar zijn, wanneer ze op dergelijke professionele kaarten worden gebruikt.

Zou kunnen, maar ik dacht dat je doelde op highpoint of promise chips voor de RAID-functionaliteit.

Ik heb het nog nooit geprobeerd, maar ik meende ergens gehoord te hebben dat > 2 (of 4) GB files niet mogelijk waren op Ext2. Als dat dus niet waar is, blijft Ext2 natuurlijk ook nog open als mogelijkheid.

Ext2 kan theoretisch tot 16 TB per file (bij een block size van 4 kb, wat standaard is), maar de 2.2 kernels hadden een beperking (in de VFS layer) die het op 32bit platformen onmogelijk maakte om files groter dan 2 GB te addresseren.
Maar deze beperking is dus onafhankelijk van het filesystem, en in 2.4 is deze beperking verhoogd (afaik tot ergens in de TB range).

[TD-er]

OK, komt toch een 2.4 kernel op te staan, dus dat moet geen problemen geven.
Ik vond het ook al zo achterhaald, zo'n file-grootte grens.

[cool_zero]

[...]
Met fatsoenlijke computers en netwerkkaarten (en switch!) is 9 MB/sec ook wel haalbaar hoor.

Ik had er misschien bij moeten vermelden dat dit de gemiddelde snelheid van twee realtek's over samba is met crosscable. Ik heb nog nooit twee 3com's tegenover elkaar gezet, maar misschien dat je dan in de buurt komt van de 9 MB/sec. In principe is het zo dat als je achter een realtek kaart maar genoeg processorkracht zet die net zo snel is als een 3com.

//offtopic:

Dat bedoelde ik nu juist. In Virtualdub capture-de ik altijd vanwege die feature, maar dat kan nu dus niet meer met de XP drivers van de DC-10. Dan is het dus wel handig om files >2GB aan te kunnen maken, want de studio software van tegenwoordig breekt de files ook niet meer af, zoals de 1.06 drivers onder '98 wel deden.

Je zou ook ntfs kunnen gebruiken. Ik kan met mijn fat32 maar een max van 4 GB halen met pinnacle studio 7, maar dat komt omdat fat32 niet groter kan, fat16 kan niet groter dan 2 GB, maar ntfs kan wel tot 4 TB ofzo.

[deadinspace]

TD-er schreef op 04 september 2002 @ 20:09:
OK, komt toch een 2.4 kernel op te staan, dus dat moet geen problemen geven.
Ik vond het ook al zo achterhaald, zo'n file-grootte grens.

Merk wel op dat applicaties ondersteuning moeten hebben voor filesizes groter dan 2 GB, (omdat de bestaande systemcalls niet gewijzigd kunnen worden zijn er nieuwe toegevoegd). In jouw geval is dat wrs alleen samba, maar het is wel iets dat je moet onthouden.

[TD-er]

Ik zal Samba wel ff testen met > 2GB (of 4GB) per file. Hopelijk werkt het vlekkeloos.

Ik heb nog even rondgevraagd en niemand die ik ken weet ergens een 2ehands hardware RAID controller te vinden. Ikzelf vind de prijs van die 3Ware dingen nog wat aan de hoge kant, dus nogmaals.... Is er iemand die praktijk ervaring heeft met een software matige RAID en het rebuilden ervan of heeft echt iedereen zo'n hardwarematige RAID controller? En wat zijn de problemen met Promise kaartjes onder linux, of is dat eigenlijk alleen tegenvallende performance?
Ik wilde eigenlijk maandag of dinsdag al naar de computershop stappen voor alle onderdelen, want de schijfruimte is hier namelijk echt niet werkbaar.

[deadinspace]

TD-er schreef op 07 september 2002 @ 20:17:
Is er iemand die praktijk ervaring heeft met een software matige RAID en het rebuilden ervan of heeft echt iedereen zo'n hardwarematige RAID controller?

Ik heb een computer gezien en geinstalleerd met een hardware RAID controller erin (een HP netserver met SCSI schijven in RAID 5 )... Best leuk ding, maar je wordt scheel van de prijs.
Het rebuilden is wel vet.. Je trekt een schijf eruit -> systeem draait vrolijk verder.
Je stopt de schijf er weer in -> hij gaat rebuilden.
Je trekt de voeding eruit tijdens het rebuilden -> compu uit.
Je stopt de voeding er weer in -> hij gaat vrolijk verder met rebuilden.
Gaaf apparaat

Ik ben medebeheerder van een bak met software raid (2x 60 GB striped, dus geen mirroring). Mja, de RAID werkt gewoon en is sneller dan een individuele schijf, maar omdat het striped is, is van rebuilden geen sprake (1 schijf kaput == alle data kwijt). Met het rebuilden van software RAID heb ik dus geen ervaring.

Verder heb ik niks van RAID

En wat zijn de problemen met Promise kaartjes onder linux, of is dat eigenlijk alleen tegenvallende performance?

Nou, daarvan wordt de "RAID" functionaliteit afaik niet ondersteund, dus je kunt ze alleen als gewone IDE controller gebruiken (waarna je met software raid aan de gang zou moeten dan).
Das op zich niet zo'n ramp aangezien GNU/Linux' software raid afaik sneller was, maar qua rebuilden zou ik het niet weten.

Heb je niet wat HDs over dat je even een testsysteempje kunt opzetten om het uit te proberen? Dat is altijd verstandig.

[TD-er]

deadinspace schreef op 07 september 2002 @ 23:41:
[...]


Vraag over Promise kaartjes en Linux

Nou, daarvan wordt de "RAID" functionaliteit afaik niet ondersteund, dus je kunt ze alleen als gewone IDE controller gebruiken (waarna je met software raid aan de gang zou moeten dan).
Das op zich niet zo'n ramp aangezien GNU/Linux' software raid afaik sneller was, maar qua rebuilden zou ik het niet weten.

Heb je niet wat HDs over dat je even een testsysteempje kunt opzetten om het uit te proberen? Dat is altijd verstandig.

Ik heb nu al die 2 80 GB schijven en wilde inderdaad vanmiddag even gaan experimenteren met bijv een RAID-1 om het rebuilden te testen.
Ik heb gisteravond nog even gekeken op The Linux Document Project en daar een paar docs gevonden over RAID.
Die promise kaart die ik hier al heb liggen is een niet-RAID versie, dus ik zit hoedanook vast aan software matig RAID met die kaart.
Ik had nog bedacht dat ik ook wel van die schijf kan booten, door de onboard IDE te gebruiken en op een van de schijven een kleine /boot partitie te maken van een aantal MBs. Voor zover ik gezien heb geef je namelijk in de Arraydef (/etc/raidtab) aan dat je partities gebruikt en niet de hele schijf. (bijv /dev/hda1 ipv /dev/hda) en die paar MBs maakt me ook niet zoveel uit op die 240 GB aan ruimte.

Heeft er iemand enig idee hoe die partities gelabeled moeten worden? of is dat gewoon type 83 (linux) in Fdisk? (lijkt me wel het meest logisch) Ik zie net in Fdisk staan dat er ook nog een type fd (Linux raid auto) en een type 8e (Linux LVM) zijn.

[Verwijderd]

Ik heb zelf ook iets soort gelijks als jij. Ik heb 3 Promise ATA 100 TX ide controllers, dit is het maximale aantal dat de linux driver in 2.4.19 ondersteund. Dit werkt echter prima.

Op 1 ding na. Met meerdere controllers kan hij er niet vanaf booten met mijn oude bios want hij weet niet vanaf welke hd hij moet booten. Dit heb ik opgelost door een vierde hardeschijf op de onboard controller te plaaten. Hierop heb ik linux geinstalleerd. De overige 3 schijven zijn voor storage.

Er zit een 3com 905C TX netwerkkaart in de server. De kaarten in de werk-
stations zijn ook hetzelfde. Ik heb een 3com officeconnect hub en haal dus maximaal 6 Mb.

De schijf waarvan wordt geboot is Seagate medialist 5400 toeren. De schijven op de controllers zijn allemaal seagate baracuda's 7200 toeren en zitten in Coolermaster koelstations. Dit houd het zaakje koel.

Ik wil binnnekort met LVM aan de gang om de drie partities op de 7200 toeren schijven aan elkaar te knopen.

[TD-er]

OK. Zeer interessante informatie. Ik zie dus al wel dat ik geen (dure) 3Coms hoef te halen, daar ik hier vrij geregeld met de realtekjes 8 - 9MB/s haal. Of is je fileserver een beetje krap bemeten met CPU-power, waardoor je niet > 6MB/s haalt?

Waarom heb je elke hdd op een aparte Promise kaart gezet? ik had begrepen dat je eigenlijk alleen maar moest voorkomen dat er 2 HDDs op één kabel kwamen en niet zozeer per controller.
Verder ook interessant om te weten dat er niet >3 controllers aangestuurd kunnen worden. Dit voor mogelijke uitbreidingen.

[Verwijderd]

Ik denk dat bij mij dat de hub bij mij eerder de beperking is(100 MB hele netwerk ipv per verbindig, half duplex enz.).

Ik heb drie van die kaarten gekocht om ervoor te zorgen dat ik altijd kan uitbreiden. Linux kan maximaal 10 ide conrollers aansturen. ik zit nu op 8 (tenminste als dat 2 per kaart is + 2 onboard). Dus kan ik op die controllers nog 3 hardschijven aansturen. En ik kon heel goedkoop aan die kaarten komen.

Maar ik heb ook een vraag over die gigabit kaart. Is het gewoon mogelijk om een gigabit kaart te kopen met eens 100MB switch. En dan die gigabit kaart te gebruiken voor meerdere 100MB switch verbingingen. Ik bedoel, als je een switch hebt en je hebt een 100 MB netwerk kaart in de server en twee 100 MB clients connecten naar de server dan is de server de beperking. Als je er dan een Gigabit netwerk kaart inhangt, heb je dan die beperking opgeheven. Oftewijl kan een Gigabit netwerkkaart aan een 100 MB switch hangen.

[alt-92]

Waar werkt die kaart dan op denk je?
.
.
.
.
.
.
.
.
100 MBit dus.

ergo: je wil een gigabit poort in je switch hangen om er nog optimaal gebruik van te willen maken.

[Verwijderd]

Oh, ja op 100 MB dan dus. ik dacht even niet logisch na Ik was in de war met dual speed hubs, waarvan ik er hier ook 1 heb staan.

[TD-er]

Die gigabit kaart is nog niet zeker, maar als ik een fatsoenlijke snelheid uit die RAID-setup kan krijgen, dan denk ik er wel over na, om de werk-computer uit te rusten met zo'n Gbit kaart, voor naar de fileserver en dan alles wat niet voor de fileserver is door te routen naar de rest van het netwerk (bijv internet verkeer)
Maar dan moet die RAID set wel minstens 25 a 30 MB/s kunnen halen, wil dat een beetje zinvol zijn. Eventueel ipv. die Gbit kaart een Firewire kaartje.

[deadinspace]

Er bestaan switches met 1 of 2 gigabit poorten en voor de rest 100 MBit poorten (hier staat er een met 2 gigabit POF poorten en 48 100 MBit poorten. En nee, "hier" is niet bij mij thuis ).

Maar celly-400 is misschien wat krap aan. Als je het materiaal voor 100 MBit al hebt liggen, dan zou ik het zeker eerst daarmee proberen voor je meteen naar de winkel rent voor gigabit spul.

[TD-er]

Dat van meteen naar de winkel rennen, zal ook niet zo gauw gebeuren, behalve voor de hdds, met bijbehorende verwisselbare racks en een goede 300W voeding. Die moeten er toch komen.
Mogelijk ook een bestaand kastje, maar waarschijnlijk een eigen timmerklusje.
Het hele netwerkje hier is inderdaad al 100 Mbit.
Die 400 MHz Celeron bleek niet (goed) te werken, dus daar krijg ik morgen een PIII 500 voor. Zou toch voldoende moeten zijn, samen met waarschijnlijk zo'n 256 MB aan geheugen. (hopelijk heb ik nog PC100 of sneller liggen, want ik heb wel het nodige aan PC66 liggen)

[Verwijderd]

deadinspace schreef op 04 september 2002 @ 17:44:
EXT3 schijnt in ordered mode toch behoorlijk snel te zijn. Reiser hoor ik wat twijfelachtige dingen over, en met XFS was ik na een systemcrash ineens files kwijt...
Vooralsnog heb ik de beste ervaringen met Ext3 dus.

Goh, ik hoor alleen negatieve verhalen over de stabiliteit van JFS en de performance van Ext3FS. Verder niks dan lof voor ReiserFS en XFS. Zat bronnen die deze 2 bewijzen tov. Ext3FS.

Gebruik maar eens Google, check de site van ReiserFS of lees de Linuxmagazine van ik dacht de lente.

http://bulmalug.net/body.phtml?nIdNoticia=642
http://bulmalug.net/body.phtml?nIdNoticia=1154&nIdPage=8
http://www.mandrakeforum.org/article.php?sid=1212

Waarbij ik wil opmerken dat ik gewoon mijn kernel boot vanaf een prachtige /boot partitie welke van het XFS geslacht is.

[TD-er]

OK voortgang tot nu toe....
Zaterdag had ik de boel in elkaar zitten, start netjes RedHat-installatie van de floppy, begin de installatie via NFS en maak een /boot aan van 32 MB (en losse 32 MB primaire partities op elke schijf, zodat de partitie nummering op elke hdd hetzelfde is.
Alles wordt netjes door de installatie kernel van RH herkend, dus de drives nummeren netjes door van hda, hdc, hde & hdg. Alle (software-)RAID partities aangemaakt en samen gevoegd tot één RAID station van zo'n 220GB, netjes toegekend aan "/".
Ga partities formatteren............ drive /dev/hde stuk (!!) en dat op zaterdagmiddag, 17:15, oftewel na sluitingstijd GRMPH!!

Kunnen er nu geen degelijke hdds meer gemaakt worden??? Dit is dus al de 5e defecte maxtor die ik binnen 4 week terug breng naar de winkel. (heb zo'n 20 hdd's in beheer waarvan een stuk of 9 van mezelf)
Maar goed, netjes een nieuwe mee gekregen en nu maar hopen dat het wel goed gaat.
Iemand nog op-/aanmerkingen op de bovengenoemde methode (behalve dan RedHat gebruik, maar dat is uit pure gemakzucht)??

[Coen Rosdorff]

TD-er schreef op 16 september 2002 @ 18:27:
Iemand nog op-/aanmerkingen op de bovengenoemde methode (behalve dan RedHat gebruik, maar dat is uit pure gemakzucht)??

De enige opmerking die ik heb is dat het tegenwoordig schijnbaar mode is om negatief over RedHat te zijn. Dat is echt nergens voor nodig. RedHat levert een meer dan goeie distributie.

[TD-er]

little_soundman schreef op 16 september 2002 @ 19:20:
[...]


De enige opmerking die ik heb is dat het tegenwoordig schijnbaar mode is om negatief over RedHat te zijn. Dat is echt nergens voor nodig. RedHat levert een meer dan goeie distributie.

Het enige negatieve wat je van mijn kant over RH zult horen is dat ze soms wat te veel zelf lopen klooien in bijv de libs en de kernel, wat in het verleden resulteerde in niet-compilerende kernels en incompatibiliteit met sommige programma's, maar de installatie vind ik veruit de makkelijkste.
Neemt niet weg dat ik er zelf nog wel het nodige aan zal aanvullen, maar dat zul je met elke distro wel hebben.

[TD-er]

Aan het eind van de installatie crashte Anaconda (de installer van RedHat), omdat deze een filetje niet kon vinden (stond waarschijnlijk op CD1 en CD3 was op dat moment gemount via NFS)
Gevolg was wel dat bij de reboot een aantal zaken nog niet gedaan waren (X-configuratie, aanmaken rescueflop, etc), maar dat kan ik natuurlijk allemaal zelf ook wel.
Minder was dat de RAID5d vond dat de RAIDset niet clean was en dus een complete resync nodig was. (wat wordt je PC daar langzaam van zeg) Die Resync zal volgens mij wel overeenkomen met een complete rebuild en duurde voor 4*80 GB net iets meer dan 2 uur.
Ik heb ook even snel een klein testje uitgevoerd. Een file van 1 GB met allemaal 0-en wordt met 25 - 40 MB/s geschreven.
Leestests heb ik nog niet gedaan.

[Verwijderd]

Als je al een netwerk hebt lijkt me het onnodig om een firewire netwerk erbij aan te leggen. Ik denk zelf dat 100mbit genoeg is, of misschien 2x 100mbit.

[TD-er]

Ik zat zelf te denken aan een losse verbinding tussen het werkstation en de fileserver die wat sneller is (Gbit bijv.) en dan de fileserver als een soort van bridge tussen mijn werkcomputer en de rest van het netwerk.

[Verwijderd]

Dat kan heel goed, dus in fileserver 1x gbit naar workstation en 1x 100mbit naar netwerk?

[TD-er]

Verwijderd schreef op 17 september 2002 @ 13:45:
Dat kan heel goed, dus in fileserver 1x gbit naar workstation en 1x 100mbit naar netwerk?

Dat was wel de bedoeling ja.

Ik heb zonet nog even de set gebenchmarked met Bonnie++

code:

Version 1.02c       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
fileserver       2G  7655  77 26957  28 17273  33  8487  96 50634  66 186.3   1
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                  1 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
fileserver,2G,7655,77,26957,28,17273,33,8487,96,50634,66,186.3,1,1,+++++,+++,+++
++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++

Dus leessnelheid van zo'n 50 MB/s en schrijfsnelheid ruim 25 MB/s (testfile was 2 GB)
alleen die ramdom accesses van 186.3/s vind ik een beetje vreemd.
Dat zou neerkomen op een toegangstijd van 5.3 ms

[TD-er]

De Fileserver werkt prima, maar Samba of Windows XP gooit roet in het eten.
Als ik een vrij grote file (in dit voorbeeld 1 GB) kopieer naar de server, begint 'ie eerst op ongeveer 60% van de netwerkcapaciteit te pompen en valt bij de eerste de beste bit die ook over het netwerk gaat, gelijk terug naar zo'n 33%, zoals hieronder te zien is.

Boven: verkeer via Windows-Samba
Onder: Verkeer Windows => Fileserver via FTP

Ik heb al ff rondgezocht en iets gevonden over gereserveerde bandbreedte voor QoS-aware applicaties, maar dat blijkt niet de oplossing te zijn.
Heeft er iemand een idee hoe ik Windows XP duidelijk kan maken dat 'ie gewoon niet moet zeuren en met de maximaal mogelijke bandbreedte data over dat netwerk moet stouwen?
Aan de CPU belasting kan het niet liggen, want die was maar 30% en ik heb Windows wel eens 90% netwerk belasting zien gebruiken (over een file van 1.8 GB tussen 2 windowsXP bakken)

Aanvulling:
Ik heb ook nog ff gekeken hoe snel het gaat via FTP, maar daar wordt je ook niet super vrolijk van. Het begin is rond de 80% van de netwerk capaciteit, maar zakt vrij snel naar de 66% (rechter grafiek)
Ik ga zometeen ook nog even kijken hoe snel het gaat via NFS en FTP tussen een snelle (P4) linux bak en de fileserver, puur om te kijken of de Realtek ook een beperkende factor is in de fileserver.
Weet er nog iemand een leuke tool om de netwerk-traffic grafisch weer te geven onder linux, of moet ik gewoon ouderwets de hoeveelheid data delen door de tijd?

[ Voor 0% gewijzigd door TD-er op 18-09-2002 17:19 . Reden: FTP-transfer toegevoegd ]

[Fatalharry]

Je hebt dus een realtec kaartje in je file server gezet?
zonde want die haalt dus echt nooit 100% van je netwerkbandbreedte.
beter een intel of een 3com

[TD-er]

fatalharry schreef op 18 september 2002 @ 16:54:
Je hebt dus een realtec kaartje in je file server gezet?
zonde want die haalt dus echt nooit 100% van je netwerkbandbreedte.
beter een intel of een 3com

Ik heb zojuist een test gedaan van de P4-bak (onder linux) naar de fileserver met FTP.
Beide hebben een Realtek kaartje aan board en de schijf in de P4 bak is een Maxtor 80GB 7200rpm.
Het resultaat is:

code:

226 Transfer complete.
736753152 bytes sent in 84.3 secs (8.5e+03 Kbytes/sec)
ftp>

Oftewel de Realtek in de fileserver haalt inderdaad geen 100%, maar deze 8,5 MB/s vind ik acceptabel en vind ik persoonlijk de meerprijs van een 3Com niet waard.
Ik heb nog ff zitten rekenen...
Dit komt dus neer op 68% van de capaciteit, rekening houdende met een max doorvoer van 12,5 MB/s, maar dan houd je nog geen rekening met TCP/IP overhead, wat ook gauw zo'n 2 a 4 % is, dus ik haal waarschijnlijk zo'n 70-75% van de haalbare snelheid.

[ Voor 0% gewijzigd door TD-er op 18-09-2002 18:13 . Reden: Forum vind [Alt]+171 niet leuk :( ]

[TD-er]

Nog een laatste testje gedaan. Een samba mount tussen 2 linuxbakken, geeft een transfer van 4 - 4,2 MB/s
Uiteraard heb ik ook nog even een ftp verbinding parallel gemaakt aan dat samba-verkeer en toen kwam ik op een FTP-snelheid van 6,2 MB/s en de transfer-snelheid van de Samba verbinding zakte naar 3,3 MB/s.
Beide verbindingen gingen tegelijk tussen 2 linux-machines (P4-bak en Fileserver), dus collision-afhandeling van de switch en/of de netwerkkaartjes speelde hier geen rol.
Da's dus toch een totaal van 9,5 MB/s tussen 2 realtekjes, dus ik denk niet dat ik veel winst zal halen met een 3Com.

Conclusie:
Samba is niet echt geweldig (what else is new) en Realtekjes doen het best OK onder Linux.

[deadinspace]

TD-er schreef op 18 september 2002 @ 16:44:
De Fileserver werkt prima, maar Samba of Windows XP gooit roet in het eten.

Er waren wat tweaks voor Samba die het wat konden versnellen (vergroten van packets oid). Ik weet niet exact meer wat, maar misschien de moeite waard om het te zoeken.

Maar met FTP ook niet bijster snel... Hoe hangen die twee bakken aan elkaar? Crosskabel, hub, switch?

Weet er nog iemand een leuke tool om de netwerk-traffic grafisch weer te geven onder linux, of moet ik gewoon ouderwets de hoeveelheid data delen door de tijd?

gkrellm doet dat (al is die daar niet specifiek voor bedoeld), en je hebt nog wel meer progjes. Maar misschien is "iptraf" (console progje) het eenvoudigst.

[TD-er]

het hangt via een 100 Mbit Switch van Unex aan elkaar.
ik zal eens googlen naar samba tweaks.
Persoonlijk zou ik al heel tevreden zijn, wanneer de Samba verbindingen evensnel zouden zijn als de FTP verbinding (ruim 8 MB/s)