File server

[Verwijderd]

Voor de opleiding en Hobby. Wil ik mijn server voorzien van RAID 0 opstelling. Omdat het voor te leren is, wil ik niet al te veel geld aan uit geven. Maar toch het maximalen er uit halen.

Eigeschappen

Pentinum 4 1,7ghz
400FSB 478socket
Rimm RDRAMM 800
4 x 128 = 512MB
Externe 1GB netwerk kaart (aangesloten op 1GB netwerk )
IDE Maxtor 320gb harddisk (HD tack 8mb quik random acces 15,3 ms, cpu utilization 8% +-2%, average read 68.0mb/s)

Nu wil ik een externe Raid 0 Controller.
ik zelf zat te denke aan SATA 300mb/s.

Bedoeling is om in de praktijk zo snelmogelijk grote bestanden over het 1 gb netwerk te versturen.

Nu heb ik rond gekeken. Een RAID 0 opstelling moet ongeveer op 90mb/sec halen. Als dat in de praktijk zo is, Valt het me vies tegen.

Mijn vraag is dan ook, welke controller advieseren jullie ?
mijn idee:
XFX REVO64 PCC3 SATA Music heeft 64mb cach l2
http://www.alternate.nl/h...1063928&showTechData=true

De harde schijven dacht ik zelf aan de samsung spinpoint 2x 250gb van wege de stilte.

[_Apache_]

RAID0 is niet veilig, wel heel snel, maar dit gaat ten koste van je veiligheid, dus voor een fileserver zou je toch een andere RAID opstelling ( of simpel JBOD ) moeten doen.

[ Voor 20% gewijzigd door _Apache_ op 13-11-2007 16:50 ]

[Verwijderd]

_Apache_ schreef op dinsdag 13 november 2007 @ 16:50:
RAID0 is niet veilig, wel heel snel, maar dit gaat ten koste van je veiligheid, dus voor een fileserver zou je toch een andere RAID opstelling ( of simpel JBOD ) moeten doen.

Om geld te sparen en toch de snelheid te hebben pak ik RAID 0. De Maxter 320 ide komt op het moederbord voor elke week een back-up. hoe ik dit ga doen weet ik nog niet. (ghost, server 2003 back-up)

De data wat er op staat, is niet van levensbelang:
foto's
muziek'
film's
game's
huiswerk

[Verwijderd]

Heeft je moederbord geen onbaord RAID, of kun je geen software RAID0 gebruiken?

Overigens hoort elke fatsoenlijke RAID0-controller (ook softwarematig) gewoon de volle throughput halen. Veel mensen gebruiken iets als HDTune om de doorvoersnelheid van hun RAID-array te testen en daar is dat stuk software niet voor gemaakt, waardoor je onjuiste (lagere) resultaten krijgt.

[Sosabowski]

Verwijderd schreef op dinsdag 13 november 2007 @ 16:48:
Voor de opleiding en Hobby. Wil ik mijn server voorzien van RAID 0 opstelling. Omdat het voor te leren is, wil ik niet al te veel geld aan uit geven. Maar toch het maximalen er uit halen.

De harde schijven dacht ik zelf aan de samsung spinpoint 2x 250gb van wege de stilte.

Beetje aparte wensen. Als je er van wil leren kan je linux of BSD sotware raid gebruiken. Is nog goedkoop ook. Als je de maximale snelheid wilt moet je natuurlijk niet voor stille harde schijven kiezen maar voor snelle natuurlijk.

[LieveNiels]

-

[ Voor 98% gewijzigd door LieveNiels op 13-11-2007 17:23 ]

[Verwijderd]

Zo langzaam zijn die Spinpoints nou ook weer niet, qua throughput (MB/s) verslaan ze zelfs de Raptors. Bij de T166 iig, laat staan de F1 series. S250 zou ook redelijk snel moeten zijn.

Ik denk dat hij juist vooral geen PCI bus moet gebruiken, wat die XFX controller dus gebruikt.

[Verwijderd]

Verwijderd schreef op dinsdag 13 november 2007 @ 17:34:
Zo langzaam zijn die Spinpoints nou ook weer niet, qua throughput (MB/s) verslaan ze zelfs de Raptors. Bij de T166 iig, laat staan de F1 series. S250 zou ook redelijk snel moeten zijn.

Ik denk dat hij juist vooral geen PCI bus moet gebruiken, wat die XFX controller dus gebruikt.

Het moederbord heeft alleen maar pci en agp, dus daar kan het alleen via pci.

Nu heb ik nog een pentium 4 3.0 ghz 775 800mhz fsb
2gb ddr 2
die heeft pcie 4x en pcie 16x


Maar dat is veel te veel voor een fileserver. En het stroom verbruik is stuk hoger.

Dus ik moet wel via pci, Wat zijn dan de grote nadelen ? Veel snelheid verlies ?

[Verwijderd]

Heb je geen Serial ATA onboard dan?

PCI is niet geschikt voor high-performance storage, en dan heb ik het geeneens over de beperkte bandbreedte, dat is nog het minste probleem. Voor details zie deze post:
Verwijderd in "PCMCIA met Firewire en eSATA?"

Stroomverbruik kun je met een AMD proc en IGP bordje aardig beperken, maargoed dan moet je dus geld gaan uitgeven. Als jouw mobo SATA onboard heeft kun je dat gebruiken dat is gratis en nog sneller dan een PCI kaartje.

[Exorcist]

Wat heb je aan een RAID0 setup, die 90 MB/sec kan halen, als het je voornamelijk gaat over bestanden kopiëren over het netwerk? Je netwerkverbinding blijft de bottleneck. De 1 Gbps haal je bij lange na niet, je mag in je handjes klappen als je 40 MB/sec haalt.

[Verwijderd]

Exorcist schreef op dinsdag 13 november 2007 @ 18:46:
Wat heb je aan een RAID0 setup, die 90 MB/sec kan halen, als het je voornamelijk gaat over bestanden kopiëren over het netwerk? Je netwerkverbinding blijft de bottleneck. De 1 Gbps haal je bij lange na niet, je mag in je handjes klappen als je 40 MB/sec haalt.

Dus de hardisk blijft altijd nog snellerder als Het 1000mb netwerk?
ik weet wel dat 1000mb theoretisch is maar 40mb lijkt me wat weinig

[Exorcist]

Verwijderd schreef op dinsdag 13 november 2007 @ 18:48:
[...]


Dus de hardisk blijft altijd nog snellerder als Het 1000mb netwerk?
ik weet wel dat 1000mb theoretisch is maar 40mb lijkt me wat weinig

Haal MB en Mb niet door elkaar

1 Gbps = 1000 Mbps = 100 MB/sec, theoretisch. Dit haal je never nooit niet .

[Verwijderd]

Dus voor het geen waar ik hem wil gebruiken is RAID over bodig. Iemand anders nog advies voor dat de bestelling de deur uit gaat ?

[dvl-2]

kijk zelf gewoon wat de langzaamste schakel is in het netwerk. Waarschijnlijk is dat je netwerkkaart, je moet toch minimaal een PCI-X 133mhz of PCI-e netwerkkaart hebben wil je in de buurt komen van die Gbit (125MB/s).

Raid0 zou ik niet aanmaken in jou geval: je hebt doet alles over een PCI-bus die max 133MB/s trekt *theoretisch*. Zou proberen een nieuwste lijn sata-disks te pakken; seagate's zijn de snelste. Denk dat als je een 7200.10 500GB zou nemen je al snel genoeg bent. 40MB/s transferren houdt in dat een dvd altijd nog in 2min overgepompt is (mits de 'ontvangende' partij ook 40MB/s kan verwerken).

[Verwijderd]

Als hij stilte wilt moet hij natuurlijk vooral geen Seagate 7200.10 nemen, die seeken erg luidruchtig.
Als zowel zijn netwerk adapter als zijn SATA controller op de PCI bus zitten, houdt hij weinig snelheid over inderdaad. RAID0 verhoogt echter niet alleen throughput maar ook andere I/O zoals kleine bestanden uitpakken etc. Als er toch een backup is, is RAID0 helemaal niet zo'n slecht idee.

@TS: heeft je moederbord geen onboard SATA aansluitingen? Als die door de chipset worden geleverd, hebben die geen last van een PCI bus namelijk.

[CrankyGamerOG]

Exorcist schreef op dinsdag 13 november 2007 @ 18:50:
[...]


Haal MB en Mb niet door elkaar

1 Gbps = 1000 Mbps = 100 MB/sec, theoretisch. Dit haal je never nooit niet .

1Gbps = 1000Mbps = 125MB/sec , theoretisch

8 bits is toch 1 byte ?

en als ik gelijk heb mag jij terug naar school

[ Voor 7% gewijzigd door CrankyGamerOG op 14-11-2007 11:22 ]

[McKaamos]

CrankyGamerOG schreef op woensdag 14 november 2007 @ 11:21:
[...]


1Gbps = 1000Mbps = 125MB/sec , theoretisch

8 bits is toch 1 byte ?

en als ik gelijk heb mag jij terug naar school

correct, maar je moet rekening houden met overhead, collisions, dataloss, etc etc
Uiteindelijk houd je max 70% over van de maximale theoretische bandbreedte, dus 100MB per seconde komt sowieso meer in de buurt

Verder: Met Enlightenment hier boven.
PCI heeft een maximale transferrate van 133MB per seconde. Ook daar weer overhead e.d. waardoor je minder overhoud. Reken max 120MB per sec.
Als je daar 2 grootverbruikers op zet (Gbit LAN en een SATA RAID controller) dan moeten ze die bandbreedte delen dus haal je de maximale snelheid van je PCI bus wel, maar niet van je harddisks en ook niet van je Gbit kaart.

Je bent beter af met een onboard SATA RAID. Meestal zijn die gekoppeld aan een apparte PCI bus voor de onboard apparatuur, waardoor je dedicated bandbreedte voor zowel je LAN als SATA hebt.
Een andere optie is om voor een moederbord met PCI Express te gaan. Daar op heb je veel meer bandbreedte.
Een goedkoop socket AM2 moederbord met AMD Sempron of Athlon64 BE CPU kost niet zoveel, plus dat DDR2 RAM op het moment voor dumpprijzen over de toonbank gaat.
Als je een moederbord neemt met een fatsoenlijke chipset (zoals een nForce 5xx of 6xx chipset) heb je 9 van de 10 keer een nVidia Mediashield RAID controller er op zitten welke goed presteert en gekopeld is aan de interne PCI Express bus.
De meesten hebben ook nog eens een onboard Gbit LAN.

Een goed voorbeeld is de Asus M2N serie. Socket AM2, nForce570 chipsetje, Mediashield RAID en onboard nVidia Gbit LAN, alles op de interne PCI Express bus.
Goedkoop en lekker rap.

[ Voor 64% gewijzigd door McKaamos op 14-11-2007 11:54 ]

[Verwijderd]

Ik begrijp het helemaal.
Dus ik al zoeke naar ander hardware.
Nu heb ik hier nog wat hardware liggen:

Mainboard ASUS P5SD2-FM/S
Sockel 775
CPU Pentium; D-/Inte174; Pentium 4-/Celeron/ Intel Extreme Edition
FSB 533/800
Chipset SiS SiS649 u. SiS966
PCI 2x PCI
PCIe PCI Express x16
IDE / SATA 2x ATA 100 4 x serial ATA- mit RAID 0-, RAID 1-, RAID 0+1-und JBOD-Konfiguration
Sound Realtek ACL880 8-Kanal-CODEC
SPDIF S/PDIF-a
LAN Realtek® RTL 8201CL 10/100 Mbit/s LAN PHY
FDD 1x FDD
seriell 1x
USB 8x
Fire Wire VIA 6307-Controller :- 2 x IEEE 1394a
Speicherbänke 2 x 240-polige DDR2 DIMM-Sockel unterstützen bis 2GB(non-ECC) mit 667/533/400 MHz
Format Micro ATX 9,6 x 9,6

Procesor Intel P4 Dual Core- 3,0 GHz , EM64T 64Bit Technologie SL88S
Typ / Intel Sockel 775
Procesor. 1
Taktowanie 3000 MHz
Kompatibilnosc Procesor 775 pin
FSB 800MHz
Bus/Core Ratio 15
L2-Cache 2 MB
Core stepping A0
Termal Design Power 130W
Termal Specification 69.8°

Deze Hardware is ook niet geschikt, geen Gb lan, 130 watt cpu!!

[dvl-2]

McKaamos schreef op woensdag 14 november 2007 @ 11:47:
[...]

correct, maar je moet rekening houden met overhead, collisions, dataloss, etc etc
Uiteindelijk houd je max 70% over van de maximale theoretische bandbreedte, dus 100MB per seconde komt sowieso meer in de buurt

Ik vindt dit echt onzinnig. Als jij goede hardware koopt, dus om te beginnen bijvoorbeeld een 'Intel PRO 1000 PF server-adaptor' netwerkkaart en vervolgens genoeg ram/cpu-power en vooral geen windows-XP maar gewoon linux dan trek je echt wel makkelijk 100MB/s+ (mits ontvangende partij dat ook kan verwerken uiteraard). Zie geregeld netwerkusage's voorbij komen van 200MB/s+ op een gbit-FD lijn. Tis maar wat voor hardware je er tegenaan gooit. Oke.. ik geef wel toe dat er ook andere prijskaartjes aan hangen maar het statement dat je maximaal maar 70% van kan benutten van een gbit-lijn is echt onzin.

[McKaamos]

dvl-2 schreef op woensdag 14 november 2007 @ 14:55:
[...]


Ik vindt dit echt onzinnig. Als jij goede hardware koopt, dus om te beginnen bijvoorbeeld een 'Intel PRO 1000 PF server-adaptor' netwerkkaart en vervolgens genoeg ram/cpu-power en vooral geen windows-XP maar gewoon linux dan trek je echt wel makkelijk 100MB/s+ (mits ontvangende partij dat ook kan verwerken uiteraard). Zie geregeld netwerkusage's voorbij komen van 200MB/s+ op een gbit-FD lijn. Tis maar wat voor hardware je er tegenaan gooit. Oke.. ik geef wel toe dat er ook andere prijskaartjes aan hangen maar het statement dat je maximaal maar 70% van kan benutten van een gbit-lijn is echt onzin.

Jah dat snap ik, maar het gaat hier om reguliere consumenten netwerk apparatuur.
Daar kan je niet van verwachten dat je meer dan 70% van je bandbreedte haalt.
Misschien 80% als je de wat duurdere equipment haalt (3com of intel desktop spul).

Trouwens, van de TS verwacht ik niet dattie Linux gaat gebruiken. Om heel eerlijk te zijn zie ik hem daar niet voor aan, gezien de vragen die gesteld worden.

[ Voor 11% gewijzigd door McKaamos op 14-11-2007 15:17 ]

[dvl-2]

True.. De file-server in kwestie is van andere orde en linux zal het ook wel niet worden. Al moet gezegd worden dat windows-server 2k3 ook best aardig presteerd. Belangrijkste bottleneck is vaak de netwerkpoort en de disks.

Wim. Mijn's inziens moet je een mobo halen van 50 euro ofzo (ASrock/Gigabyte), daar een Intel-PRO 1000 Desktopadaptor induwen met idd die cpu die je nog had liggen en zorgen dat er Sata2 (raid) onboard zit. Let ook op dat je VGA onboard hebt, scheelt je weer de aanschaf van een VGA die je in een server toch niet gebruikt. (mobo dat je nu hebt heeft geen VGA onboard). Lijkt me de goedkoopste oplossing om toch redelijke snel te zijn.

[TERW_DAN]

dvl-2 schreef op woensdag 14 november 2007 @ 14:55:
[...]


Ik vindt dit echt onzinnig. Als jij goede hardware koopt, dus om te beginnen bijvoorbeeld een 'Intel PRO 1000 PF server-adaptor' netwerkkaart en vervolgens genoeg ram/cpu-power en vooral geen windows-XP maar gewoon linux dan trek je echt wel makkelijk 100MB/s+

Nee, dit ga je nooit halen. Simpele reden dat de PCIbus het niet aankan.

Ik werk zelf met een Intel Pro GT10/100/1000 adapter in mijn server en een Marvel chip onboard (op een GAP965-DS3P, weet niet uit mijn hoofd welke en ben nu niet thuis). Daarmee haal ik aardige snelheden, maar 100MB/s is een utopie.

De simpele reden is de server. Het ding heeft een Ax3S pro moederbord met i815 chipset, aan dePCI bus hangt de NIC en een Promise TX2 controller met daar 4 disks aan. Zelfs al trek ik het max uit de hardware wat ze moeten kunnen trekken, dan haal ik nog maar 62.5MB/s, omdat de hdds en de nic de PCIbus moeten delen.

En de TS zit met hetzelfde probleem, gezien hij ook enkel een PCI-bus tot z'n beschikking heeft. Wil je leuke dingen met storage en netwerken gaan doen dan zul je idd snellere bussen moeten pakken (en dan kun je idd stukken sneller gaan).

[GoldenBatt]

Terw_Dan schreef op woensdag 14 november 2007 @ 15:39:
[...]

Nee, dit ga je nooit halen. Simpele reden dat de PCIbus het niet aankan.

Ik werk zelf met een Intel Pro GT10/100/1000 adapter in mijn server en een Marvel chip onboard (op een GAP965-DS3P, weet niet uit mijn hoofd welke en ben nu niet thuis). Daarmee haal ik aardige snelheden, maar 100MB/s is een utopie.

Hij had het over de server versie @ PCI-E, en die gaat dat toch wel trekken. De 1000GT zit inderdaag met de PCI lijn als bottleneck. heb zelf een 1000 PT, dus ook @ PCI-E 1X, en die trekt ook wel veder als 100MB/sec mits de andere kant(en) dat ook halen

[ Voor 4% gewijzigd door GoldenBatt op 14-11-2007 15:54 ]

[Verwijderd]

Houd er ook rekening mee dat bandbreedte niet de enige variabele is. Om gigabit effectief te kunnen gebruiken zul je je TCP settings ook moeten tunen. De reden hiervoor is simpel: de pakketjes hebben een vertraging (latency). Zelfs met een vertraging van 1 milliseconde kamp je daarbij met een grote bottleneck, een voorbeeldje:

Computer A gaat communiceren met Computer B op een gigabit netwerk. Er wordt een pakketje verstuurd (MTU = 1500 bytes dus dat is dan ook de maximale pakketgrootte). 1 milliseconde later ontvangt computer B het pakketje en bevestigt deze met een ACK (acknowledged - oftewel in goede staat ontvangen). Dit pakketje wordt weer naar Computer A verstuurd en duurt dus ook weer 1 milliseconde. Even een simpel reken voorbeeld:

Voor elke 1500 bytes zijn 2 milliseconden nodig, de maximale throughput is hierbij (1000 / 2) * 1500 bytes = ~750KB/s. Bij throughput (doorvoersnelheid) is bandbreedte dus slechts 1 variabele, latency en TCP settings zijn twee heel belangrijke andere variabelen. Om het throughput-probleem zoals in mijn voorbeeld hierboven aan te pakken is de TCP receive window bedacht, waarbij gelijk een hele rits pakketjes (16 bijvoorbeeld) worden verstuurd, en pas na die 16 wordt gewacht op bevestiging van de andere computer. Zodoende wordt de beschikbare bandbreedte efficienter gebruikt. Ook de TCP send/receive buffers zijn belangrijke variabelen.

Conclusie: om het maximale uit je gigabit verbinding te halen zul je je verbinding op TCP-niveau moeten optimaliseren. Voor Windows XP zijn hier dll-hacks voor, maar ook registery-hacks. Voor Linux en BSD zijn hier sysctl tunables voor, die eenvoudig in te stellen zijn. Overigens heeft FreeBSD7 (op dit moment nog verkerend in BETA2) auto-adapting TCP buffers, die zich automatisch aanpassen aan de gedetecteerde netwerksituatie. Bij een inbelverbinding zullen de buffers veel lager ingesteld worden dan voor een gigabit LAN netwerk, en dat gaat dus allemaal automatisch.