[vraag] Mobo-architectuur / data-doorvoer-snelheden.

[Verwijderd]

Ik ben de voorbije week naarstig bezig geweest om op GoT info te verzamelen wat betreft het samenstellen en in gebruik nemen van een fileserver voor persoonlijk gebruik. In eerste instantie beperk ik mij tot de hardware kant van de zaak.

Ik heb op heel wat vragen veel antwoorden gevonden en kan nu dus met een redelijke kennis en info aan de slag gaan zoals ik zou willen.

Nog even kort: het ding moet enkel en alleen een fileserver worden voor persoonlijk thuisgebruik. (dus geen mailserver/webserver/server naar externe locaties/wat-dan-ook-server) en voorlopig stel ik mij tevreden met een gewoon 100Mbit/s netwerk. (ivm prijs vooral, het moet een klein projectje worden waar ik iets uit leer, en dus geen 100'en euros kosten. Van zodra Gigabit betaalbaarder wordt kan ik gemakkelijk ombouwen)

Goedkope bordjes met 10/100Mbit zullen dan ook slechts beschikken over gewone PCI sloten. In het zoeken naar posts over fileservers op GoT kom ik dan vaak een scala van opmerkingen tegen over snelheden en I/O dat daar mee geassocieerd wordt.
(natuurlijk vind ik die posts nu niet meer terug )

Het kwam hierop neer.
De doorvoersnelheid van PCI is 132MB/s

-Het was zo dat op goedkope bordjes nog extra I/O apparaten op de PCI bus hangen. Terwijl ik dacht dat alle 'losse' andere I/O op de southbrigde hangt en dus gebruik kan maken van de veel hogere bandbreedte van tussen north- en southbridge. (in de groottorde van een 1000MB/s?)
Dus bvb dat SATA door de pci bus aangestuurd moet worden. Of een netwerk chip. (terwijl je toch zou verwachten dat dit rechtstreeks op de SB hangt zodat de karige PCI bandbreedte daarmee niet moet gedeeld worden.

-Als je nu via een riser card twee uitbreidingen in een pci slot steekt dan kan ik begrijpen dat de snelheid moet gedeeld worden tussen de twee kaarten.

-Als nu meerdere pci sloten aanwezig zijn op een moederbord, moeten al die sloten dan via dezelfde pci controller de bandbreedte van 132 MB/s delen? Of zal elk pci slot de beschikbaarheid hebben over de volledige bandbreedte?

-Hoe verloopt de verdeling? Wordt dit netjes gemanaged? (50-50) Of gaat het in bursts waar elk apparaat een periode de volle bandbreedte krijgt.

-Reken even mee, stel dat netwerkcontroller en sata-raid controller op dezelfde pci bus hangen.
100Mbit/s= 12.5 MB/S (we gaan ervan uit dat deze ideale maximum snelheid niet gehaald wordt. stel 80% is dat te optimistisch? dus ongeveer 9-10 MB/s , en daar ben ik in principe best tevreden mee. Een divx duurt dan 70 seconde of iets meer dan een minuut. ) Dan blijft nog meer dan 100MB/s over voor de sata raid controller. Dit lijkt mij toch meer dan genoeg gezien de beperking in snelheden van een gewone consumenten 7200 rpm schijven?

Bekijk ook even dit plaatje... (ik wil gebruik gaan maken van via epia voor dit project. Nu wel niet dit moederbord wegens te duur, maar even om het principe te verduidelijken misschien?)


Hangt de Gbit lan/100Mb lan nu rechstreeks op de southbridge? Of op de pci bus? Het tweede is onlogisch omdat dan 125 MB/S (Gbit lan) moet gedeeld worden met wat ook de pci bus hangt en die heeft dan nog 10 MB/s over of zo. Dan moet wel met 'bursts' gewerkt worden. Ik snap ook niet dat dit dan niet rechtstreeks op de SB hangt omdat daar wel meer dan genoeg bandbreedte beschikbaar is (1GB/s, zie figuur)

Zoals ik het zie is sata raid+fast ethernet kaart op één pci slot te doen, maar giga ethernet en sata raid controller niet meer. Daarvoor moet overgegaan worden op PCI-e. Helaas heeft via epia nog zo geen kaartjes dus dat wordt wachten (en zowieso te duur voor mijn bescheiden projectje)

Sorry voor lang verhaal

[ Voor 4% gewijzigd door Verwijderd op 07-02-2006 19:26 ]

[Nielson]

Die netwerk controllers linksboven hangen inderdaad gewoon aan de pci-bus, dit zijn gewoon onafhankelijke controllers en kunnen zoals op 't plaatje zowel van VIA als een ander merk zijn (bv Intel 82551). De 10/100 'controller' rechstonder zit wel rechstreeks aan de SB, maar dat is meer omdat het merendeel van de logica in de SB zit, en dat externe chippie (PHY) alleen zorgt voor 't juiste datasignaal op de RJ45 connector. Beetje vergelijkbaar principe als AC'97.

Overigens zou ik als je een simpel fileservertje wil bouwen om te oefenen gewoon een goedkoop P2/3 systeempje op de kop tikken. Deze zijn snel genoeg, vrij zuinig en maken niet zoveel lawaai.

[ Voor 29% gewijzigd door Nielson op 07-02-2006 22:08 ]

[successor]

een goed slot1 bordje zou in principe meer dan genoeg moeten zijn voor jou , met 512 of 384 mb sdram er in , een p3 700 ofzo en gaan met die banaan !

je hebt dan ook nog genoeg plaats , fysiek dan om allerlei meuk in je pci-slots te rammen , en ik denk persoonlijk dat je als je met gigabit lan gaat werken en je de volledige bandbreedte wil gaan gebruiken , je en aan raid vast zit en aan pci-x of pci-express , wat dus lekker duur is

[dion_b]

Dit is een onderwerp dat vaak veel te weinig belicht wordt. Normaal wordt veel teveel naar prestatiekenmerken gekeken die bij single-thread CPU/geheugenintensief zijn (gamen, 3D renderen), terwijl de zaken die voor servers relevant zijn (meerdere threads, I/O performance) gruwelijk onderbelicht worden.


Alles wat aan de PCI bus hangt, deelt bij 'normale' moederborden een ondertussen behoorlijk krappe bus, zoals in plaatje hierboven in ts de Gb en Intel NICs dat doen. Daar komt nog iets bij: de 132MB/s is een theoretische maximumbandbreedte. In praktijk behaalde bandbreedtes zijn lager - zo heb ik gelezen dat de nForce2 rond de 110MB/s haalt, maar de i850/i860 chipsets presteren maar een magere 90MB/s

Nu ben ik van plan mijn ondertussen bijna legendarisch vertraagde benchmarks van alle So7 chipsets uit te breiden met een PCI benchmark (dmv Gb Ethernetkaart die met PCI 2.1 ondersteunt - duurde bijna een jaar te vinden - alleen heb ik geen 64b PCI server die gegarandeerd meer bandbreedte kan produceren dan de 32b PCI bus aankan) - maar dat zijn ondertussen erg verouderde chipsets.

Er zijn veel manieren om bandbreedtebeperkingen te omzeilen of in ieder geval de impact te minimaliseren. Eerst en vooral is het zaak om apparatuur te kiezen dat zoveel mogelijk werk op de controller doet. Een Realtek Gb NICje kost een fractie van de prijs van een Intel of Broadcom geval, maar je krijgt waar je voor betaalt: de Realtek stuurt veel meer rauwe data over de PCI bus voor de CPU om te verwerken. Dat is niet alleen CPU-slurpend, maar (relevanter) belast de PCI bus ook zwaarder dan als alleen verwerkte data er via DMA rechtstreeks vanaf kan. Zelfde geldt voor I/O controllers - een 'soft'RAIDchipje van Promise ofzo stuurt rauwe data over de PCI bus om op de CPU de berekeningen te doen. Met RAID 0 of 1 is dat al een extra belasting voor de bus, met RAID 5 (waar geXORred moet worden) helemaal. Zorg voor RAIDcontrollers met eigen processor en je ontlast de boel ook al flink.

Tenslotte heb je bij servers waar PCI bandbreedte beperkt is en die geen AGP slot hebben een dubbele dilemma - integrated VGA op de chipset vreet geheugenbandbreedte, maar laat de PCI met rust, terwijl een losse PCI kaart geen geheugenbandbreedte gebruikt, maar wel PCI bandbreedte. Overigens is dit bij servers zonder GUI (maw zowat alles behalve Windows) van verwaarloosbare belang aangezien de VGA niets doet, maar al draai je een Windows bak zonder monitor, als er een VGA kaart in zit, gaat het met de eenvoudige desktop al bandbreedte slurpen.

Overigens is kijken naar non-x86 systemen vaak interessant - neem bijvoorbeeld de vroege Powermac G3 systemen (tegenwoordig voor <EUR 100 te koop), zij hebben een 32b 66MHz PCI bus voor VGA en een tweede, onafhankelijke 64b 33MHz PCI bus voor I/O. Erg leuk als servertje, zolang je weinig CPU nodig hebt kun je er rustig Gigabit en een leuke HDD array op draaien. Qua OS kun je met OS X prima werken, maar ook 'kale' Darwin of gewoon een PPC Linux distro - of Sun Sparcstation Ultra 5 of 10 systemen. Ze kunnen Solaris 10 of Linux draaien en hebben weliswaar maar een enkele 32b 33MHz PCI bus - maar er is een losse UPA (+-AGP) poort voor video en - belangrijker - de efficiency van zowel de PCI bus als de Sun 100Mb NIC zijn voorbeeldig - mijn Ultra10 met 440MHz CPU kan hogere doorvoer halen dan een AthlonXP 2500+. Een dergelijk systeem heb je voor EUR 50 ofzo (zorg ervoor dat je genoeg RAM hebt bij aanschaf, het is vrij lastig compatible spul achteraf te vinden).

[Verwijderd]

@Nielson:

P2/P3 is idd een optie (en presteren genoeg voor een gewone thuisserver/niet duur voor een proefproject) maar zullen toch wel meer verbruiken dan een epia bordje.)

Als ik me bij een via epia houd heb ik meteen de small form factor (wat voorlopig een ontwerpdoeleinde is, beetje uitdaging he ) plus een laag wattage voor het geheel.

Voor om en bij de 120-150€ heb je een bordje inclusief processor. En ik heb mij laten vertellen dat een 1 Ghz via proc ongeveer te vergelijken valt met een P3 @ ~ 600Mhz voor dergelijke toepassingen.

@successor.

Idd, voor te hoge prestaties zit ik vast aan pci-x of pci-e en dat is te duur. En de extra voordelen voor deze low profile toepassing wegen nauwelijks op tegen de extra kosten. (en er zijn nog genoeg thuis netwerkjes met 100Mbit, en dat werkt ook Later als al die dingen goedkoper worden kan dan gemakkelijk overgestapt worden op Gbit indien gewenst)

@dion-b: duidelijk iemand met verstand van zaken, en goede uitleg, waarvoor dank!

Uw voorstel van non x86 is heel tempting maar ik houd het toch maar bij x86 compatibele architecturen denk ik. Voor een zo groot mogelijke compabiliteit met zo veel mogelijk distro's van linux of misschien zelfs windows server of zo. (alhoewel ik misschien in de toekomst ook wel eens mac's zou kunnen gaan aankoppelen, dus een 'neutraler' OS als samba is dan misschien toch meer aangewezen. Ervan uitgaande dat mac's niet per se een tiger server hoeven te hebben om een externe fileserver te gebruiken, en dus ook kunnen aangesloten worden op linux fileservers, vermoed van wel)

Verder houd ik te tip indachtig van zoveel mogelijk uitbreidingskaarten te gebruiken 'die op zichzelf staan'. Met interne logica dus, om zoveel bandbreedte en cpu's cycles te sparen op de rest van het geheel. Dergelijke kaartjes zijn wel duurder maar zijn het 'in the long run' wel waard

Ivm de efficiëntie van een pci bus, laat me dat gemiddeld op 100MB/s schatten. Lijkt me een conservatieve schatting/ realistisch en gemakkelijk om te rekenen

ter zijde: cpu cycles boeit me minder: bij tweakers is het blijkbaar de gewoonte om mega killer cpu's aan te schaffen en dan proberen de load zo klein mogelijk te houden en lopen te emmeren als een onboard proces 5% cpu cycle neemt. Beetje onlogisch dus, stel u voor dat uw FX60 overbelast wordt! . Serieus nu: bandbreedte is dus meer een issue.

Ivm die integrated vga: in het schema die ik als voorbeeld aanhaalde staat die rechtstreeks op de NB, dus van minder belang voor het beheer in de SB zou ik denken? Het is natuurlijk wel zo dat een pci vga kaartje bandbreedte zou souperen, maar op een fileserver is dit toch niet vereist, aangezien die meestal zonder monitor operen, of vanop afstand geconfigureerd worden. Dus een beetje een non-issue. Maar wordt de vga uitgang aangestuurd ook als er geen monitor aanhangt?

Op hetzelfde schema vind ik trouwens de aansluitingen op de pci bus een beetje dubbelzinnig. Het was duidelijker geweest als het woordje pci bus tussen het prentje van de sb en de opgaande verbinding stond

---

trouwens, @Dion en andere, ik vind nu toch deze reactie terug (met dank aan 'pantagruel') => klik

Hij doet namelijk precies wat ik zou willen realiseren en heeft dit ook gebencht. Een via epia M10000 bordje dus. Best betaalbaar. En dit is z'n resultaat:

CSA -> Epia => block grootte 32 Kb geeft 59 MB/sec, nice [snelste uit de serie n=3]
Epia -> CSA => block grootte 16 kb geeft 42 MB/sec, netjes

Laat ons zeggen gemiddeld heen en terug toch <40MB/s. En dat vind ik helemaal niet slecht. Wetende dat dit bordje zoals alle epia's slechts beschikt over een pci slot.

Dus tussenin fast ethernet (+-10MB/s) en Gigabit ethernet (125 MB/s) Aangezien ik voor mezelf had uitgemaakt dat fast ethernet wel voldoende zou zijn is wat hierboven bereikt wordt zeker voldoende. Een aardige bonus zelfs, met hetzelfde plankje.

Hij heeft wel geen sata controller+gigabit lan op dezelfde pci poort steken. Maar in principe zou dit nog steeds mogelijk zijn. 50MB/s voor lan, 50 MB/s voor de sata controller. Of werkt het zo niet

[ Voor 8% gewijzigd door Verwijderd op 09-02-2006 16:15 ]