Alle PCIe sloten benutten - Impact op snelheid ervan?

[Verwijderd]

Dag iedereen,

Ik zoek al een tijdje een antwoord op de vraag in de titel zonder succes.
Tot een bepaald deel denk ik het te snappen maar kon verder niets concreet vinden.

Huidige setup:
Moederbord: ASRock Z77 WS
CPU: Intel i7 2700
Geheugen: 32GB DDR3
Controllers: 4 x IBM ServeRaid M1015 - (PCI-e 2.0 x8)

Op het mobo zitten volgende sloten:
PCIe 3.0 x 16 - 5 slots (PCIE2: x16 mode OF PCIE1/PCIE3/PCIE5/PCIE7: x16/0/16/0 or x8/8/8/8 mode)
PCIe 2.0 x 4 - 1 slot (PCIE4: x4 mode)
PCIe 2.0 x 1 - 1 slot

PCIE1/PCIE3/PCIE5/PCIE7 zijn bezet met de 4 x IBM ServeRaid M1015.
Door de CPU (geen PCI-e 3.0 support) draaien de kaarten op PCI-e 2.0 x8. (Zoals ze zelf voorzien zijn).
=> Dus geen impact op performance. Ze kunnen toch niet sneller. Klopt?
4 kaarten met elk 8 x SATA3 disken gaat die bandbreedte ook niet kunnen vullen dacht ik. Klopt ook?

Hopelijk zit ik nog op het goede pad.

Maar nu zijn er nog sloten vrij: PCIE2 (zou PCI-e 3.0 x16 zijn) en PCIE4 (PCI-e 2.0 x4) en een x1 slot.
Door de CPU zijn dit ook PCI-e 2.0 poorten.

1) Als ik in slot PCIE2 ook een M1015 steek, wat gaat de snelheid van die kaart dan zijn icm de andere 4 kaarten?
Zullen die 5 kaarten samen kunnen draaien aan PCI-E 2.0 x8 of gaat dit PCI-E 2.0 x4 worden ? of lager?
Die 'OF' bij de opsomming van de PCI-e 3.0 baart mij zorgen.
Ik heb geen idee wat er met de PCIE2 gebeurt als de 4 andere sloten gevuld zijn.

Uiteindelijk zullen er dan 40 x SATA3 disken op de 5 kaarten hangen.
Gaan die dan nog aan hun volle snelheid kunnen gebruikt worden bij PCI-E 2.0 x8?
Is dit ook nog het geval als de 5 kaarten aan PCI-E 2.0 x4 (of lager) draaien?

Ik hoor jullie al denken ""Wat doe je nu toch met 40 disken?" of "Upgrade uw disken" maar ik kan het niet over mijn hart krijgen om perfect werkende 2TB disken te vervangen door iets groter.
Daarmee probeer ik de max uit mijn mobo, kaarten en case te halen.

Ik zou binnenkort starten aan de bouw van mijn eigen case en hiervoor wil ik rekening houden met het aantal disken dat ik maximaal op dit bord kan aansluiten.

Momenteel zit ik aan 34 disken in een CM stacker STC-T01. (ja diene oude zware blok. Mits 'kleine' aanpassing natuurlijk).

Als ik een bracket kan laten maken dan passen er nog eens 6 extra bij.
Maar ik ben stilaan aan het denk aan een nieuwe case.

Extra vraagjes voor de toekomst:

2) In PCIE4 (PCI-e 2.0 x4) zou ik een netwerkkaart willen steken met meerdere Gbit poorten.
Hopelijk is het antwoord op vraag 1 positief (5 kaarten op PCI-E 2.0 x8 EN de snelheid van 40 disken kan benut worden).

Zal deze extra kaart dan voor 'problemen' kunnen zorgen qua snelheid icm de 5 x M1015 (40 disken)?

3) Valt er nog iets aan te vangen met de x1 slot als alle andere sloten bezet zijn?


Er zal wel ergens een stop komen aan de capaciteiten van het moederbord maar kon niets vinden over het vullen van alle sloten.

Hopelijk kunnen jullie een beetje volgen.
Laat maar iets weten als er info ontbreekt.

Mvg,
Frederik

[Verwijderd]

Beetje langdradig en onoverzichtelijk verhaal. Heb niet alles gelezen.

Maar je hebt een bordje met veel PCI-express poorten die dat kan bereiken door een PLX-chip. Ik ben hier geen voorstander van. Je CPU levert slechts 16 PCI-express lanes + 4 lanes voor de chipset. Dat is alles wat je hebt, punt! Eén PCI-express slot van x16 en in principe is alles vol dus.

Maar normale bordjes kunnen ook in x8/x8 modus draaien dan verdeel je dus de lanes over twee PCI-express slots. Ook al zijn de slots zelf x16 fysiek, elektrisch draait het zaakje dan op x8.

Enkel door gebruik van een PLX-switchchipje kan dit verder worden opgerekt, een soort PCI-express expander net als een SAS expander. Om vele redenen vind ik dit geen fijne oplossing, maar als het werkt kan het voldoen aan je wensen. Je kunt hierdoor in feite oneindig veel lanes maken, maar uiteraard moet het uiteindelijk allemaal door de trechter van x16 lanes die je CPU levert. Dus tegelijk gebruiken van de bandbreedte gaat niet, en ook een enkele kaart met PLX-chip kan gering prestatieverlies leveren (latency) maar belangrijker nog zijn compatibility-issues.

Naast de 16 lanes die je CPU levert gaan er ook 4 lanes naar je chipset toe. Niet PCIe 3.0 maar 2.0 dus 2GB/s bandbreedte. Die wordt ook overgecommit waarmee ik bedoel dat deze bandbreedte wordt gedeeld met USB3, met Gigabit, met chipset SATA poorten en je ASMedia SATA controller en dan ook nog PCIe x4 en PCIe x1 slot. Kortom, een heleboel meuk hangt ook nog aan je chipset.

Weet dus dat je wel heel veel aansluitmogelijkheden hebt, maar dit uiteindelijk allemaal door een trechter gaat. Zou je bijvoorbeeld een ZFS RAID-Z array willen maken dan moet je wel weten dat juist RAID-Z familie erg gevoelig is voor latency; veel meer dan reguliere RAID5/RAID6 arrays. Dus je kunt hierdoor toch veel lagere performance krijgen. Maar als het toch over gigabit gaat, hoeft dat niet een groot probleem te zijn.

Maar een betere oplossing had ik gevonden een tweetal 16-poorts HBA controllers (met 4x Mini-SAS) op een regulier x8/x8 bordje zonder PLX-chip. Dan had je 32+6=38 disks mogelijk om aan te sluiten. Normaliter genoeg voor een standaard socket 1155 bord.

[maratropa]

Of een keertje investeren in een rocket 750?:

http://www.amazon.com/Hig...PCI-Express/dp/B00C7JNPSQ
http://www.highpoint-tech.../series_R750-Overview.htm

Ben je met 1 kaart klaar

[ Voor 16% gewijzigd door maratropa op 23-11-2014 10:24 ]

[Verwijderd]

Mijn excuses voor de langdradige uitleg.
Ik wou alles op tafel gooien in de hoop dat jullie mee waren in het verhaal.

Maratropa, die kaart ziet er super uit.
Ze kost je wel veel geld als ze defect raakt.
Maar mij kennende zou ik dan toch weer alle sloten hiermee gaan vullen (mits het nodige budget) en dan zijn we nog verder van huis!
Niet op letten, dat is kortsluiting in de hersens ;-)

40 disken (niet ssd's), gaat dat niet richting de max van PCI-e 2.0 x8? Zit daar nog reserve op?
Hoeveel disken zou je eigenlijk in theorie kunnen aansluiten (op 100% snelheid) op PCI-e 2.0 x8?
Mag je dat dan ook vermenigvuldigen voor PCI-e 2.0 x16?

[Verwijderd]

Qua bandbreedte is het beter als je over meerdere HBA's spreidt. 2x 16 poorts HBA lijkt mij zelf beter. Zeker in jouw geval waar je behoorlijk wat slots hebt.

En hoeveel disks wil je nu aansluiten? Bepaal dat eerst eens. Weet je zeker dat je meer dan 38 disks wilt aansluiten? Dat is best een extreme build. Vertel eens wat je probeert te bereiken; gaat het om een ZFS build of linux software RAID? Wat ga je doen met de build. Dat lijkt me zeer relevant voor je hardwarekeuze. De keuze voor software bepaalt namelijk welke hardware je nodig hebt.

[Verwijderd]

Ik heb uw ZFSguru draaien. Heel content van btw!

Mijn plan: ik duw liever extra disken bij dan ook maar 1 perfect werkende 2TB disk te vervangen door een grotere.

Voor mijn part wil ik meerdere van die rocket 750 kaarten steken tot de disken niet meer aan de 90% van hun snelheid geraken.