De CSL/OT-kroeg

[Q]

FireDrunk schreef op maandag 27 maart 2017 @ 08:25:
[...]


Nice! Probeer voor de grap ook eens iperf -P 4 of 10. Dat zal misschien ook nog wel iets meer performance opleveren.

Gedaan, maar dat hielp niet helaas. Ik denk dat als ik naar Ubuntu of CentOS zou switchen dat de performance met hun drivers beter zou zijn, maar ik vind het best zo.

[FireDrunk]

Hmm, waarom denk je dat? Vanwege de nieuwere kernel?

[Q]

FireDrunk schreef op maandag 27 maart 2017 @ 10:18:
Hmm, waarom denk je dat? Vanwege de nieuwere kernel?

Ja, ik haalde op de microservers met nieuwe Ubuntu destijds gewoon 10 tot 15 Gbit, hierboven nog ergens gepost. Er is ook een kleine kans dat het de hardware is (moederbord in combinatie met deze kaartjes).


CiPHER zag ik in een topic deze kaart noemen:

pricewatch: Qlogic QLE3442-CU-CK

Lijkt me ook een veilige optie. (Geen 2ehands zooi van Ebay) Ben benieuwd naar ervaringen.

De afgebeelde kaart blijkt verkeerd te zijn. Tweakers.net pricewatch zit vol fouten.

Als je naar de type aanduiding kijkt dan zie je dat dit de echte RJ45 10Gbe kaart is.

pricewatch: Qlogic QLE3442-RJ-CK - FastLinQ 3400 10 GbE Series

Die is veel duurder.

[Voor 23% gewijzigd door Q op 27-03-2017 11:27]

[FireDrunk]

http://www.ebay.com/itm/Q...655e29:g:L1oAAOSw44BYJgED

Ze zijn er ook wel iets goedkoper. Maar duurder zijn ze zeker.

EDIT: je kan ook nog even naar power saving kijken, in sommige gevallen is C1/C3 een extreme bottleneck qua performance. VMware heeft ooit eens in een whitepaper laten zien, dat als je Dell / HP servers op Max Performance zet (uitzetten van C-states / P-states etc) dat vMotions echt 20-50% sneller gingen in sommige gevallen.

Heeft te maken met de snelheid die het kost om uit een bepaalde C-/P-state te komen.

[Voor 50% gewijzigd door FireDrunk op 27-03-2017 16:09]

[Pantagruel]

Q schreef op zondag 26 maart 2017 @ 00:59:
Eindelijk InfiniBand aangesloten.

http://louwrentius.com/us...-to-point-networking.html

Performance is niet optimaal maar acceptabel. Ik ben blij met 750 MB/s over NFS.

Hehe maar mooi hoor

Q schreef op maandag 27 maart 2017 @ 09:00:
[...]


Gedaan, maar dat hielp niet helaas. Ik denk dat als ik naar Ubuntu of CentOS zou switchen dat de performance met hun drivers beter zou zijn, maar ik vind het best zo.

NFS over RDMA (ietwat oud Mellanox doc) kan nog wat extra oempf opleveren in vergelijking tot IPoIB. Ik heb destijds ondervonden dat IPoIB altijd vertraging met zich bracht in vergelijking tot protocollen die IB direct gebruiken (iSCSI/SRP destijds getest). Uiteindelijk gaf SRP destijds (5jr geleden alweer) de beste snelheid tussen de linux server en de windows machine. In de tussentijd zal er heus wel t nodige veranderd/verbeterd zijn.

[Voor 3% gewijzigd door Pantagruel op 29-03-2017 12:40. Reden: Mellanox doc NFSoRDMA]

[Q]

Ik wil een beetje knoeien met FIO voor storage benchmarks en dat dan naar coole graphs vertalen.



Tooltje is nog niet gereleased, maar zoiets kun je verwachten.

Je ziet dat als de queue depth voorbij 4 disks gaat de latency oploopt.

[FireDrunk]

Welke FIO opties gebruik je onderwater?

[Q]

Niets speciaals, als de tool vrij komt dan zal ik ook een simpel scriptje + config mee releasen.
Deze tool vertaalt de individuele json output van meerdere benchmarks naar een grafiekje zoals deze.

[Q]

Fio-plot gereleased.

https://github.com/louwrentius/fio-plot

[Voor 23% gewijzigd door Q op 04-04-2017 22:51]

[FireDrunk]

Sweet! Dat is wel nice zeg! Goed bezig!

[Q]

Code is nog niet release-waardig.

[deadlock2k]

Ik ga er nog een keer over ranten. Ik baal ervan dat er geen supergoedkope SSD's van extreme capaciteit zijn. Met zeer goedkoop flashgeheugen dat maar weinig cycles aankan. Dan moet je supergoedkoop grote archiving-SSD's kunnen produceren toch? Desnoods 3,5". Er is net weer een 4TB schijf overleden in m'n server en het is weer mechanisch. Ik voeg alleen maar meuk toe op dat archief, er wordt praktisch niets verwijderd, alleen om een 1080p versie te vervangen door een 4K versie. Dat moet voor veel minder kunnen dan nu aangeboden wordt.

Of SSD's voor SIEM-producten. Alleen maar toevoegen, nooit wijzigen, oneindige journal dus je kan altijd naar ieder ander punt in het log toe.

[Bill_E]

Ik wil er geen topic aan wagen, maar vast wel iemand die weet hoeveel bier ( of euro's ) ik kan vragen voor mijn netgear readynas RNDP4000 zonder schijven en precieze leeftijd onbekend. Staat al een tijdje in de kast niets te doen.

[FireDrunk]

@deadlock2k SD kaartjes in zo'n sata ding? 5 van die kaartjes worden dan dmv RAID0 aangesproken als 1 schijf, is best goedkoop.

[Q]

Voor wie het leuk vind en nog niet zo bekend is met Ceph:

Ik heb een introductie over Ceph geschreven op mijn blog.

http://louwrentius.com/un...rce-scalable-storage.html

[brambello]

Zullen NAS schijven van Seagate en WD goedkoper worden met Black Friday? Of gebeurt dat voor zulke producten niet?

[Q]

Voor wie het leuk vind:

Een artikeltje over mijn Ceph Storage cluster

https://louwrentius.com/m...-and-hp-microservers.html

[World Citizen]

Voordat ik een hele zondag ga zoeken,

Heeft iemand wel eens een DELL backplane aan een andere PC gehangen?
Danwel via een SAS PCI kaartje, danwel via een Reverse breakout cable?

Als iemand een "ja dat zou kunnen werken" ervaring heeft is het voldoende. Dan ga ik zelf wel zoeken.

[Voor 8% gewijzigd door World Citizen op 31-03-2019 09:58]

[World Citizen]

World Citizen schreef op zondag 31 maart 2019 @ 09:56:
Voordat ik een hele zondag ga zoeken,

Heeft iemand wel eens een DELL backplane aan een andere PC gehangen?
Danwel via een SAS PCI kaartje, danwel via een Reverse breakout cable?

Als iemand een "ja dat zou kunnen werken" ervaring heeft is het voldoende. Dan ga ik zelf wel zoeken.

Als antwoord,

Ja dit gaat. De DELL H200 en H300 controllers kun je prima in andere systemen gebruiken. Je kunt dan kiezen om er een backpanel bij te nemen die je aansluit met een SAS naar SAS kabel (let op type aansluiting), of je kunt een breakout kabel kopen van SAS naar 4xSATA.

Kabel komt binnen 2 weken binnen dus dan kan ik het testen.

[World Citizen]

Gezien dit voor mij erg goed nieuws is, en een enorme meevaller:

Als je een DELL H200 RAID controller hebt, dan staat er in de specs dat deze maar 4 schijven aan kan.

Ik had dus breakoutcables besteld van 1x SAS naar 2x SATA. Je hebt namelijk 2 SAS aansluiting op de kaart, en dan kun je dus 4 schijven aansluiten.

Maar omdat ik wist dat het officiële Breakoutboard van DELL meer schijven ondersteund icm de H200, had ik voor de grap ook kabels meebesteld die van 1x SAS naar 4x SATA gaan.

Uiteraard testen we dat en warempel, het werkt

Je steekt dus op beide poorten van de H200 een breakout naar 4x SATA en dan sluit je 8 schijven aan.

Als je op zoek bent naar goedkoop veel schijven aansluiten, dan is dit wel een idee. En gezien ik toch maar 1/2 schijven tegelijk benader... maakt het niet uit.

(Nu kan ik dus nog een RAID kaart extra bijsteken.)

[Dutch2007]

World Citizen schreef op zondag 5 mei 2019 @ 19:18:
Gezien dit voor mij erg goed nieuws is, en een enorme meevaller:

Als je een DELL H200 RAID controller hebt, dan staat er in de specs dat deze maar 4 schijven aan kan.

Ik had dus breakoutcables besteld van 1x SAS naar 2x SATA. Je hebt namelijk 2 SAS aansluiting op de kaart, en dan kun je dus 4 schijven aansluiten.

Maar omdat ik wist dat het officiële Breakoutboard van DELL meer schijven ondersteund icm de H200, had ik voor de grap ook kabels meebesteld die van 1x SAS naar 4x SATA gaan.

Uiteraard testen we dat en warempel, het werkt

Je steekt dus op beide poorten van de H200 een breakout naar 4x SATA en dan sluit je 8 schijven aan.

Als je op zoek bent naar goedkoop veel schijven aansluiten, dan is dit wel een idee. En gezien ik toch maar 1/2 schijven tegelijk benader... maakt het niet uit.

(Nu kan ik dus nog een RAID kaart extra bijsteken.)

Zou dit ook met een H220 werken?

Ik heb "via-via" daar eentje van gekocht

HP H220 6Gbps SAS PCI-E 3.0 HBA LSI 9207-8i P20 IT Mode for ZFS FreeNAS unRAID

Heb nu 2x2 (1xSAS naar 2x SATA, maar 1x SAS naar 4xSATA (en dat 2x) zou wel erg handig zijn...)

http://www.arp.com/medias/14254508.pdf
Capacity Fulfilling the need for high performance and capacity expansion, the HP H220 SAS HBA offers:
Eight 6 Gbps SAS physical links supporting up to 2 simultaneous x4 Wide SAS Ports
Capacity up to 42 TB of SAS or 42 TB SATA

[Voor 9% gewijzigd door Dutch2007 op 06-05-2019 10:04]

[World Citizen]

Dutch2007 schreef op maandag 6 mei 2019 @ 09:54:
[...]


Zou dit ook met een H220 werken?

Goede vraag, en echt zekerheid durf ik je niet te geven, maar:

A: Je mag altijd komen testen, of opsturen dat ik het test. Doe ik graag voor je.
B: Een kabel op Ali is niet gek duur. Dus testen is te doen.

Als het niet werkt wil ik de kabels wel van je overnemen. (bestel ze dan wel van 1 meter)


Ik verwacht dat het wel werkt. Ik dacht zelf dat het officiele breakoutboard wellicht intiligentie had waardoor je meer schijven aan kan sluiten, maar achteraf gezien is dat dus niet. De H200 ondersteund het dus gewoon. "ik neem aan" dat het gewoon gaat werken.

EDIT @Dutch2007 Stuur eens een link van de DELL site. Ik kan de 220 nergens vinden en wil wel even zoeken voor je. Is het niet gewoon een H200?

Of maak een foto, of vertel me waar je 220 hebt zien staan... Dan kijk ik of ik dat bij mij ook terug kan vinden.

[Voor 10% gewijzigd door World Citizen op 06-05-2019 17:00]

[Dutch2007]

World Citizen schreef op maandag 6 mei 2019 @ 16:30:
[...]


Goede vraag, en echt zekerheid durf ik je niet te geven, maar:

A: Je mag altijd komen testen, of opsturen dat ik het test. Doe ik graag voor je.
B: Een kabel op Ali is niet gek duur. Dus testen is te doen.

Als het niet werkt wil ik de kabels wel van je overnemen. (bestel ze dan wel van 1 meter)


Ik verwacht dat het wel werkt. Ik dacht zelf dat het officiele breakoutboard wellicht intiligentie had waardoor je meer schijven aan kan sluiten, maar achteraf gezien is dat dus niet. De H200 ondersteund het dus gewoon. "ik neem aan" dat het gewoon gaat werken.

EDIT @Dutch2007 Stuur eens een link van de DELL site. Ik kan de 220 nergens vinden en wil wel even zoeken voor je. Is het niet gewoon een H200?

Of maak een foto, of vertel me waar je 220 hebt zien staan... Dan kijk ik of ik dat bij mij ook terug kan vinden.

Het is eentje van HP

https://www.spareit.nl/servers/opties-server/hba/650933-b21

Deze is 't.

https://h20195.www2.hpe.com/v2/GetPDF.aspx/c04111455.pdf

Capacity Fulfilling the need for high performance and capacity expansion, the HPE H220 SAS HBA offers:
• Eight 6 Gbps SAS physical links supporting up to 2 simultaneous x4 Wide SAS Ports
• Capacity up to 42 TB of SAS or 42 TB SATA


Dus als die 8 links heeft, dan zou 't dus ook met SATA moeten werken..

Zo "duur" issue ook niet, 2e hands voor ~50 euro gekocht (via ebay),

https://www.ebay.com/itm/...ksid=p2060353.m1438.l2649

[World Citizen]

@Dutch2007

Ahh dat makkt het duidelijker

Maar dan denk ik dat je geluk hebt want de handleiding zegt dat er 8 op kunnen.

Designed to be as flexible as HP servers, HP H220 Host Bus Adapter provides support for the tape drives
and both SAS and SATA HDDs. The HP adapter delivers exceptional system performance, with eight 6 Gb/s
SAS ports providing up to 48 Gb/s total storage bandwidth.


http://www.arp.com/medias/14254508.pdf
Pagina 3

[FireDrunk]

Heb volgens mij nog wel een M1015 liggen als je nodig hebt.

[World Citizen]

FireDrunk schreef op maandag 6 mei 2019 @ 17:33:
Heb volgens mij nog wel een M1015 liggen als je nodig hebt.

Dat is toch eigenlijk dezelfde als de DELL H200, althans... de firmware van die LSI kaart kun je ook naar je H200 flashen voor IT mode.

Ik zou om 2 redenen van die H200 afwillen.
- Hij doet geen RAID 5
- Hij word 80 graden (in vergelijking, de H310 word maar 30 graden)

Maar een model wat hoger ligt zou ik dan inclusief Cache en BBU willen, en dan zit je al weer snel aan de 150 euro (niet marktplaats).

Maar als je puur veel schijven wilt aansluiten en niet aan RAID doet (0, 1 en 10 kan wel.. maja...beetje duur), dan is deze H200 voor 30 euro niet duur. 2 kabels erbij van ieder 5 euro, en je kunt 8 schijven aansluiten.

(overigens haal je op PCI x4 prima snelheden, dus als je meerdere H200 kaarten erin hangt is je enigste probleem de koeling. )

[Voor 9% gewijzigd door World Citizen op 06-05-2019 18:43]

[FireDrunk]

Ja klopt, alleen is de M1015 soms iets makkelijker te flashen, Dell kaarten doet soms wat lastig vanwege andere PCI ID's, maar doorgaans moet het inderdaad wel lukken.

RAID5 op een kaart is echt hopeloos verouderd. Je wil (met de grote schijven van tegenwoordig) *minimaal* RAID6, en als je data je echt lief is, ga je voor ECC + ZFS, maar dat is een andere discussie.

Bij schijven groter dan 2-3TB wil je gewoon geen RAID5.

Persoonlijk zou ik lekker voor een simpele setup gaan, en gewoon goede backups maken. Werkt veel beter.

Koeling van die kaarten is vaak matig omdat die kaarten uit gaan van (hele) goede airflow in een server kast. Het helpt om een keer de koeler los te halen en fatsoenlijke koelpasta op te doen. Check daarnaast ook even of ASPM aan staat (en ook effectief is). Ook kan je er eventueel een grotere koeler op monteren, maar dat is wat meer knutselwerk.

[World Citizen]

[b]FireDrunk in "De CSL/OT-kroeg"
Persoonlijk zou ik lekker voor een simpele setup gaan, en gewoon goede backups maken. Werkt veel beter.

Koeling van die kaarten is vaak matig omdat die kaarten uit gaan van (hele) goede airflow in een server kast. Het helpt om een keer de koeler los te halen en fatsoenlijke koelpasta op te doen. Check daarnaast ook even of ASPM aan staat (en ook effectief is). Ook kan je er eventueel een grotere koeler op monteren, maar dat is wat meer knutselwerk.

Dat is het plan . Ik heb alle schijven dubbel, dus trek een kopie en leg die offsite. Het gaat om digitale versies van mijn films, dus er is geen constant dataverkeer. Hooguit 1x per week denk ik.

Ik overwoog helemaal geen backup te maken gezien ik ze nog een keer kan rippen, maar kon een deal maken in schijven dus ben voor de letterlijke backup gegaan. Eenmaal een schijf vol, veranderd hij toch nooit meer.

Koelpasta is al vervangen . Ik moet gewoon een fan bijplaatsen en dan is het goed. Er zitten al wat fans in, maar die worden geblokkeerd door de schijven. Ik zal voor de grap morgen wat foto's maken.

[teaser]

Na weken twijfelen heb ik me uiteindelijk toch een QNAP TS-251B aangeschaft ter vervanging van de oude ReadyNAS in de kelder. Echt een dozijn pistes heb ik overwogen: van een RPI4 tot zelfbouw barebone, de combinatie met HTPC, etc etc.
Uiteindelijk de KISS weg opgegaan en een simpele, maar toch redelijk krachtige, NAS gekozen. Qua media kijk ik wel hoe ver ik voorlopig geraak met Plex op de NAS in combinatie met Chromecast.

Qua backup denk ik er wel aan een RPI in te zetten zodat ik niet meer manueel een schijf in de usb moet steken, backup starten, en achteraf fysiek die schijf weer te verplaatsen. Dat hou ik toch niet consistent vol.

Trouwens, de Synology DS218+ is zowat identiek aan de TS-251B qua specs. Maar wel 60 euro duurder

[Voor 7% gewijzigd door teaser op 25-07-2019 09:20]

[Q]

Voor wie het leuk vindt:

Ik heb een homelab server gekocht met 20 cores / 40 threads + 128 GB geheugen en ik heb er een artikeltje over geschreven.

[Giesber]

Daarnet eindelijk een groot bestand naar mijn server kunnen kopiëren.

Ik had het een tijd geleden al geprobeerd, maar bij zo'n 11% ging het altijd mis in Filezilla. Na een hoop opzoekwerk over de foutmeldinge bleek er in de FTP client van Freenas een obscure bug te zitten die zeer zelden een verbinding afbreekt bij een groot bestand. Die FTP client was pas geüpdate bij Freenas 11.2 (en ik draaide tot voor even nog 11.1).

Nu ik de server geüpdate heb dacht ik het nog eens te proberen: weer niets. Dan maar via SMB proberen: ook blijven haken op 11%. Ik dacht eerst aan een Windows of SMB quirk omdat ik telkens hetzelfde bestand probeer te kopiëren. Vervolgens dan maar eens lokaal het bestand naar een andere folder kopiëren: dat lukte ook al niet.

Opeens viel mijn frank: het bronbestand was defect . Even opnieuw unzippen op een andere locatie: geen probleem meer.

Hoe kan een mens daar in godsnaam zolang mee bezig zijn. En ook: datacorruptie gebeurt niet alleen bij anderen.

[HyperBart]

Poeh, lang geleden dat ik hier nog eens langs kwam.

Vandaag liep ik even langs mijn servers in de bureau (woon sinds bijna 3 jaar in een nieuwbouw woning) en het viel me op dat mijn UPS voor mijn NAS en server een knipperend doorkruist-batterij-icoontje aangaf.

In 2017 heb ik een nieuwe batterij (niet de APC-branded versie) voor dat ding besteld bij Megekko, deze batterij is na 2 jaar defect, de originele die in de UPS zat ging van 2011 tot 2017 mee. Toch een verschilletje .


Indertijd gaven @mux en @FireDrunk (per telefoon) al eens aan dat die UPS van mij niet uitblinkt in efficiëntie. Wat staat vandaag dan aangeschreven als een goede en efficiënte UPS? Belasting is iets van om en bij de 150W maar dat gaat binnenkort naar beneden als ik mijn NAS opnieuw inricht met deze combinatie.

#	Category	Product	Prijs	Subtotaal
2	Processors	Intel Core i3-9100 Boxed	€ 106,80	€ 213,60
2	Moederborden	Fujitsu D3644-B	€ 151,-	€ 302,-
2	Geheugen intern	Kingston KSM26ED8/16ME	€ 87,12	€ 174,24
1	Solid state drives	Samsung 970 Evo Plus 500GB	€ 108,50	€ 108,50
Bekijk collectie Importeer producten			Totaal	€ 798,34

Een van die setjes is een vervanging voor mijn X9-SCA-F en Xeon E3 1230v1 die 60W slurpen in standby

[Voor 68% gewijzigd door HyperBart op 28-10-2019 22:15]

[MathieuT]

Ik weet niet goed waar ik dit moet zetten, dus ik zal mijn situatie eens kort schetsen

Ik ben via een faillissement in het bezit gekomen van een WD Sentinel DX4000 met 4x2TB aan boord, er draait Windows Server 2008 op maar de mogelijkheid is er om te upgraden naar 2012 of zelfs 2016. Ik heb gelezen dat de beide netwerkpoorten de vervelende gewoonte hebben om er tegelijk mee op te houden, niet handig voor een NAS natuurlijk.

Nu heb ik al aan veel opties gedacht, gaande van 2 schijven in RAID 1 in mijn pc te steken tot een externe RAID behuizing op USB te kopen.

Waar mag ik de uitgebreide versie van deze vraag om advies plaatsen?

[Q]

MathieuT schreef op donderdag 7 november 2019 @ 07:46:


Waar mag ik de uitgebreide versie van deze vraag om advies plaatsen?

Dat kan gewoon in dit forum hier als post. Wat ik mis in jouw verhaal en wat belangrijk is om daarin te verwerken: wat is je doel, wat wil je bereiken, wat zijn de keuzes waarmee je worstelt en hoe denk je zelf over die keuzes

[knights16]

Ik wil de dashcam functie van mijn auto gaan gebruiken. Ervaring is dat reguliere usb sticks na een paar maanden corrupt raken door de vele schrijfacties.

Ik twijfel nu tussen een Samsung Endurance 128 GB microsd kaartje (icm een microsd naar usb adapter, totaal 45 euro) of toch maar een duurdere externe SSD zoals een Samsung T5 van 240GB, 70_80 euro.

Ik neig naar optie A maar ben niet helemaal thuis in het corrupt raken van storage als het vaak beschreven wordt. Is het ook daadwerkelijk ander geheugen in een endurance kaartje versus een SSD?

Iemand een biertje trouwens?

[Voor 16% gewijzigd door knights16 op 03-02-2020 13:00]

[Q]

knights16 schreef op maandag 3 februari 2020 @ 12:22:
Ik wil de dashcam functie van mijn auto gaan gebruiken. Ervaring is dat reguliere usb sticks na een paar maanden corrupt raken door de vele schrijfacties.

Ik twijfel nu tussen een Samsung Endurance 128 GB microsd kaartje (icm een microsd naar usb adapter, totaal 45 euro) of toch maar een duurdere externe SSD zoals een Samsung T5 van 240GB, 70_80 euro.

Ik neig naar optie A maar ben niet helemaal thuis in het corrupt raken van storage als het vaak beschreven wordt. Is het ook daadwerkelijk ander geheugen in een endurance kaartje versus een SSD?

Iemand een biertje trouwens?

Ik drink niet maar toch bedankt.

Hoe groter de 'stick', hoe minder frequent alle cellen worden beschreven, hoe langer die mee gaat, is mijn gedachte. Dus ik denk dat die 45 euro prima besteed is. Ik denk dat dit al genoeg is.

Wordt een beetje een rekensommetje: wat is je datastream (MB/s) hoe lang zit je in de auto, hoeveel
MB is dat per maand?

Je kunt ook gewoon wat goedkopere kaartjes kopen maar dan moet je ze misschien jaarlijks (preventief) vervangen.

De belangrijkste vraag is: hoe weet je dat je kaart stuk is?

Ik heb een tijdje een dashcam gehad en na een jaar of wat 1 uur per werkdag in de auto met het mee geleverde (goedkope) kaartje geen issues.

[DaOverclocker]

Ik heb een beetje een enterprise gerichte storage vraag. Binnen ons (kleine) bedrijf hebben we storage systemen van bijvoorbeeld 24x10Tb drives, altijd in raid6 ( Als ik onze sysadmin moet geloven duurt een rebuild met 24 drives in 1 raid6 array tegenwoordig helemaal niet lang, zeker minder dan 24h).
Deze storage benaderen wij via nfs, met verschillende linux clients over ethernet met gbit, of 10gbit.
Nu heeft die storage als voordeel dat het de meest goedkope manier is om een grote storage plek te maken, maar voor mij ook nadelen;
1) - de backup verloopt via rsync (met --delete) naar een soortgelijk systeem. Dit wordt met miljoenen files uiteindelijk ondoenlijk omdat het dagen duurt voor 1 sync, en loopt de backup hierdoor soms dagen achter.
2) - de performance is met 1 thread prima over 10gbit ethernet, maar met meerdere gebruikers zakt dit als een kaartenhuis in elkaar, wat te verwachten is voor zo's setup.
3) - het uitbreiden van de storage /uitfaseren kan alleen door het geheel te vervangen door iets nieuws.
4) availability is tot nog toe in afgelopen jaren nooit echt een issue geweest, maar uiteraard is 1 server met 1 raid array niet heel erg redundant (afgezien van een disk failure gewoon niet). De backup kunnen we evt gebruiken als replacement als de server ploft.
5) de backup bestaat nu uit 1 versie, er zijn geen eerdere versies beschikbaar.

Nou ben ik al tijden zo nu en dan aan het googlen hoe we dit kunnen oplossen zonder direct de hoofdprijs te betalen. We hebben een tijdje naar een software defined storage oplossen gekeken van bijv Euronas en Compuverde. Hiervoor zouden we namelijk commodety hardware kunnen gebruiken, en ben je niet gebonden aan 1 bepaald merk (zoals bij Dell of HPE) . Nu is Compuverde opgenomen door PureStorage in tussentijd, dus die valt helemaal af. Euronas is nog steeds wellicht een optie. Eenvoudiger zou een zfs storage oplossing zijn, wat in elk geval punt2 deels kan oplossen door gebruik te maken van meerdere raidz2 pools, plus write log devices bijvoorbeeld.Kwa performance zijn we dan wel genoeg geholpen denk ik. Voor wat betreft punt 1 en punt 3 weet ik niet of zfs daar de beste optie voor is. Daarnaast ben ik benieuwd of hier ook andere systemen bekent zijn wat de moeite waard is om eens in te duiken. Zaken als Lustrfs en ceph zijn voor ons wat te hoog gegrepen, daar hebben we dan weer net wat te weinig beschikbare tijd voor van onze sys-admin. Omdat ik tegenwoordig niet zoveel meer op GoT zit, kan ik moeilijk inschatten of ik hier een los topic voor kan starten. Zoals aangegeven in de guidelines, hier geen indepth advies, maar tips of hints waar ik verder kan kijken zijn welkom

[Q]

DaOverclocker schreef op dinsdag 9 juni 2020 @ 12:33:
Ik heb een beetje een enterprise gerichte storage vraag.

Ik zou dit niet hier posten maar gewoon even een eigen topic aanmaken. Worst-case wordt het verplaatst naar
deze plek: Professional Networking & Servers

Mijn advies zou zijn om - ondanks de kosten - gewoon een consultant inhuren om jullie met dit traject te begeleiden. Eentje die onafhankelijk is van specifieke producten, zodat je geen belangenverstrengeling hebt.

Dat lijkt mij een meer robuuste oplossing.

[Voor 27% gewijzigd door Q op 09-06-2020 23:29]

[DaOverclocker]

Q schreef op dinsdag 9 juni 2020 @ 23:17:
[...]

Mijn advies zou zijn om - ondanks de kosten - gewoon een consultant inhuren om jullie met dit traject te begeleiden. Eentje die onafhankelijk is van specifieke producten, zodat je geen belangenverstrengeling hebt.

Dat lijkt mij een meer robuuste oplossing.

Bedankt, goed punt, een tip een onafhankelijke consultant op dit gebied?

[Voor 16% gewijzigd door DaOverclocker op 10-06-2020 11:23]

[Q]

DaOverclocker schreef op woensdag 10 juni 2020 @ 11:23:
[...]


Bedankt, goed punt, een tip een onafhankelijke consultant op dit gebied?

Sorry niet echt. Ik zou best willen helpen zelf maar dan was mijn opmerking over een consultant misschien achteraf gezien een smoes om mijzelf aan te kunnen bieden. 😜

Bovendien ben ik (nog) particulier.

Maar mocht je interesse hebben en je zit ergens in de randstad DM gerust.

Edit: https://louwrentius.com/u...nce-iops-and-latency.html
Misschien is dit gesneden koek, maar misschien heb je er wat aan.

[Voor 13% gewijzigd door Q op 10-06-2020 16:10]

[FireDrunk]

Commodity hardware vs een merk als HP / Dell nemen is niet perse een voordeel. Vooral niet als je er zelf weinig verstand van hebt. Je bent namelijk zelf verantwoordelijk voor de 'integratie'. Je krijgt niet een off-the-shelf oplossing. Ik zou persoonlijk liever een lichte vendor lockin hebben, dan als bedrijf afhankelijk te zijn van kennis die je dus eigenlijk niet hebt.

Als de protocollen die je praat met je storage laag (rsync, NFS, iSCSI, SMB, whatever) open zijn, is een vendor lockin helemaal niet zo erg. Dat de caching laag van zo'n apparaat proprietary technologie is, boeit dan weinig.

Wil je ooit weg migreren, prima. Maak een backup, zet die via NFS op de andere doos, en ga verder waar je gebleven was. Tuurlijk moet je qua configuratie een aantal zaken weer opnieuw (laten) doen, maar dat is nog altijd beter dan een SDS systeem hebben wat je compleet opnieuw moet inrichten.