Ik weet dat je zelf een hele andere mening bent toebedaan, maar ik vind dat je dit soort dingen niet kunt zeggen zonder op z'n minst de nadelen van 2.5"-disks te benoemen.
Hele volksstammen zijn voorgelogen door WD over het gebruik van SMR in hun 3.5"-range, met dramatische peformance in NAS'es tot gevolg. Daar zijn ze inmiddels een stuk eerlijker over, maar voor 2.5"-disks geldt nog steeds dat ze eigenlijk zonder uitzondering gebruik maken van SMR.
Daar kleeft een flink nadelen aan: namelijk dat deze schrijven vrij beroerd zijn in random write I/O, en - naarmate een disk voller raakt - soms ook bij sequentiële workloads door de mand vallen. In veelvoorkomende NAS-opstellingen kan dit ertoe leiden dat je met een disk zit die niet vooruit te branden is terwijl alle redundancy uit je array is. Disks die traag reageren worden ook nog wel eens uit RAID-arrays gegooid; als dat op het verkeerde moment gebeurt en je niet zelf weet hoe je dat repareert dan kun je de hele array afschrijven.
Nee, RAID is geen backup, maar als je vraagt hoeveel thuisgebruikers hun hele array netjes gebackupped hebben dan denk ik dat het er niet veel zijn
Iedereen die een (zuinige) NAS wil bouwen moet voor zichzelf af kunnen wegen of hij/zij wat watts wil besparen door 2.5"-disks te gebruiken, of dat het verstandiger is om 3.5"-disks (lees: CMR) te kopen omdat je bijvoorbeeld ZFS gebruikt.
Voordeel: ze zijn (veel) zuiniger.
Nadeel: SMR kan onwenselijk traag en/of onvoorspelbaar zijn (
recent voorbeeld: ZFS)
En ook als je jezelf een minimum (bijvoorbeeld: CMR) oplegt kun je nog hele zinnige zuinigheidsafwegingen maken. Denk aan grotere disks (noemde je al), maar ook de heliumgevulde vs. traditionele schijven.
Af-en-toe lijken de adviezen hier wel heel stug gefocust op het elimineren van de allerlaatste watt, terwijl de meesten die om advies komen vragen waarschijnlijk meer geholpen zijn met een pragmatischere kijk; iemand die aangeeft dat hij een virtualisatie/kubernetes-cluster van 3-6 nodes overweegt te bouwen wil zich
waarschijnlijk helemaal niet bezig houden met het consolideren van VMs om zo een hele Watt te besparen.
Bedenk goed; tenzij het je als sport ziet om tot de laatste watt te gaan kun je een jaar lang 20 Watt verstoken voor het geld waar je vroeger net (of net niet) een avondje uit voor had.
Nu we toch een concrete casus hebben: @
VRHA's opzet is exact zo'n voorbeeld waar je
heel erg voorzichtig dient te zijn met 2.5" (lees: SMR) disks. Sterker nog, die wil je
absoluut niet gebruiken.
Ceph kent inherent al veel afhankelijkheden: een minimaal 'recommended' cluster van 3 nodes rapporteert een write pas als succesvol als 'ie op drie verschillende nodes is geland. Op basis daarvan kun je al beredeneren dat je daar niet het risico wil lopen op een node die te druk is met wat bitjes opnieuw over elkaar heen leggen.
Of vraag het aan de lead developer van Ceph:
Due to the nature of SMR these disks are very, very, very bad when it comes to Random Write performance. Random I/O is something that Ceph does a lot on the backing disks.
This results in disks spiking to 100% utilization very quickly causing all kinds of trouble with OSDS going down and committing suicide.
@
VRHA Ceph is leuk om mee te experimenteren; ik zou zonder meer voor een oplossing gaan waarin het cluster gewoon colocated is. In plaats van losse nodes kun je dan beter een paar cores/reepjes bijprikken: dat gaat altijd zuiniger zijn.
Naast de genoemde (klassieke) Fujitsu x86-oplossingen kun je kijken of iets als de Odroid H2+ iets is. Er is vast genoeg over te vinden over hoe die dingen het in (kleine) Ceph/k8s-clusters doen. Ze zijn in ieder geval zeer zuinig; of de performance ook toereikend is mag je zelf uitzoeken.
De opmerking van @
frv is ook wel terecht: verkijk je niet op de performance penalties van Ceph. Onwerkbaar is niet mijn ervaring (allerminst), maar locally attached NVMe is, veel, heel veel 'sneller'.