Ik weet dat je zelf een hele an
dere mening bent toebedaan, maar ik vind dat je dit soort dingen niet kunt zeggen zon
der op z'n minst
de na
delen van 2.5"-disks te benoemen.
Hele volksstammen zijn voorgelogen door WD over het gebruik van SMR in hun 3.5"-range, met dramatische peformance in NAS'es tot gevolg. Daar zijn ze inmid
dels een stuk eerlijker over, maar voor 2.5"-disks geldt nog steeds dat ze eigenlijk zon
der uitzon
dering gebruik maken van SMR.
Daar kleeft een flink na
delen aan: namelijk dat
deze schrijven vrij beroerd zijn in random write I/O, en - naarmate een disk voller raakt - soms ook bij sequentiële workloads door
de mand vallen. In veelvoorkomen
de NAS-opstellingen kan dit ertoe lei
den dat je met een disk zit die niet vooruit te bran
den is terwijl alle redundancy uit je array is. Disks die traag reageren wor
den ook nog wel eens uit RAID-arrays gegooid; als dat op het verkeer
de moment gebeurt en je niet zelf weet hoe je dat repareert dan kun je
de hele array afschrijven.
Nee, RAID is geen backup, maar als je vraagt hoeveel thuisgebruikers hun hele array netjes gebackupped hebben dan denk ik dat het er niet veel zijn
Ie
dereen die een (zuinige) NAS wil bouwen moet voor zichzelf af kunnen wegen of hij/zij wat watts wil besparen door 2.5"-disks te gebruiken, of dat het verstandiger is om 3.5"-disks (lees: CMR) te kopen omdat je bijvoorbeeld ZFS gebruikt.
Voor
deel: ze zijn (veel) zuiniger.
Na
deel: SMR kan onwenselijk traag en/of onvoorspelbaar zijn (
recent voorbeeld: ZFS)
En ook als je jezelf een minimum (bijvoorbeeld: CMR) oplegt kun je nog hele zinnige zuinigheidsafwegingen maken.
Denk aan grotere disks (noem
de je al), maar ook
de heliumgevul
de vs. traditionele schijven.
Af-en-toe lijken
de adviezen hier wel heel stug gefocust op het elimineren van
de allerlaatste watt, terwijl
de meesten die om advies komen vragen waarschijnlijk meer geholpen zijn met een pragmatischere kijk; iemand die aangeeft dat hij een virtualisatie/kubernetes-cluster van 3-6 no
des overweegt te bouwen wil zich
waarschijnlijk helemaal niet bezig hou
den met het consoli
deren van VMs om zo een hele Watt te besparen.
Bedenk goed; tenzij het je als sport ziet om tot de laatste watt te gaan kun je een jaar lang 20 Watt verstoken voor het geld waar je vroeger net (of net niet) een avondje uit voor had.
Nu we toch een concrete casus hebben: @
VRHA's opzet is exact zo'n voorbeeld waar je
heel erg voorzichtig dient te zijn met 2.5" (lees: SMR) disks. Sterker nog, die wil je
absoluut niet gebruiken.
Ceph kent inherent al veel afhankelijkhe
den: een minimaal 'recommen
ded' cluster van 3 no
des rapporteert een write pas als succesvol als 'ie op drie verschillen
de no
des is geland. Op basis daarvan kun je al bere
deneren dat je daar niet het risico wil lopen op een no
de die te druk is met wat bitjes opnieuw over elkaar heen leggen.
Of vraag het aan
de lead
developer van Ceph:
Due to the nature of SMR these disks are very, very, very bad when it comes to Random Write performance. Random I/O is something that Ceph does a lot on the backing disks.
This results in disks spiking to 100% utilization very quickly causing all kinds of trouble with OSDS going down and committing suicide.
@
VRHA Ceph is leuk om mee te experimenteren; ik zou zon
der meer voor een oplossing gaan waarin het cluster gewoon colocated is. In plaats van losse no
des kun je dan beter een paar cores/reepjes bijprikken: dat gaat altijd zuiniger zijn.
Naast
de genoem
de (klassieke) Fujitsu x86-oplossingen kun je kijken of iets als
de Odroid H2+ iets is. Er is vast genoeg over te vin
den over hoe die dingen het in (kleine) Ceph/k8s-clusters doen. Ze zijn in ie
der geval zeer zuinig; of
de performance ook toereikend is mag je zelf uitzoeken.
De opmerking van @
frv is ook wel terecht: verkijk je niet op
de performance penalties van Ceph. Onwerkbaar is niet mijn ervaring (allerminst), maar locally attached NVMe is, veel, heel veel 'sneller'.