Wat is de beste bytesize voor een NVMe ZFS proxmox datastore

[RvdMeer]

Ik heb een proxmox node met daaraan gekoppeld een lokale NVME PCIe 3.0 welke functioneert als ZFS datastore. De ZFS datastore heeft een default bytesize van 4k. Echter zie ik tijdens het testen dat de maximale snelheid wordt bereikt bij een blocksize van 131072bytes. Ik vraag mij al een tijdje af, helaas nog niet kunnen testen, wat er zou gebeuren als ik de blocksize zou aanpassen naar 131k en of dit wellicht voor een enorme boost zou zorgen.

code:

root@prxnode01:~# bash perftest.sh
block size : transfer rate
     512 : 119 MB/s
    1024 : 129 MB/s
    2048 : 164 MB/s
    4096 : 182 MB/s
    8192 : 197 MB/s
   16384 : 220 MB/s
   32768 : 1.8 GB/s
   65536 : 1.7 GB/s
  131072 : 2.2 GB/s
  262144 : 2.0 GB/s
  524288 : 2.1 GB/s
 1048576 : 2.1 GB/s
 2097152 : 2.1 GB/s
 4194304 : 2.1 GB/s
 8388608 : 2.0 GB/s
16777216 : 1.8 GB/s
33554432 : 1.8 GB/s
67108864 : 1.7 GB/s

Heeft iemand ervaring met de vraag hoe ik het best de default bytesize kan bepalen van mijn ZFS datastore voor het optimaal kunnen benutten van NVMe gebaseerde opslag. Wanneer ik dezelfde test doe in een virtuele machine is de maximale snelheid 1.0GB/s.

[Question Mark]

Wat voor data ga je opslaan?

Dát is nl. één van de keyfactoren waar je de blocksize op zou moeten gaan aanpassen. Zo is het de best practise om de blocksize voor SQL server op 64KB te houden, dit sluit het beste aan met paging en read-ahead mechanismes in SQL.

[RvdMeer]

Question Mark schreef op woensdag 20 mei 2020 @ 14:16:
Wat voor data ga je opslaan?

Vooralsnog geen specifieke toepassing. Er draaien meerdere soorten virtuele machines op deze node. Ik wil vooral graag begrijpen waarom de ene blocksize tijdens zo'n DD-test zoveel beter presteert dan de andere en of je een enorme prestatieverbetering krijgt wanneer je de standaard zfs blocksize aanpast.

Echter kom ik die specifieke best-practice nergens tegen online

[RvdMeer]

Niemand verder?

[InflatableMouse]

Chime in, al is het inmiddels bijna 2 weken oud.

Best practise met zfs is stick with the defaults.

Wat is bytesize in zfs terminology? Edit: bedoel je de ashift, bedenk ik mij nu ik je bericht nog een keer lees.

Default heeft zfs een recordsize van 128K. Dit is geen fixed size in tegenstelling tot veel andere filesystems maar een maximum. Zfs kan variabele blocks opslaan tot een maximum van 128K, dus.

Bij het aanmaken van je zpool dien je voor NVMe drives een ashift van 13 op te geven, 8K clusters dus, in tegenstelling tot ashift 9 (oudere, 512 byte) of 12 voor 4K schijven. NVMe is bijna altijd 8K onder water.

Voor qcow op zfs voor vm's is veelvuldig over geschreven (staat best veel op reddit r/zfs), dat zou volgens mij een recordsize van 16K zijn, maar wederom afhankelijk van de workload. Beste advies hier: don't bother with zvols, er is niets mis met qcow2 op een "gewone" dataset.

Benchmarking lijkt een makkelijk topic, maar het is bedriegelijk ingewikkeld. Je zit met zo veel variabelen en mechanismen dat het echt heel erg lastig is te zeggen. Bovendien zijn vrijwel alle benchmarks synthetisch, terwijl een workload vanuit een applicatie zich zelden of nooit zal gedragen als een synthetische benchmark.

Klinkt mij alsof je het nog niet zo goed weet wat de workload gaat zijn en ben je in algemene zin op zoek naar advies, best practises, dus stick with the defaults, zou ik zeggen.