Cookies op Tweakers

Tweakers is onderdeel van DPG Media en maakt gebruik van cookies, JavaScript en vergelijkbare technologie om je onder andere een optimale gebruikerservaring te bieden. Ook kan Tweakers hierdoor het gedrag van bezoekers vastleggen en analyseren. Door gebruik te maken van deze website, of door op 'Cookies accepteren' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt? Bekijk dan ons cookiebeleid.

Meer informatie
Toon posts:

Wat is de beste bytesize voor een NVMe ZFS proxmox datastore

Pagina: 1
Acties:

Vraag


Acties:
  • 0Henk 'm!

  • RvdMeer
  • Registratie: september 2003
  • Laatst online: 24-07 19:31
Ik heb een proxmox node met daaraan gekoppeld een lokale NVME PCIe 3.0 welke functioneert als ZFS datastore. De ZFS datastore heeft een default bytesize van 4k. Echter zie ik tijdens het testen dat de maximale snelheid wordt bereikt bij een blocksize van 131072bytes. Ik vraag mij al een tijdje af, helaas nog niet kunnen testen, wat er zou gebeuren als ik de blocksize zou aanpassen naar 131k en of dit wellicht voor een enorme boost zou zorgen.

code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
root@prxnode01:~# bash perftest.sh
block size : transfer rate
     512 : 119 MB/s
    1024 : 129 MB/s
    2048 : 164 MB/s
    4096 : 182 MB/s
    8192 : 197 MB/s
   16384 : 220 MB/s
   32768 : 1.8 GB/s
   65536 : 1.7 GB/s
  131072 : 2.2 GB/s
  262144 : 2.0 GB/s
  524288 : 2.1 GB/s
 1048576 : 2.1 GB/s
 2097152 : 2.1 GB/s
 4194304 : 2.1 GB/s
 8388608 : 2.0 GB/s
16777216 : 1.8 GB/s
33554432 : 1.8 GB/s
67108864 : 1.7 GB/s


Heeft iemand ervaring met de vraag hoe ik het best de default bytesize kan bepalen van mijn ZFS datastore voor het optimaal kunnen benutten van NVMe gebaseerde opslag. Wanneer ik dezelfde test doe in een virtuele machine is de maximale snelheid 1.0GB/s.

Beste antwoord (via RvdMeer op 13-06-2020 23:09)


  • InflatableMouse
  • Registratie: december 2006
  • Laatst online: 31-07 13:25

InflatableMouse

Vinyl Bliss!

Chime in, al is het inmiddels bijna 2 weken oud.

Best practise met zfs is stick with the defaults.

Wat is bytesize in zfs terminology? Edit: bedoel je de ashift, bedenk ik mij nu ik je bericht nog een keer lees.

Default heeft zfs een recordsize van 128K. Dit is geen fixed size in tegenstelling tot veel andere filesystems maar een maximum. Zfs kan variabele blocks opslaan tot een maximum van 128K, dus.

Bij het aanmaken van je zpool dien je voor NVMe drives een ashift van 13 op te geven, 8K clusters dus, in tegenstelling tot ashift 9 (oudere, 512 byte) of 12 voor 4K schijven. NVMe is bijna altijd 8K onder water.

Voor qcow op zfs voor vm's is veelvuldig over geschreven (staat best veel op reddit r/zfs), dat zou volgens mij een recordsize van 16K zijn, maar wederom afhankelijk van de workload. Beste advies hier: don't bother with zvols, er is niets mis met qcow2 op een "gewone" dataset.

Benchmarking lijkt een makkelijk topic, maar het is bedriegelijk ingewikkeld. Je zit met zo veel variabelen en mechanismen dat het echt heel erg lastig is te zeggen. Bovendien zijn vrijwel alle benchmarks synthetisch, terwijl een workload vanuit een applicatie zich zelden of nooit zal gedragen als een synthetische benchmark.

Klinkt mij alsof je het nog niet zo goed weet wat de workload gaat zijn en ben je in algemene zin op zoek naar advies, best practises, dus stick with the defaults, zou ik zeggen.

Alle reacties



Apple iPad Pro (2021) 11" Wi-Fi, 8GB ram Microsoft Xbox Series X LG CX Google Pixel 5a 5G Sony XH90 / XH92 Samsung Galaxy S21 5G Sony PlayStation 5 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2021 Hosting door True