HyperBart schreef op dinsdag 30 april 2013 @ 11:53:
[...]
Het enige rare is, sinds een tijdje (ongeveer nadat of tijdens een GIGANTISCHE sprint van downloads binnen een VM die gestockeerd staat op mijn pool) is mijn performance echt belachelijk fel omlaag gegaan. Ik heb de indruk dat synced writes bijzonder traag gaan. Ik heb dan mijn ZIL die op een VMDK op M4 staat even verwijderd maar dan zakt de performance nog wat meer in. Er staan dan ook nog wel enkele "idle" machines te draaien.
Als ik dd's doe op de pool zelf gaat alles prima, maar vanaf de VM niet. Writes gaan traag, reads gaan prima...
Ik heb er even met FireDrunk over gediscussierd, en ik ga nu mijn M4 even volledig trimmen, kijken of dat wat uithaalt...
Iemand hier nog wat meer inzicht in? CiPHER? Ik heb ondertussen mijn M4 even buiten werking gezet voor ZIL (wel nog L2ARC) en ik heb een aparte, eerste generatie Intel SSD van 80GB aan mijn M1015 gehangen. Eerst even getrimmed en dan er aan gehangen (50GB benut en 30GB ongepartitioneerd gelaten).
Schrijfsnelheden zijn nog altijd belabberd vanuit een Ubuntu VM... Ik twijfel alleen of ik dit altijd heb gehad of alleen vanaf een bepaald moment...
bart@Pyro2:~/test$ dd of=test.file3 if=/dev/zero bs=1M count=2048
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB) copied, 82.7301 s, 26.0 MB/s
Een write (en read for that matter) op ZFSguru zelf gaat prima (ook niet gigantisch, misschien kan ik nog wel wat perf tunen):
[root@zfsguru /hulk/test]# dd if=/dev/zero of=test.file bs=1M count=20480
20480+0 records in
20480+0 records out
21474836480 bytes transferred in 76.759956 secs (279766138 bytes/sec)
[root@zfsguru /hulk/test]# dd if=/dev/zero of=test.file bs=1M count=40960
40960+0 records in
40960+0 records out
42949672960 bytes transferred in 193.874380 secs (221533515 bytes/sec)
[root@zfsguru /hulk/test]# dd if=test.file of=/dev/null
83886080+0 records in
83886080+0 records out
42949672960 bytes transferred in 242.741306 secs (176935989 bytes/sec)
Ook wel raar om te zien dat writes sneller gaan dan reads.
Kan ik nog iets van performance tuning doen? Op dit moment heb ik volgende parameters:
[root@zfsguru /home/ssh]# cat /boot/loader.conf | more
## other tuning
kern.maxfiles="950000"
# fix for error 'swap zone exhausted, increase kern.maxswzone'
kern.maxswzone="512m"
# fix for ESXi users (only use if you have problems booting or finding disks)
hw.pci.enable_msix="0"
hw.pci.enable_msi="0"
# fix for AOC-SAT2-MV8 (Marvell) controllers
hw.hptrr.attach_generic="0"
# fix for USB Root-on-ZFS that do not shutdown properly
hw.usb.no_shutdown_wait=1
# quicker boot time by shortening boot menu countdown
autoboot_delay="2"
# delay booting to allow some devices to settle (needed for some systems)
#kern.cam.boot_delay="10000"
# disable id labels
kern.geom.label.gptid.enable="0"
kern.geom.label.ufsid.enable="0"
# disable legacy device mappings (ada->ad)
kern.cam.ada.legacy_aliases="0"
## mandatory kernel modules (REQUIRED)
zfs_load="YES"
geom_uzip_load="YES"
## recommended kernel modules
# ahci (TRIM capable) driver
ahci_load="YES"
# package filter firewall
pf_load="YES"
# asynchronous I/O kernel module
aio_load="YES"
## para-virtualization support
# feel free to disable if this system is not going to be virtualized
virtio_load="YES"
virtio_pci_load="YES"
virtio_blk_load="YES"
virtio_balloon_load="YES"
if_vtnet_load="YES"
## optional kernel modules
# silicon image driver
siis_load="YES"
# mps: MPT Fusion 2 LSI SAS 6Gbps controller driver
# should be enabled in kernel
#mps_load="YES"
# padlock: VIA CPU-accelerated AES engine
#padlock_load="YES"
# aesni: Intel Core AES engine
aesni_load="YES"
# following may be used in the future
#tmpfs_load="YES"
#geom_md_load="YES"
#nullfs_load="YES"
#unionfs_load="YES"
hw.pci.do_power_nodriver="3"
vmxnet3_load="YES"
Setting Value
Installed memory 16 GiB
Usable memory 15.3 GiB
Kernel memory 15.5 GiB (on 64-bit platforms this can exceed your physical RAM)
Maximum kernel memory 307.2 GiB (on 64-bit platforms this must exceed your physical RAM)
Available kernel memory 3.3 GiB
ARC minimum 1.8 GiB ( 11.7% of kernel memory )
ARC maximum 14.5 GiB ( 93.5% of kernel memory )
Voor de rest staat er bij ZFS tuning in de webinterface niets aangevinkt... Bij advanced volgende dingen op YES:
zfs_load
geom_uzip_load
ahci_load
pf_load
aio_load
virtio_load
virtio_pci_load
virtio_blk_load
virtio_balloon_load
if_vtnet_load
siis_load
aesni_load
vmxnet3_load
hw.pci.do_power_nodriver = 3
kern.maxfiles = 950000
kern.maxswzone = 512m
Ik heb ook even mijn ZIL verwijderd en dan een write gedaan vanuit de Ubuntu VM:
bart@Pyro2:~/test$ dd if=/dev/zero of=test.file4 bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 18.8895 s, 5.6 MB/s
bart@Pyro2:~/test$ dd if=/dev/zero of=test.file4 bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 42.4137 s, 2.5 MB/s
Nog erger dus
Correct me if I am wrong, maar deze crontab, zou in principe toch iedere 2 weken op zondag om 1h00 's nachts een scrub moeten starten, of niet?
[root@zfsguru /home/ssh]# crontab -l
0 1 * * sun/2 /sbin/zpool scrub hulk
Ik kwam vandaag aan, en was wat aan het nakijken en zag dat er een scrub was gestart, terwijl die van gisteren 100% zeker voltooid was, dus deze moet automagisch in gang getrapt zijn...
[
Voor 47% gewijzigd door
HyperBart op 02-05-2013 13:07
]
:fill(white):strip_exif()/i/2003943496.jpeg?f=thumbmini)
:strip_exif()/i/1321263566.png?f=thumbmini)
:strip_icc():strip_exif()/u/3454/i486.jpg?f=community)
)
Zit nu al op ruim 500GB, en dat kopiëren duurt helaas eventjes 
/u/102334/avatar_mini.png?f=community){kind=avatar}
:strip_exif()/u/13821/savale.gif?f=community)
:strip_icc():strip_exif()/u/371379/zNcU5.jpg?f=community)
:strip_icc():strip_exif()/u/22092/crop5fa8360e95568_cropped.jpeg?f=community)
:strip_exif()/u/70909/BlueKachina_60x60.gif?f=community)
/u/342733/wtd_s.png?f=community)
/u/1176/crop635f8931b2b68_cropped.png?f=community)
/u/170728/owl.png?f=community)
:strip_exif()/u/26026/snowrabb.gif?f=community)
:strip_exif()/u/49248/DPCkoeienUD.gif?f=community)
/u/231803/ramdisk2.png?f=community)
:strip_icc():strip_exif()/u/286431/crop680f6b95743ca_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/20047/neptunus.jpg?f=community)
:strip_icc():strip_exif()/u/279104/avatar%2520tweakers%25202.jpg?f=community){kind=avatar}
) Enige nadeel is het all-in-one principe, wanneer ik een bios-update of vmware-update doe werkt niets meer in huis. 
. Ik heb een full memory backed disk aangemaakt van 4GB en deze even GPT geformatteerd en aan mijn pool gehangen als ZIL...![[afbeelding]](https://tweakers.net/ext/f/YmRDldDlhwsPpOR9reD3wWja/full.png){kind=link}
![[afbeelding]](https://tweakers.net/ext/f/YFb4omigKyEA4GuHGGHbse39/full.png){kind=link}