FreeNAS/ZFS disaster

[Lunacy]

Hallo Allemaal,

Ik heb onlangs mijn storage server geupgrade, ik had tot nu toe een linux bakje met software raid.
Na meer dan 6 jaar dienst te hebben gedaan was het tijd voor wat nieuws leek me.
Wou al lang wat ervaring op doen met ZFS dus die keuze was al gauw gemaakt, dan moest ik nog kiezen tussen ZFSonLinux, Freenas, Nexenta of ZFSguru.
Ondanks dat ik niet veel ervaring heb met freebsd sprak Freenas me het meeste aan.
Mijn storage server heb ik als volgt samen gesteld:

• Supermicro A1SAM-2550F
• 32GB ram - Kingston 8GB Module - DDR3L 1600MHz Server Premier
• LSI SAS 9201-16i
• 2 * 500GB Samsung SSD 840
• 2 * 500GB WD Enterprise
• 5 * 3TB WD RED
• Cooler Master 650W power supply (gerecupereed uit oude server)

LSI controller heb ik eerst naar IT mode geflasht.
Leuk bakje dus zou je denken. In eerste instantie had ik de 3TB schijven niet maar had ik de 2TB schijven uit mijn oude server gerecupereerd. Na minder dan een week stond die zpool reeds degraded. Geconcludeerd dat de schijven al defect moeten geweest zijn maar dat de oude server dit niet opgemerkt had. Gelijk dan maar nieuwe schijven gaan halen (de 5 * 3TB WD red)
Ik heb 3 zfs volumes aangemaakt, ééntje met de 2 SSD's als vm storage volume dat ik via ISCSI door geef naar mijn esxi, 2 * 500GB voor incoming files en één groot storage volume voor mijn media.
Dit alles heeft meer dan een maand zonder probleem gedraait maar dan stond plots het VM volume degraded. Meer fouten dan dat die kon oplossen. Leek me sterk dus volume opnieuw aangemaakt met zelfde SSD's. Heeft weer oké gedraait voor een week en dan plots weer errors. Na een reboot was alles weer opgelost wat tot op de dag van vandaag nog steeds het geval lijkt te zijn.
Weer een week later de pool met de 3TB's plots degraded. (raidz1)
Ook weer teveel errors om nog te recoveren.
Leek me weer sterk dus geprobeerd om volume te resilveren met dezelfde disks maar dat is hélaas niet gelukt, echter is er weer een andere disks in dezelfde pool die met error's komt.
Volume staat atm nog steeds degraded.
Ik weet eigenlijk geen raad meer. Lijkt me bijna onmogelijk dal al die hdd's defect zouden zijn.
Verder heb ik nog opgemerkt dat als ik de console open gooide die dit stond te spammen:

code:

Jan 23 14:19:00 freenas kernel: (da6:mps0:0:12:0): READ(10). CDB: 28 00 96 9e 87 78 00 01 00 00 length 131072 SMID 1018 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:00 freenas kernel: (da6:mps0:0:12:0): READ(10). CDB: 28 00 96 9e 86 78 00 01 00 00 
Jan 23 14:19:00 freenas kernel: (da6:mps0:0:12:0): CAM status: SCSI Status Error
Jan 23 14:19:00 freenas kernel: (da6:mps0:0:12:0): SCSI status: Check Condition
Jan 23 14:19:00 freenas kernel: (da6:mps0:0:12:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:00 freenas kernel: (da6:mps0:0:12:0): Retrying command (per sense data)
Jan 23 14:19:00 freenas kernel: (da7:mps0:0:13:0): READ(10). CDB: 28 00 96 9e 87 78 00 01 00 00 length 131072 SMID 720 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:00 freenas kernel: (da5:mps0:0:11:0): READ(10). CDB: 28 00 96 9e 87 78 00 01 00 00 length 131072 SMID 862 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:00 freenas kernel: (da7:mps0:0:13:0): READ(10). CDB: 28 00 96 9e 86 78 00 01 00 00 
Jan 23 14:19:00 freenas kernel: (da7:mps0:0:13:0): CAM status: SCSI Status Error
Jan 23 14:19:00 freenas kernel: (da7:mps0:0:13:0): SCSI status: Check Condition
Jan 23 14:19:00 freenas kernel: (da7:mps0:0:13:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:00 freenas kernel: (da7:mps0:0:13:0): Retrying command (per sense data)
Jan 23 14:19:00 freenas kernel: (da5:mps0:0:11:0): READ(10). CDB: 28 00 96 9e 86 78 00 01 00 00 
Jan 23 14:19:00 freenas kernel: (da5:mps0:0:11:0): CAM status: SCSI Status Error
Jan 23 14:19:00 freenas kernel: (da5:mps0:0:11:0): SCSI status: Check Condition
Jan 23 14:19:00 freenas kernel: (da5:mps0:0:11:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:00 freenas kernel: (da5:mps0:0:11:0): Retrying command (per sense data)
Jan 23 14:19:00 freenas kernel: (da8:mps0:0:14:0): READ(10). CDB: 28 00 96 9e 86 70 00 01 00 00 
Jan 23 14:19:00 freenas kernel: (da8:mps0:0:14:0): CAM status: SCSI Status Error
Jan 23 14:19:00 freenas kernel: (da8:mps0:0:14:0): SCSI status: Check Condition
Jan 23 14:19:00 freenas kernel: (da8:mps0:0:14:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:00 freenas kernel: (da8:mps0:0:14:0): Retrying command (per sense data)
Jan 23 14:19:01 freenas kernel: (da5:mps0:0:11:0): READ(10). CDB: 28 00 96 9e 8e b8 00 01 00 00 length 131072 SMID 558 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:01 freenas kernel: (da5:mps0:0:11:0): READ(10). CDB: 28 00 96 9e 8d b8 00 01 00 00 
Jan 23 14:19:01 freenas kernel: (da5:mps0:0:11:0): CAM status: SCSI Status Error
Jan 23 14:19:01 freenas kernel: (da5:mps0:0:11:0): SCSI status: Check Condition
Jan 23 14:19:01 freenas kernel: (da5:mps0:0:11:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:01 freenas kernel: (da5:mps0:0:11:0): Retrying command (per sense data)
Jan 23 14:19:01 freenas kernel: (da6:mps0:0:12:0): READ(10). CDB: 28 00 96 9e 8e b8 00 01 00 00 length 131072 SMID 126 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:01 freenas kernel: (da6:mps0:0:12:0): READ(10). CDB: 28 00 96 9e 8d b8 00 01 00 00 
Jan 23 14:19:01 freenas kernel: (da6:mps0:0:12:0): CAM status: SCSI Status Error
Jan 23 14:19:01 freenas kernel: (da6:mps0:0:12:0): SCSI status: Check Condition
Jan 23 14:19:01 freenas kernel: (da6:mps0:0:12:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:01 freenas kernel: (da6:mps0:0:12:0): Retrying command (per sense data)
Jan 23 14:19:01 freenas kernel: (da7:mps0:0:13:0): READ(10). CDB: 28 00 96 9e 8e b8 00 01 00 00 length 131072 SMID 249 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:01 freenas kernel: (da7:mps0:0:13:0): READ(10). CDB: 28 00 96 9e 8d b8 00 01 00 00 
Jan 23 14:19:01 freenas kernel: (da7:mps0:0:13:0): CAM status: SCSI Status Error
Jan 23 14:19:01 freenas kernel: (da7:mps0:0:13:0): SCSI status: Check Condition
Jan 23 14:19:01 freenas kernel: (da7:mps0:0:13:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:01 freenas kernel: (da7:mps0:0:13:0): Retrying command (per sense data)
Jan 23 14:19:01 freenas kernel: (da8:mps0:0:14:0): READ(10). CDB: 28 00 96 9e 8e b0 00 01 00 00 length 131072 SMID 888 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:01 freenas kernel: (da8:mps0:0:14:0): READ(10). CDB: 28 00 96 9e 8d b0 00 01 00 00 
Jan 23 14:19:01 freenas kernel: (da8:mps0:0:14:0): CAM status: SCSI Status Error
Jan 23 14:19:01 freenas kernel: (da8:mps0:0:14:0): SCSI status: Check Condition
Jan 23 14:19:01 freenas kernel: (da8:mps0:0:14:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:01 freenas kernel: (da8:mps0:0:14:0): Retrying command (per sense data)
Jan 23 14:19:02 freenas kernel: (da7:mps0:0:13:0): READ(10). CDB: 28 00 96 9e 94 78 00 00 40 00 length 32768 SMID 806 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:02 freenas kernel: (da7:mps0:0:13:0): READ(10). CDB: 28 00 96 9e 94 38 00 00 40 00 length 32768 SMID 139 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:02 freenas kernel: (da5:mps0:0:11:0): READ(10). CDB: 28 00 96 9e 94 78 00 00 40 00 length 32768 SMID 290 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:02 freenas kernel: (da5:mps0:0:11:0): READ(10). CDB: 28 00 96 9e 94 38 00 00 40 00 length 32768 SMID 631 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:02 freenas kernel: (da7:mps0:0:13:0): READ(10). CDB: 28 00 96 9e 93 f8 00 00 40 00 
Jan 23 14:19:02 freenas kernel: (da7:mps0:0:13:0): CAM status: SCSI Status Error
Jan 23 14:19:02 freenas kernel: (da7:mps0:0:13:0): SCSI status: Check Condition
Jan 23 14:19:02 freenas kernel: (da7:mps0:0:13:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:02 freenas kernel: (da7:mps0:0:13:0): Retrying command (per sense data)
Jan 23 14:19:02 freenas kernel: (da5:mps0:0:11:0): READ(10). CDB: 28 00 96 9e 93 f8 00 00 40 00 
Jan 23 14:19:02 freenas kernel: (da5:mps0:0:11:0): CAM status: SCSI Status Error
Jan 23 14:19:02 freenas kernel: (da5:mps0:0:11:0): SCSI status: Check Condition
Jan 23 14:19:02 freenas kernel: (da5:mps0:0:11:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:02 freenas kernel: (da5:mps0:0:11:0): Retrying command (per sense data)
Jan 23 14:19:02 freenas kernel: (da6:mps0:0:12:0): READ(10). CDB: 28 00 96 9e 94 78 00 00 40 00 length 32768 SMID 141 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:02 freenas kernel: (da6:mps0:0:12:0): READ(10). CDB: 28 00 96 9e 94 38 00 00 40 00 length 32768 SMID 689 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:02 freenas kernel: (da8:mps0:0:14:0): READ(10). CDB: 28 00 96 9e 94 70 00 00 40 00 length 32768 SMID 893 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:02 freenas kernel: (da8:mps0:0:14:0): READ(10). CDB: 28 00 96 9e 94 30 00 00 40 00 length 32768 SMID 987 terminated ioc 804b scsi 0 state 0 xfer 0
Jan 23 14:19:02 freenas kernel: (da6:mps0:0:12:0): READ(10). CDB: 28 00 96 9e 93 f8 00 00 40 00 
Jan 23 14:19:02 freenas kernel: (da6:mps0:0:12:0): CAM status: SCSI Status Error
Jan 23 14:19:02 freenas kernel: (da6:mps0:0:12:0): SCSI status: Check Condition
Jan 23 14:19:02 freenas kernel: (da6:mps0:0:12:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:02 freenas kernel: (da6:mps0:0:12:0): Retrying command (per sense data)
Jan 23 14:19:02 freenas kernel: (da8:mps0:0:14:0): READ(10). CDB: 28 00 96 9e 93 f0 00 00 40 00 
Jan 23 14:19:02 freenas kernel: (da8:mps0:0:14:0): CAM status: SCSI Status Error
Jan 23 14:19:02 freenas kernel: (da8:mps0:0:14:0): SCSI status: Check Condition
Jan 23 14:19:02 freenas kernel: (da8:mps0:0:14:0): SCSI sense: ABORTED COMMAND asc:47,3 (Information unit iuCRC error detected)
Jan 23 14:19:02 freenas kernel: (da8:mps0:0:14:0): Retrying command (per sense data)
Jan 23 14:19:22 freenas smbd[74287]:   STATUS=daemon 'smbd' finished starting up and ready to serve connectionsmatchname: host name/name mismatch: 192.168.5.102 != (NULL)
Jan 23 14:19:22 freenas smbd[74287]: [2015/01/23 14:19:22.726617,  0] ../source3/lib/util_sock.c:1199(get_remote_hostname)
Jan 23 14:19:22 freenas smbd[74287]:   matchname failed on 192.168.5.102

Aangezien ik flink wat geïnvesteerd had was dit het laatste waarop ik gehoopt had. Heb zelf geen idee wat er mis kan zijn. Sata kabel lijkt me sterk aangezien het fenomeen zich dus al op meerdere disks heeft voorgedaan. Voeding mss? LSI kaart defect?
Hopelijk kunnen jullie me verder helpen uitzoeken wat er nu precies mis is.
Alvast bedankt!

[syl765]

En juist de sata kabel kan wel eens het probleem zijn aangezien deze juist alle disks verbind met de controller.

Maar wat meer info kan geen kwaad.
Welke versie gebruik je nu van de IT firm ware. Ik geloof dat 20 wel wat problemen kan geven waar 19 gewoon goed werkt.

[Lunacy]

Inderdaad dacht ik eerst ook, het zijn van die 1-to-4 fanout cables maar dan zouden er al minstens twee van die kabels stuk moeten zijn wat het minder waarschijnlijk maakt lijkt me.

Ik gebruik idd de P20 firmware, zou dat het probleem kunnen zijn?

[rikadoo]

Zou idd even firmware P19 flashen, heb hier en daar idd al gelezen dan P20 errors en vage klachten geeft. Zodra je dat gedaan hebt resilveren en kijken wat er dan gebeurd.

[Lunacy]

Hmh, heb even gegoogled en ziet er idd hoopvol uit
Ik ga het proberen en laat nog weten wat het resultaat is!

[Lunacy]

So far so good!
Heb em geflasht naar de P19 en zonder problemen kunnen resilveren.
Lijkt stabiel te zijn nu, super bedankt allemaal!

[syl765]

Het kan misschien geen kwaad dit even te melden op het freenas forum of een bug rapport.
Hoe meer meldingen Hoe sneller er misschien iets aan gedaan word.

Ik kwam dit ook nog tegen.
https://forums.freenas.or...9211-8i-hw-support.26701/

Het lijkt erop dat freenas een melding geeft over de driver versie.
Tevens is het dus verstandig driver versie en firmware gelijk te houden.

[ Voor 51% gewijzigd door syl765 op 25-01-2015 19:57 ]

[Lunacy]

Als ik die melding had gehad was het waarschijnlijk nooit zover gekomen ..
De p16 is overings wel niet meer te downloaden van de lsi support pagina's.
Zal er iig melding van maken, bedankt voor de link!

[Proc]

Lunacy schreef op zondag 25 januari 2015 @ 22:54:
Als ik die melding had gehad was het waarschijnlijk nooit zover gekomen ..
De p16 is overings wel niet meer te downloaden van de lsi support pagina's.
Zal er iig melding van maken, bedankt voor de link!

De P16 firmware is WEL te downloaden, maar de lui bij LSI hebben kennelijk hun best gedaan om het lastig vindbaar te maken.

Ga naar de volgende URL: http://www.lsi.com/suppor...-results.aspx?keyword=P16

(dit is de LSI support URL waarmee je files voor de 9201-16i kunt vinden)

Ga vervolgens naar het subkopje firmware. Als je daar bent zie je een linkje net onder firmware staan met "current"aan de linkerkant en "archived" aan de rechterkant. Klik op archived en dan komt o.a. P16 beschikbaar. Degene die je voor de huidige FreeNAS 9.3 moet hebben is P16.

[Lunacy]

Aha idd, bedankt voor de tip!