ZFS L2ARC drive

[Verwijderd]

Hi,

momenteel heb ik een ZFS z2 raid, met 6 2TB disks totaal. raw 12TB, net 8 TB.
Het systeem draait op Ubuntu-server 14.04, met gebruik van de ubuntu-zfs package.
Alles draait op en Asus P8H67-V MB, met een i5 3.1GHz.

Alles werkt prima, maar mijn systeem is nog niet echt geoptimaliseerd voor ZFS.
Momenteel 4GB, wat te weinig is. De upgrade naar 32GB is besteld.

Verder wil ik een L2ARC implementeren.

Daarvoor heb ik 2 zaken nodig.
Een redelijk snelle SSD.
Een extra controller die AHCI ondersteund. (om de SSD optimaal te gebruiken)
Deze had ik in gedachten: pricewatch: Supermicro AOC-SAS2LP-MV8


Momenteel hangen mijn 6 ZFS disks aan het moederbord, en mijn boot SSD op een Adaptec 1430SA raid controller.

Deze controller (staat gewoon in JBOD mode) ondersteunt geen AHCI.

Doel:
Boot en L2ARC op nieuwe controller, ZFS blijft waar die is.
Gezocht: Een redelijk goedkope multiport SATA/SAS controller die AHCI ondersteund en in linux ondersteund wordt. Helaas kan ik dit in de specs van de diverse firma's nooit vinden.

Hopelijk is dit wat duidelijk. Anders vraag even.

BTW, het is gewoon een hobby projectje, de server wordt gebruikt om HD TV op te nemen (mythtv), en te streamen, en om mijn dvd's en blu-rays te streamen. ZFS: omdat ik ook uit de hobby wat wil leren, het kan vast ook anders, maar daar zoek ik nu niet naar.

alvast bedankt voor advies..

[ Voor 5% gewijzigd door Verwijderd op 22-12-2014 19:40 . Reden: update controller info ]

[funnyname]

ZFS is cool, goede keuze. Ubuntu ondersteund vrij veel hardware tegenwoordig, je komt niet zo snel meer in de (driver) problemen. Deze kaart wordt algemeen onder Linux ondersteund, er worden onder ubuntu raid problemen gemeld (met deze chipset is RAID schijnbaar ook mogelijk..), maar geen problemen met AHCI voor zover ik kan vinden.

Voor de L2ARC (en mogelijk SLOG), zou ik een Intel of Crusial SSD nemen, vanwege betrouwbaarheid.
Kijk hier even. Voor meer info kun je nog verder inlezen.

(Ga je over CIFS/SMB/NFS de bestanden benaderen, dan heeft een cache SSD weinig zin, omdat het netwerk dan een veel grotere bottleneck is..)

[Ultraman]

Voor streaming is een L2ARC geheel nutteloos, dat weet je toch he?

Voor puur L2ARC voldoet vrijwel elke SSD voor zover mij bekend is. Het is puur een cache.
Mocht je ook gebruik willen maken van SLOG dan is het aan te raden een SSD te pakken welke voorzien is van supercaps. Condensatoren die zorgen dat de SSD een uitstaande write kan afmaken in geval van stroomuitval, om de consistentie te bewaren.

[ Voor 71% gewijzigd door Ultraman op 22-12-2014 21:46 ]

[Verwijderd]

funnyname schreef op maandag 22 december 2014 @ 21:42:
(met deze chipset is RAID schijnbaar ook mogelijk..), maar geen problemen met AHCI voor zover ik kan vinden.

De kaart ondersteund alleen JBOD, wat voor mij prima is. Er waren problemen met de support in mvsas, maar de topics daarover zijn van voor 2012, dus mogelijk zijn de problemen opgelost.

(Ga je over CIFS/SMB/NFS de bestanden benaderen, dan heeft een cache SSD weinig zin, omdat het netwerk dan een veel grotere bottleneck is..)

Onder andere, ook worden een aantal disk intensieve dingen direct op de server uitgevoerd, zoals commercial detection, transcoding, etc. Alhoewel dit voor 10 bestanden gelijktijdig gebeurt zit hier geen real-time tijdsdruk achter totdat ik transcoding on the fly ga doen. En de cache zal die niet verbeteren omdat deze processen geen cached data opvragen maar iedere keer nieuwe data.
Netwerk zal maximaal 2Gb/s zijn, weet niet of de bottleneck daar gaat liggen of ergens anders. (clients, efficiëntie van transfer protocol, processor). Momenteel kan mijn Intel Gb kaart bijvoorbeeld geen jumboframes sturen..

[Verwijderd]

Ultraman schreef op maandag 22 december 2014 @ 21:44:
Voor streaming is een L2ARC geheel nutteloos, dat weet je toch he?

Ja :-) zal ook de L1 cache hits eens bekijken wanneer mijn geheugen geïnstalleerd is. Totdat er toevallig dezelfde film naar twee clients gestreamd wordt zal het aantal cachehits teleurstellend zijn.

Voor puur L2ARC voldoet vrijwel elke SSD voor zover mij bekend is. Het is puur een cache.
Mocht je ook gebruik willen maken van SLOG dan is het aan te raden een SSD te pakken welke voorzien is van supercaps. Condensatoren die zorgen dat de SSD een uitstaande write kan afmaken in geval van stroomuitval, om de consistentie te bewaren.

Ik zag nog geen reden om ZIL te gebruiken, helaas bewijst de waarde daarvan zich pas bij power loss, of zie ik dat verkeerd..

[funnyname]

Met ZIL bedoel je SLOG (laat Cipher het maar niet horen) en nee dat heb je niet nodig om stroom problemen op te lossen.
Je SLOG verkort je (synchrone) write log, waardoor je write speed verhoogd wordt. Aangezien Windows standaard zeer weinig synchroon schijnt te schrijven, heeft dit volgens mij alleen zin bij bepaalde type toepassingen. (volgens mij databases, not sure)

Aan de andere kant, een SLOG hoeft maar 4GB groot te zijn, dus waarom zou je het niet doen?

[ Voor 11% gewijzigd door funnyname op 23-12-2014 01:06 ]

[Ultraman]

Verwijderd schreef op dinsdag 23 december 2014 @ 00:21:
Ja :-) zal ook de L1 cache hits eens bekijken wanneer mijn geheugen geïnstalleerd is. Totdat er toevallig dezelfde film naar twee clients gestreamd wordt zal het aantal cachehits teleurstellend zijn.

Juist, en dan zal hij as eerste naar de ARC cache in het RAM gaan. Waar met 32GB vast en zeker een film in past.

Bovendien is twee keer dezelfde film streamen geen enkel probleem voor een setje harddisks. Achter elkaar of tegelijk. Met andere woorden: dat geld kun je denk ik beter in je zak houden.
Mijn machine met 16GB RAM wordt ook voor dergelijke doeleinden gebruikt. De echte working set data die dus vaak gebruikt wordt past daar met gemak in. En van die server maken meerdere personen gebruik om backups naar toe te gooien en media vanaf te consumeren. Dat doet hij met 2 vingers in de neus, en dat is een 3 jaar oude machine met dito disks.

Dus ik zou aanraden om het voorlopig even bij de RAM upgrade te houden. Dat is waarschijnlijk al overkill

Ik zag nog geen reden om ZIL te gebruiken, helaas bewijst de waarde daarvan zich pas bij power loss, of zie ik dat verkeerd..

ZIL (ZFS Intent Log) gebruik je altijd, tenzij je het moedwillig uitschakeld. ZIL is dus altijd aanwezig, en staat zonder Seperate Log devices (SLOG) op een deel van de zpool zelf. Het ZFS Intent Log wordt gebruik synchronous schrijf-transacties te assembleren tot als het ware asynchronous writes opdat ze als volledigere blocks kunnen worden weggeschreven. (Of althans dat is wat ik er van begrepen heb ).
Dit is dus puur voor het versnellen van sync writes. Zoals bijvoorbeeld met databases en NFS mounts nodig kan zijn. De kans is groot dat jij zeer weinig sync writes doet en een SLOG apparaat niets toevoegd.

[Verwijderd]

Dit zijn even de stats bij het transcoden (na een uurtje) van een Blu-ray.
Had gedacht dat met een transcode de pre-fetch hits beter zouden zijn, moet nog eens na-lezen of dat te tunen is. Danwel of dit "expected behaviour" is.


time read miss miss% dmis dm% pmis pm% mmis mm% arcsz c
13:04:52 140 51 36 0 0 51 100 0 0 15G 15G

Transcode draait op de Mac, de source file staat op een SMB share op de zfs. De nieuwe file wordt opgeslagen op de Mac.

[ Voor 6% gewijzigd door Verwijderd op 24-12-2014 13:25 ]