Tiered storage en deduplicatie bsd/unix

[vso]

Wellicht heb je er al van gehoord dat enterprise sized NAS/DAS een 3 thier-ed storage oplossing hebben
dus:
laag 1) ssd
laag 2) sas disks (raid config oid) 15k/10k rpm
laag 3) sata disks (raid config oid) ook wel near-line-sas (7200 rpm ofzo)

Veel accessed data staat op ssd en bv die data die bijna nooit bekeken word staat op laag 3 .. samen met Deduplicatie kan je bv een volledige omgeving (40 servers) wat normaal rustig 4 tot 9 tb zou beslaan op 3 tb kwijt ..
Op http://www.lessfs.com/ vind je TIER en LessFS
en ZFS op Het grote ZFS topic
Nu is mijn uitdaging dat ZFS en Xen(hypervisor zoals ESX en Hyper-V) niet lekker samen werken ... (bsd support is nog niet echt geweldig.
Andere voordeel dat ik kan bedenken is dat mijn RAID volume op SATA disks (niet ssd dus) wat meer kan idle-en wat dus voordeliger is in mijn Stroom verbruik (hopenlijk) Linux en zuinigheid dit zou ideaal combo wezen voor mijn persoonlijke "kill-a-watt" project.. oftewel ben inmiddels van 500w continue gezakt naar ongeveer 160(laag) tot 200w continue (de 40w is gemiddeld extra verbruik van randapparatuur wanneer gebruik van de ene pc)


Zijn er tweakers die ervaring hebben met Thiered storage en deduplicatie op linux (niet ZFS dus) ?

[CAPSLOCK2000]

Ik heb weinig concrete ervaring en ik geloof ook niet dat er heel erg veel beschikbaar is.
Uit je post begrijp ik dat het om een enkele server gaat in een thuissituatie.
Hoeveel schijven en wat voor soort schijven heb jij?

In mijn virtualisatieserver zitten 4 schijven, 1 SSD, 2xSATA RAID1, 1XSATA.
Het OS van de VM's zet ik op de SSD.
1 VM heeft toegang tot de RAID1, als er niks gebeurd worden die uit gezet
1 VM heeft toegang tot de losse sata disk, die gebruik ik voor backups. Als de backups klaar zijn gaat de schijf uit.

Je zou ook nog kunnen kijken naar de "write-behind" stand van mdadm maar ik denk niet dat je daar veel stroom mee gaat sparen.

[vso]

CAPSLOCK2000 schreef op dinsdag 27 november 2012 @ 19:41:
Ik heb weinig concrete ervaring en ik geloof ook niet dat er heel erg veel beschikbaar is.
Uit je post begrijp ik dat het om een enkele server gaat in een thuissituatie.
Hoeveel schijven en wat voor soort schijven heb jij?

In mijn virtualisatieserver zitten 4 schijven, 1 SSD, 2xSATA RAID1, 1XSATA.
Het OS van de VM's zet ik op de SSD.
1 VM heeft toegang tot de RAID1, als er niks gebeurd worden die uit gezet
1 VM heeft toegang tot de losse sata disk, die gebruik ik voor backups. Als de backups klaar zijn gaat de schijf uit.

Je zou ook nog kunnen kijken naar de "write-behind" stand van mdadm maar ik denk niet dat je daar veel stroom mee gaat sparen.

Ik heb 8 schijven 6 in raid 5 en 2 in raid 1 (mirror) ongeveer 5TB data .. totaal. kwa stroom verbruik niet echt handige setup. Maar ja het is wel efficienter dan zelfbouw NAS + esx-i + 2x desktop machines .. dat zit nu allemaal in 1 machine. van ongeveer 800W naar 360W verbruik gezakt, na het tunen van de Debian setup (wat bluetooth + autostart X-windows) zakte dit terug naar ongeveer 300W .. waarvan ongeveer 140W rand appartuur is ..
Dit meet ik met een Watt metertje dat ik gisteren tussen de setup heb gemikt .. en wat geschakelde stopcontacten

Wat ik nu heb is 1 PC met 3x ati GPU (passief gekoelde), 3x ramplank en muis en 5 monitors aangesloten (3 "volledige systemen" + wat vm zonder hardware dedicated meuk)

Maar goed als ik thiered storage (SSD + plain SATA disks) kan inzetten in combo met deduplicatie op block/FileSystem niveau dan hoeft de RAID set (nu nog 6 disks straks hopenlijk 4 disks) alleen nog wakker te worden voor het kijken van die data die ik af en toe nodig heb (films/muziek enzv) ik schat in dat de disks dan idle zullen zijn 50% van de tijd en dus meer besparing op stroom en veel sneller reagerend systeem

[terror538]

Hmmm, ZFS is uitzichzelf al behoorlijk tiered

Dikke cache en meer.

Volgens mij kan je met Xen ook je controller kaart doorpassen naar je besturingssysteem. Dan zou je dus een VM kunnen draaien voor ZFS en dan via ISCSI weer images exporten naar andere os'en Als je gek wilt doen kan je die images ook sparse allocaten en 10TB geven, dan hoef je nooit vanuit je andere guests het filesystem te growen maar moet je wel opletten dat je je zfs pool optijd uitbreid

Gooi die bak daarnaast vol met veel ram en zet er 2 ssd's in en met een beetje geluk zal je zfs host zelden iets met de disks moeten doen.
Dat laatste staat op het lijstje voor mijn ZFS bak, eerst van 8 naar 32g ram zodat ik een grotere in memory ARC heb en ik mijn backups goed kan deduppen en zodra het geld het toelaat 2 ssd's om als zil en l2arc te dienen.

[vso]

terror538 schreef op zondag 02 december 2012 @ 19:20:
Hmmm, ZFS is uitzichzelf al behoorlijk tiered

Dikke cache en meer.

Volgens mij kan je met Xen ook je controller kaart doorpassen naar je besturingssysteem. Dan zou je dus een VM kunnen draaien voor ZFS en dan via ISCSI weer images exporten naar andere os'en Als je gek wilt doen kan je die images ook sparse allocaten en 10TB geven, dan hoef je nooit vanuit je andere guests het filesystem te growen maar moet je wel opletten dat je je zfs pool optijd uitbreid

Gooi die bak daarnaast vol met veel ram en zet er 2 ssd's in en met een beetje geluk zal je zfs host zelden iets met de disks moeten doen.
Dat laatste staat op het lijstje voor mijn ZFS bak, eerst van 8 naar 32g ram zodat ik een grotere in memory ARC heb en ik mijn backups goed kan deduppen en zodra het geld het toelaat 2 ssd's om als zil en l2arc te dienen.

1 klein nadeel, zfs + Xen (met PCI passthrough enabled) zijn niet echt verenigbaar.

Tenzij je ZFS in fuse wil gaan draaien (IMHO niet echt handig)de problemen zijn dat de ZFS en linux licenties niet verrenigbaar zijn. Xen en BSD staat nog erg in de kinderschoenen. (dit was ook mijn plan echter niet gelukt en ben uitgeweken naar Debian)
Dan moet ik 2 machines gaan hebben (1hypervisor en 1 ZFS) wat dus het hele doel voorbijstreeft .. (minder machines)

[Goderic]

vso schreef op maandag 03 december 2012 @ 11:58:
[...]

1 klein nadeel, zfs + Xen (met PCI passthrough enabled) zijn niet echt verenigbaar.

Tenzij je ZFS in fuse wil gaan draaien (IMHO niet echt handig)de problemen zijn dat de ZFS en linux licenties niet verrenigbaar zijn. Xen en BSD staat nog erg in de kinderschoenen. (dit was ook mijn plan echter niet gelukt en ben uitgeweken naar Debian)
Dan moet ik 2 machines gaan hebben (1hypervisor en 1 ZFS) wat dus het hele doel voorbijstreeft .. (minder machines)

ZFS kun je tegenwoordig ook via de ZFS on Linux kernel module gebruiken. Zolang je het zelf compileert zijn de GPL en de CDDL perfect verenigbaar. Ubuntu heeft zelfs een ppa die dat automatisch voor jou doet.
Stabiliteit en performance kan ik niet zoveel over zeggen, het is in ieder geval een stuk beter dan FUSE.

[vso]

Goderic schreef op maandag 03 december 2012 @ 12:42:
[...]

ZFS kun je tegenwoordig ook via de ZFS on Linux kernel module gebruiken. Zolang je het zelf compileert zijn de GPL en de CDDL perfect verenigbaar. Ubuntu heeft zelfs een ppa die dat automatisch voor jou doet.
Stabiliteit en performance kan ik niet zoveel over zeggen, het is in ieder geval een stuk beter dan FUSE.

Toevallig had ik deze indertijd ook gezien, nadeel is dat de versie(s) geloof ik niet zo snel vooruit gaan als onder FreeBSD ..

Kwa stabiliteit en performance etc kies ik liever voor een FreeBSD oplossing vs linux. Maar het is even wachten totdat Xen op BSD netjes draait

[Goderic]

vso schreef op maandag 03 december 2012 @ 15:33:
[...]

Toevallig had ik deze indertijd ook gezien, nadeel is dat de versie(s) geloof ik niet zo snel vooruit gaan als onder FreeBSD ..

Kwa stabiliteit en performance etc kies ik liever voor een FreeBSD oplossing vs linux. Maar het is even wachten totdat Xen op BSD netjes draait

ZFS zit al een tijdje op versie 28. FreeBSD STABLE zit op diezelfde versie, 9.2 zal wel feature flags hebben (de open source versie van ZFS gaat niet meer met versies werken). FreeBSD loop dus iets voor op ZFS on Linux (Zol), maar over het algemeen zijn die nieuwe features niet zo erg interessant.

Wat stabiliteit bertreft: ZoL is er nu en het is al vrij stabiel. Xen dom0 op FreeBSD bestaat nog niet, tegen dat dat dan ook stabiel is ben je makkelijk een paar jaar verder en is er ook verder aan ZoL gewerkt. Dan zou ik toch eerder naar Linux kijken.

[vso]

Goderic schreef op maandag 03 december 2012 @ 19:31:
[...]

ZFS zit al een tijdje op versie 28. FreeBSD STABLE zit op diezelfde versie, 9.2 zal wel feature flags hebben (de open source versie van ZFS gaat niet meer met versies werken). FreeBSD loop dus iets voor op ZFS on Linux (Zol), maar over het algemeen zijn die nieuwe features niet zo erg interessant.

Wat stabiliteit bertreft: ZoL is er nu en het is al vrij stabiel. Xen dom0 op FreeBSD bestaat nog niet, tegen dat dat dan ook stabiel is ben je makkelijk een paar jaar verder en is er ook verder aan ZoL gewerkt. Dan zou ik toch eerder naar Linux kijken.

Er is helaas geen andere keuze dan linux voor de rest Ik zie alleen maar FUSE achtive meuk betreffende Tier-ed storage en dedupe.