:fill(white):strip_exif()/i/2003943496.jpeg?f=thumbmini)
:strip_exif()/i/1321263566.png?f=thumbmini)
:strip_exif()/u/70909/BlueKachina_60x60.gif?f=community)
Even niets...
:strip_icc():strip_exif()/u/22092/crop5fa8360e95568_cropped.jpeg?f=community)
| Last.fm | "Mr Bent liked counting. You could trust numbers, except perhaps for pi, but he was working on that in his spare time and it was bound to give in sooner or later." -Terry Pratchett
:strip_icc():strip_exif()/u/286431/crop680f6b95743ca_cropped.jpg?f=community)
OK, top, dan ga ik die bestellen. Dan heb ik hem morgen binnen (hoop ik) en is m'n pool tenminste niet meer degraded.
Sequentieel maakt het inderdaad überhaupt niets uit, maar ik vroeg me dus vooral af wat de performance hit in de random reads/writes was.
Hogere write performance en netto meer opslagruimte (dus goedkoper). Met mirroring ben je namelijk 50% van je schijven kwijt aan redundancy, bij RAID-Z1 met 3 schijven maar 33,3%.
Daarnaast draai ik nu dus ook al RAID-Z1 (nu dus degraded) en was het plan om ivm geld de 3 schijven geleidelijk te vervangen door nieuwe exemplaren.
De eerste bestel ik vandaag, zodat m'n pool morgen (als het goed is) tenminste niet meer degraded is.
Over een paar maanden koop ik de overige 2 exemplaren wel en dan kan ik m'n pool expanden.
Als ik over zou gaan naar mirroring zou dat niet kunnen
[ Voor 5% gewijzigd door Compizfox op 19-03-2013 18:45 ]
Gewoon een heel grote verzameling snoertjes
Even in een nieuw bericht, voor de overzichtelijkheid:
Enige mogelijkheid die ik zie is dat er toch een vorm van RAM corruptie is ontstaan. Heb je al scrub gestart en wat gebeurt er dan met de corruptie? Ennuhh.. niet zomaar op knopjes drukken hè.
Tijd om KVM + FreeBSD + ZFS als incompatible of experimenteel aan te duiden? Want dit probleem had je niet met ESXi op dezelfde hardware, correct?
Enige mogelijkheid die ik zie is dat er toch een vorm van RAM corruptie is ontstaan. Heb je al scrub gestart en wat gebeurt er dan met de corruptie? Ennuhh.. niet zomaar op knopjes drukken hè.
Wat doen jullie toch met jullie servers?
Dat betekent dus 1,5 core gemiddeld over de laatste 60 seconden; althans als je dat ziet in ZFSguru op de status pagina. Dat is gewoon de average load van de laatste minuut maal honderd. 150% is dus niet heel hoog ofzo. Je kunt het met top -P in een terminal beter zien. Dan zie je ook de interrupt usage bijvoorbeeld.:
Wel had ik 150% CPU gebruik
Kun je de output van 'ifconfig' eens geven? Ik heb hetzelfde bord en dat werkt prima. Heb je DHCP op je netwerk?:
Blijkt aan de pc te liggen waar ik in eerste instantie de bootable usb heb gemaakt. USB aansluiting werkt niet naar behoren.
Nu in de server en hij boot iig op
Maar hij vind alleen geen ip adres. Staat http://0.0.0.0 (loop)
Het is bedraad GB netwerk en ik heb het volgende moederbord.
Ja, maar ik durf echt geen schuldige aan te wijzen, want ik kan echt NERGENS een foutmelding vinden. Enige wat ik kan verzinnen is dat het met tijd (of clockskew voor de nerds) te maken heeft, en dat ZFS zijn checksums berekend afhankelijk van tijd ofzo.:
Even in een nieuw bericht, voor de overzichtelijkheid:
[...]
Tijd om KVM + FreeBSD + ZFS als incompatible of experimenteel aan te duiden? Want dit probleem had je niet met ESXi op dezelfde hardware, correct?
Enige mogelijkheid die ik zie is dat er toch een vorm van RAM corruptie is ontstaan. Heb je al scrub gestart en wat gebeurt er dan met de corruptie? Ennuhh.. niet zomaar op knopjes drukken hè.
Verder kan ik NIETS verzinnen...
Overigens ben ik niet de enige die onder KVM draait hoor, er zijn al anderen die het wel gewoon werkend hebben... Misschien doe ik wel iets verkeerd...
Wat ik ABSOLUUT niet begrijp, is hoe oude files corrupt kunnen raken.
Ik kan er echt met geen mogelijkheid bij dat ik nu dus corrupte files heb van wel een jaar oud. Die files heb ik gewoon niet eens gelezen... Het is dus uberhaupt vreemd dat ZFS ziet dat ze corrupt zijn zonder dat er een disk failure of iets geweest is.
(nu met een scrub heb ik 6.5G kaduuk, in 83 files...)
EDIT:
hmm, ik druk net op enter in mijn VM, en ik krijg ineens:
vm_fault: pager read error, pid 19989 (smbd) vm_fault: pager read error, pid 21203 (smbd)
Toch maar even memtesten...
[ Voor 31% gewijzigd door FireDrunk op 19-03-2013 20:02 ]
Even niets...
Enige wat ik ook nog kan verzinnen is dat ik onder KVM mijn CPU type doorgeef aan de VM (SandyBridge omdat IvyBridge nog niet 100% gesupport is in het lijstje staat...). Dit zorgt er dus ook voor dat de Hardware matige AES instructie zichtbaar is in de VM.
Misschien hebben ze bij Intel of KVM wel zitten slapen en die instructie niet VT-x proof gemaakt... Maar dat is allemaal far fetched...
(memtest loopt, nog geen fouten).
WTF, ik zie net dat mijn ram sowieso verkeerd zit
Het draait op 1333Mhz cas 6-6-6-20 ipv 1600Mhz 10-10-10-27, en in Single channel mode
En fixed
Woopsie
Misschien hebben ze bij Intel of KVM wel zitten slapen en die instructie niet VT-x proof gemaakt... Maar dat is allemaal far fetched...
(memtest loopt, nog geen fouten).
WTF, ik zie net dat mijn ram sowieso verkeerd zit
Het draait op 1333Mhz cas 6-6-6-20 ipv 1600Mhz 10-10-10-27, en in Single channel mode
En fixed
Woopsie
[ Voor 19% gewijzigd door FireDrunk op 19-03-2013 20:23 ]
Even niets...
:strip_icc():strip_exif()/u/371379/zNcU5.jpg?f=community)
Staat ergens verborgen in de bios. Ik had een tijdje terug precies het zelfde. De oplossing van CiPHER lost het direct op:
[...]
OK ga ik uitschakelen!
En rommelen met ZFSGURU!
Tweedehands HDDs erin pleuren. Dat ga ik dus vanaf nu nooit meer doen.:
[...]
Wat doen jullie toch met jullie servers?
Gewoon een heel grote verzameling snoertjes
/u/170728/owl.png?f=community)
Nou nou
, ik heb hier zelf een setje Hitachi Deskstars tweedehands overgekocht. Tot nu toe *klopt af* nog geen problemen gehad... Alles kan idd zowat kapot gaan. Wat voor type had je? Vandaag had ik een klant aan de lijn die zijn DPM-backups naar een Thecus NAS deed van 7 x 2TB. Eentje was er uit geflikkerd wegens SMART errors, en tijdens de rebuild waren er nog 2 die moeilijk deden (ik vermoed een URE) en dat was dan al met RAID6 en WD Black RE schijven... Om maar even aan te tonen dat nieuwkoop ook geen garantie is op eeuwig blijvend werkend. Vaak heeft het te maken met een batch waarvan de disks die er in zaten hetzelfde proces hebben meegemaakt en bijgevolg dus ook heel dicht op elkaar falen...Doet er mij aan denken dat ik ECHT nog eens een backupje extra moet trekken...
Wat dat betreft had ik het volgende idee:
Ik heb 5 x 3TB als pool "hulk" in RAIDZ en 2 x 2TB in mirror als pool "SPIEGELTJE". Onder hulk heb ik voor iedere share een filesystem: Bart, Documenten, Video, Beeldmateriaal Gezin, Muziek etc...
Uiteindelijk is de own made data alleen van belang. Dus wou ik die senden/receiven met snapshots naar de pool SPIEGELTJE. Bedoeling is dan om de mirror het merendeel van de tijd degraded te laten draaien en regelmatig de tweede disk er eens terug in te steken en een resilver van de mirror te doen...
Ik heb me wat ingelezen in de snapshots en zfs send receive, op zich heel leuk met optie -i , maar ik ga alleen wat intelligentie moeten inbouwen dat hij altijd de naam van de voorlaatste en laatste snapshot ergens wegzet om met de optie -i altijd netjes te syncen naar SPIEGELTJE, en daar wringt het nog wat
. Mijn kennis van scripting onder UNIX zit weer HEEL ver weg
Samsung HD753LJ's, 3x. Er zijn ondertussen al 2 van defect gegaan, waarvan ik er 1 heb vervangen door een andere (2e handse) van hetzelfde type.:
[...]
[...]
Nou nou
Dat is iets anders. Als een RAID-controller een HDD (of meer) eruit tieft tijdens een rebuild, ben je fucked, maar is dat op zich geen defecte schijf. Die schijf zal namelijk vast geen fysieke schade hebben, los van die URE.
UREs komen namelijk tegenwoordig nou eenmaal veel voor en zijn dus te beschouwen als "normaal". Dat hardware-RAID5 hier niet mee om kan gaan laat zien dat het een gedateerde techniek is. Maar daarom gebruik ik juist ZFS
De eerste schijf (paar maanden geleden) die defect raakte, had een heleboel bad sectors (iets van 2000 dacht ik), en dat werden er rap meer. Die was aan het overlijden dus, en heb ik daarom vervangen.
De schijf die vandaag is overleden kapte er plotseling mee met een hele hoop ATA timeouts en read errors. Toen ik even IRL een kijkje nam bij de servert in kwestie hoorde ik dan ook een hoop gekke geluiden en gekraak. Lijkt me obvious: Die schijf is ook fysiek defect.
[ Voor 6% gewijzigd door Compizfox op 20-03-2013 00:14 ]
Gewoon een heel grote verzameling snoertjes
Uiteraard ben je relatief gezien meer ruimte kwijt, maar je aanschafkosten zijn lager (2x WD20EZRX kost €168,- inclusief verzenden, 3x WD10EZRX kost €178,- inclusief verzenden) en het verbruik zal ook lager zijn.
Qua write performance lijk je wel gelijk te hebben, wel tegen mijn verwachting in, overigens.
. Bij de benchmarks die ik heb kunnen vinden vind ik het wel raar dat mirror slechter scoort dan single disk. Zoals aangegeven in die benchmark: aan de RandomWrite benchmarks in die test heb je niets, die is gelimiteerd door de CPU.Ik zie wel een upgrade- pad. Maak een mirror van de (degraded) RAID-Z array en je nieuwe disk en vervang later die RAID-Z array voor een nieuwe disk. Klaar.Daarnaast draai ik nu dus ook al RAID-Z1 (nu dus degraded) en was het plan om ivm geld de 3 schijven geleidelijk te vervangen door nieuwe exemplaren.
De eerste bestel ik vandaag, zodat m'n pool morgen (als het goed is) tenminste niet meer degraded is.
Over een paar maanden koop ik de overige 2 exemplaren wel en dan kan ik m'n pool expanden.
Als ik over zou gaan naar mirroring zou dat niet kunnen
Als je later toch weer een RAID-Z array wilt draaien mik je één van die schijven uit je mirror, maak je een nieuwe (in eerste instantie) degraded RAID-Z array aan, kopiëer je alle data over en voeg je de laatst overgebleven schijf uit je mirror toe aan de array. Voorbeeldje van een tutorial. Oke, dit is voor FreeNAS, maar het ging me er even om om de stappen te laten zien.
[ Voor 10% gewijzigd door Jaap-Jan op 20-03-2013 00:58 ]
| Last.fm | "Mr Bent liked counting. You could trust numbers, except perhaps for pi, but he was working on that in his spare time and it was bound to give in sooner or later." -Terry Pratchett
Ja, maar met 2x WD20EZRX in mirror heb ik netto maar 1 TB opslagruimte (50% kwijt), en met 3x in RAID-Z1 heb ik 2 TB (33,3% kwijt).
Bij mirroring zou je write-snelheid even hoog moeten zijn als ie zou zijn met 1 schijf. Met RAID-Z1 is het 2x zo snel (3 schijven tegelijk - 1 parity = 2)Qua write performance lijk je wel gelijk te hebben, wel tegen mijn verwachting in, overigens.
Gewoon een heel grote verzameling snoertjes
De WD20EZRX is 2 TB, dus met 2x in mirror houdt je netto 2 TB over. De €/GB van 2TB- schijven zijn veel beter dan die van 1 TB schijven. Die 50% verlies houdt je nog steeds, maar dat verschil zit tussen de oren.
Aha. Sequential write speeds worden dus wel beter, maar random write speeds niet.
| Last.fm | "Mr Bent liked counting. You could trust numbers, except perhaps for pi, but he was working on that in his spare time and it was bound to give in sooner or later." -Terry Pratchett
| Last.fm | "Mr Bent liked counting. You could trust numbers, except perhaps for pi, but he was working on that in his spare time and it was bound to give in sooner or later." -Terry Pratchett
Inderdaad. RAID-Z heeft door zijn RAID3-achtige structuur geen voordeel uit random I/O. Daar staat tegenover dat de random write snelheid even groot is als een enkele disk zonder RAID (net iets langzamer). Dat klinkt misschien niet goed, maar RAID5 is daarintegen juist heel traag met random write (je moet eerst lezen om te kunnen schrijven). Bij RAID-Z is dat niet zo, maar zijn random reads juist weer veel trager dan RAID5.:
Aha. Sequential write speeds worden dus wel beter, maar random write speeds niet.
Dus:
Bij RAID-Z geldt dat per vdev dit de random I/O prestaties biedt van één disk. Dus twee vdevs van elk 10 disks in RAID-Z2 zou dezelfde IOps prestaties moeten hebben als twee disks in RAID0. Om die reden wordt RAID-Z vaak afgeraden in server workloads. Daar valt wat voor te zeggen. Weet wel dat RAID-Z eigenlijk alleen random read als nadeel heeft, en juist dat kun je uitstekend oplossen met goede RAM caching (ARC level 1) en SSD caching (ARC level 2). Netto is RAID-Z dus qua prestaties heel geschikt juist voor ons thuisgebruikers die massaopslag doen maar ook wel wat IOps.
ZFS in Solaris heeft voor metadata de Hybrid allocator geschreven. Die zorgt ervoor dat RAID-Z op sommige momenten even een RAID1 mirror wordt, en de metadata op die manier geschreven wordt. Dit zorgt voor veel snellere IOps bij directory searches enzovoorts, wanneer men geen L2ARC SSD cache heeft. Helaas is dit proprietary en zullen we dus nooit zien in écht ZFS (open source ZFS).
:strip_icc():strip_exif()/u/4824/i.jpeg?f=community)
Ik loop ook telkens tegen checksum errors aan. (met dezelfde combi KVM+ZFSGuru en het via vt-d doorgeven van M1015's).
ZFSGuru geeft geen cable errors.
Ik verdenk toch sterk de combi KVM+FreeBSD+ZFS. Ook zijn disken bij mij soms weg, en zijn ze na een powercycle weer te zien. Het lijkt me sterk dat dat aan de kabels kan liggen.
[ Voor 20% gewijzigd door B2 op 21-03-2013 12:19 ]
Mja, ik begin KVM ook te verdenken... Eigenlijk moet een KVM Developer hier eens naar kijken...
Het liefst een met verstand van ZFS
Het liefst een met verstand van ZFS
Even niets...
Inderdaad. Ik overweeg om het hele virtualisatie verhaal maar te schrappen en ZFSonLinux te gaan gebruiken. Ik heb Linux nodig voor Plex Media Server, vandaar geen native BSD.:
Mja, ik begin KVM ook te verdenken... Eigenlijk moet een KVM Developer hier eens naar kijken...
Het liefst een met verstand van ZFS
Niet voor de levensduur, maar het helpt wel tegen performance degradation als je OS geen TRIM ondersteunt.
Zo dan... Dat zijn flink wat disks
Gewoon een heel grote verzameling snoertjes
Lees je eens in in hoe SSDs werken, dat gaat sneller dan dat ik het hier compleet uit ga zitten leggen
Een SSD weet niet dat een page leeg is als je OS een bestand verwijdert. Het TRIM-commando is bedoeld om dit duidelijk te maken aan de firmware van de SSD, maar als je OS/controller dat niet ondersteunt werkt dat dus niet. Na een tijdje fanatiek gebruik denkt je SSD dan dat de partitie compleet beschreven is, en dan valt er nog weinig meer te doen aan garbage collection...
Gewoon een heel grote verzameling snoertjes
Ik wil eigenlijk mijn "main" pool zo snapshot vrij mogelijk houden op ieder punt in de tijd (met uitzondering wanneer hij natuurlijk aan het senden is naar mijn backup pool).
Mijn idee was dus:
Zoals je kan zien heb ik 2 snapshots van Bart, @1 heb ik naar spiegeltje gestuurd met:
Prima, dan krijg je dat ook te zien zoals hierboven. Maar ik heb daarna een @2 genomen en ik wil die nu terug syncen naar spiegeltje/Bart met behoud van @1 op spiegeltje, dus ik dacht:
Maar ik wil niet overwriten, ik wel net op hulk geen snapshots open (of eentje dan max) en op SPIEGELTJE wil ik ze a volonté opstapelen als backup.
Wat doe ik fout?
Dit is uiteraard op een test systeempje
Mijn idee was dus:
[root@zfsguru /home/ssh]# zfs list -t snapshot NAME USED AVAIL REFER MOUNTPOINT SPIEGELTJE/Bart@1 0 - 31K - hulk/Bart@1 0 - 31K - hulk/Bart@2 0 - 31K -
Zoals je kan zien heb ik 2 snapshots van Bart, @1 heb ik naar spiegeltje gestuurd met:
[root@zfsguru /home/ssh]# zfs send hulk/Bart@1 | zfs receive SPIEGELTJE/Bart@1
Prima, dan krijg je dat ook te zien zoals hierboven. Maar ik heb daarna een @2 genomen en ik wil die nu terug syncen naar spiegeltje/Bart met behoud van @1 op spiegeltje, dus ik dacht:
[root@zfsguru /home/ssh]# zfs send hulk/Bart@3 | zfs recv SPIEGELTJE/Bart@3 cannot receive new filesystem stream: destination 'SPIEGELTJE/Bart' exists must specify -F to overwrite it
Maar ik wil niet overwriten, ik wel net op hulk geen snapshots open (of eentje dan max) en op SPIEGELTJE wil ik ze a volonté opstapelen als backup.
Wat doe ik fout?
Dit is uiteraard op een test systeempje
Ik ga ermee aan de slag! Dacht heb toch 120GB dus deel het op.
Ik ga het als volgt doen
- 40GB L2ARC
- 40GB boot
- 40GB TRIMen
Kijken hoe het bevalt.
Wat vind jij trouwens van het idee van Contagion?
@ilovebrewski Ik zou je 2TB en 1.5TB schijven aan elkaar knopen tot 3.5TB schijven en die dan opnemen in de array (FreeBSD: geom, Linux: mdadm). Dan heb je dus 6x3TB RAID-Z1 (of veiliger: Z2) effectief (want die laatste 0,5 TB is niet de grootste gemene deler van disks,). Netto houdt je dus 15 TB (RAIDZ1 5+1) of 12 TB (RAIDZ2) over.
Een van de wijzen hier nog een ideetje over? CiPHER?:
Ik wil eigenlijk mijn "main" pool zo snapshot vrij mogelijk houden op ieder punt in de tijd (met uitzondering wanneer hij natuurlijk aan het senden is naar mijn backup pool).
Mijn idee was dus:
[root@zfsguru /home/ssh]# zfs list -t snapshot NAME USED AVAIL REFER MOUNTPOINT SPIEGELTJE/Bart@1 0 - 31K - hulk/Bart@1 0 - 31K - hulk/Bart@2 0 - 31K -
Zoals je kan zien heb ik 2 snapshots van Bart, @1 heb ik naar spiegeltje gestuurd met:
[root@zfsguru /home/ssh]# zfs send hulk/Bart@1 | zfs receive SPIEGELTJE/Bart@1
Prima, dan krijg je dat ook te zien zoals hierboven. Maar ik heb daarna een @2 genomen en ik wil die nu terug syncen naar spiegeltje/Bart met behoud van @1 op spiegeltje, dus ik dacht:
[root@zfsguru /home/ssh]# zfs send hulk/Bart@3 | zfs recv SPIEGELTJE/Bart@3 cannot receive new filesystem stream: destination 'SPIEGELTJE/Bart' exists must specify -F to overwrite it
Maar ik wil niet overwriten, ik wel net op hulk geen snapshots open (of eentje dan max) en op SPIEGELTJE wil ik ze a volonté opstapelen als backup.
Wat doe ik fout?
Dit is uiteraard op een test systeempje
Ok, de kogel is door de kerk (of door de storage, hoe je het ook wil zien).
KVM is niet stabiel genoeg, en ik ga het verwijderen. Ik kan niet vinden waarom, maar ik heb om onverklaarbare wijze checksum errors.
Ik ga weer terug naar FreeBSD native draaien, met een Ubuntu VM in VirtualBox.
Helaas kan ik dan wat minder testen en spelen met VM's aangezien VirtualBox daar niet echt geschikt voor is, maar dat neem ik dan maar voor lief. Ik heb nog een 1U Opteron bakje liggen welke daar wel goed geschikt voor is, dus dan moet ik die maar aansluiten.
KVM is exit
KVM is niet stabiel genoeg, en ik ga het verwijderen. Ik kan niet vinden waarom, maar ik heb om onverklaarbare wijze checksum errors.
Ik ga weer terug naar FreeBSD native draaien, met een Ubuntu VM in VirtualBox.
Helaas kan ik dan wat minder testen en spelen met VM's aangezien VirtualBox daar niet echt geschikt voor is, maar dat neem ik dan maar voor lief. Ik heb nog een 1U Opteron bakje liggen welke daar wel goed geschikt voor is, dus dan moet ik die maar aansluiten.
KVM is exit
Even niets...
Laat dat nou net gisteren in de current zijn toegevoegd (voor de l2arc) cq verbeterd
http://svnweb.freebsd.org...=revision&revision=248575 en
http://svnweb.freebsd.org...=revision&revision=248577
[ Voor 7% gewijzigd door matty___ op 22-03-2013 09:47 ]
export/import werkt in ieder gewoon vanaf ZFSGuru naar ZFS on Linux. En ook ik heb nergens last van met ZFS on Linux, doe ~350MB/s sequential op m'n RAIDZ2 pool. Mijn mirror pool is trager, maar dat komt door de schijven zelf natuurlijk
Je hebt gewoon veel meer spare space nodig dan normaal. Neem dit plaatje eens:
Hier zie je verschillende kleuren lijnen die aangeven hoe je de SSD gebruikt. Een SSD die als caching (SRT of L2ARC) wordt gebruikt, zal veel meer random writes en dynamische data veroorzaken dan het typisch gebruik van een SSD in desktops waarbij tot 80% van de data niet meer wordt aangepast na te zijn geschreven.
Het eigenlijke probleem is fragmentatie van de vrije ruimte. Als je dus alleen maar 4K writes gaat doen naar je SSD dan heb je meer spare space nodig om dezelfde write amplification te behalen. Dat kun je in bovenstaande grafiek wel aardig zien. Bedenk hierbij dat de grafiek begint bij 0.1 spare factor dus 10% spare space; consumenten SSDs hebben standaard slechts 6,8% spare space.
Kort antwoord is dus omdat L2ARC zwaarder is voor je SSD, mits het ook actief gebruikt wordt. Bovendien kun je altijd achteraf de partities nog groter maken (met ZFSguru is dat vrij makkelijk via de partition editor).
Ik raad aan dat je de eerste partitie de systeempartitie maakt. Dit vanwege de BSD bootcode. Je mag je pool overigens geen 'boot' noemen - die naam is gereserveerd. Je kunt 'systeem' ofzo gebruiken.:
Ik ga ermee aan de slag! Dacht heb toch 120GB dus deel het op.
Ik ga het als volgt doen
- 40GB L2ARC
- 40GB boot
- 40GB TRIMen
Ja kan prima. geom_stripe (RAID0) of geom_concat (JBOD/spanning) kun je gebruiken. Ik raad geom_stripe aan. Dat maakt het iets sneller omdat je oudere schijven langzamer zijn dan nieuwe 3TB schijven. Nadeel is dat je 2*1.5TB krijgt en de 0.5TB verdwijnt. Maar dat is dus helemaal niet zo erg want je wilt hem juist als 3TB disk gebruiken. Bovendien kun je die 0.5TB nog wel gebruiken als je partities gebruikt.
geom_stripe kun je niet via de ZFSguru web-interface bedienen (wellicht in de toekomst). Maar de command line is best makkelijk:
gstripe label -s 131072 stripe3tb /dev/gpt/disk1-partitievoorstripe /dev/gpt/disk2-partitievoorstripe
Die partities moet je dan eerst aanmaken via ZFSguru en een labelnaam geven. Dan het gstripe commando hierboven als root uitvoeren. Verder moet je geom_stripe RAID0 kernel module laten starten tijdens de boot:
echo "geom_stripe_load=\"YES\"" >> /boot/loader.conf
(maak geen fout met dit commando, de dubbele >> is heel belangrijk)
L2ARC heb ik lopen over 2 lullige USB stickies. Goed genoeg voor het bijhouden van stuff als de directory lijsten enzo, maar ik gebruik ZFS niet op een manier dat ik er verder echt iets aan heb. Een ZIL/SLOG SSD heb ik nog niet geprobeerd tbho, maar de disks zijn snel genoeg om 1GbE bij te houden
Ik moet zeggen dat ik het toch moeilijk vind om te beslissen of ik ga beginnen in ZFSguru of ZFSonLINUX.:
export/import werkt in ieder gewoon vanaf ZFSGuru naar ZFS on Linux. En ook ik heb nergens last van met ZFS on Linux, doe ~350MB/s sequential op m'n RAIDZ2 pool. Mijn mirror pool is trager, maar dat komt door de schijven zelf natuurlijk
Wat is jullie mening voor een noob? Heb wel wat ervaring, maar ben toch maar een krutselaar
Wat ik belangrijk vind is dat als het straks draait het weinig onderhoud moet hebben.
Bij weinig onderhoud zou ik toch de voorkeur geven aan ZFSGuru. Dit is een systeem wat volledig rond ZFS gebouwd is met een mooie webinterface en alles. Als je ZFS on Linux wilt gaan doen moet je toch al snel naar de commandline grijpen omdat er nog geen/weinig GUI tooltjes voor zijn.
Plus dat je bij ZFSGuru alles mooi op één plaats kunt beheren
Plus dat je bij ZFSGuru alles mooi op één plaats kunt beheren
Thnx voor je advies:
Bij weinig onderhoud zou ik toch de voorkeur geven aan ZFSGuru. Dit is een systeem wat volledig rond ZFS gebouwd is met een mooie webinterface en alles. Als je ZFS on Linux wilt gaan doen moet je toch al snel naar de commandline grijpen omdat er nog geen/weinig GUI tooltjes voor zijn.
Plus dat je bij ZFSGuru alles mooi op één plaats kunt beheren
We gaan dus voor ZFSguru (wel jammer dat AjaXplorer het nog niet doet in de laatste versie)
FreeNAS of NAS4Free kunnen ook, maar dan zit je aan een oudere FreeBSD versie (toch? ik heb er al tijden niet naar gekeken). Voor hulp kun je hier wel het best terecht met ZFSGuru want Cipher zit daar bovenop
misschien is het al een keer gevraagd, en misschien is het geen ZFS issue maar.
ik heb zfsguru met 6x 2TB raid6 draaien met verschillende "filesystems" mijn hoofd filesystem is tank en daaronder een stuk of 10 filesystems bijv.
tank/VMware
tank/backup
tank/iso
deze share ik via samba (VMware alleen nfs) maar alle filesystems geven een verschillende grootte aan. zie hier:
kan dat op een of andere manier aangepast worden? Heb al beetje zitten zoeken maar dacht eerst dat het een Samba issue is maar niks gevonden.
ik heb zfsguru met 6x 2TB raid6 draaien met verschillende "filesystems" mijn hoofd filesystem is tank en daaronder een stuk of 10 filesystems bijv.
tank/VMware
tank/backup
tank/iso
deze share ik via samba (VMware alleen nfs) maar alle filesystems geven een verschillende grootte aan. zie hier:
kan dat op een of andere manier aangepast worden? Heb al beetje zitten zoeken maar dacht eerst dat het een Samba issue is maar niks gevonden.
Ja dat klopt wel inderdaad, iets om over na te denken als je zfs implementeert, verschillende filesystems kunnen verschillende groottes weergeven.
wat heb ik daar nou aan
nee hoor geintje, thanks ik dacht misschien simpel commandotje afvuren en klaar, maar echt storend is het niet. als het filesystem vol zit, zou de pool ook vol zitten in dit geval
Dat kan dus niet. Dan stuur je de verschillen tussen @1 en @2 naar /Bart.
Maar omdat dat snapshot nog niet bestaat, kan je niet alleen de verschillen sturen, omdat hij niet weet welke data het verschil is tussen de pool en @1...
(Ik heb het er ook al met HyperBart over gehad )
Maar omdat dat snapshot nog niet bestaat, kan je niet alleen de verschillen sturen, omdat hij niet weet welke data het verschil is tussen de pool en @1...
(Ik heb het er ook al met HyperBart over gehad
)
Even niets...
:strip_exif()/u/294322/64-floyd.gif?f=community)
Er zijn zo van die momenten dat je toch echt blij bent dan je ZFS draait in plaats van hardware RAID
Ik draai al ZFS sinds een drietal jaar, naar volle tevredenheid zonder ooit echt noemenswaardige problemen. De array (6*1.5TB Samsung HD154UI)) is nog gebouwd met de eerste FreeNas (0.7 dacht ik?), dan eventjes overgegaan op die nieuwe FreeNas maar bijna onmiddellijk overgestapt op ZFSGuru.
De problemen begonnen 2 weken geleden. Eén disk vertoonde in de plots 15 active bad sectors.
Een scrub leverde geen fouten op dus alles nog goed en wel. Ik ging rustig op zoek naar een replacement disk. Nu begin deze week start ik mijn NAS op en word ik getrakteerd op het krakende/tikkende geluid van een mechanisch failende disk. Ik dacht dat het diezelfde disk ging zijn maar toen ik ging kijken bleek het een totaal andere disk te zijn die gewoon zonder waarschuwing de geest had gegeven. ZFS had de disk zelfs al uit de array gekegeld en de array was nu dus degraded. Bij hardware RAID zou de array nu naar alle waarschijnlijkheid gefailed zijn, lang leve ZFS
Ondertussen heb ik al enkele vervangende exemplaren op de kop kunnen tikken en momenteel is de boel aan het resilveren.
Het plan is de disk met bad sectoren ook te vervangen en dan eens grondig te formatteren, misschien is deze nog wel bruikbaar. Moesten er tijdens het resilveren nog onherstelbare fouten optreden dan zal ZFS aangeven dewelke en dan kan ik deze eenvoudig herstellen vanuit mijn offline backup.
Moral of the story, dankjewel ZFS
Ik draai al ZFS sinds een drietal jaar, naar volle tevredenheid zonder ooit echt noemenswaardige problemen. De array (6*1.5TB Samsung HD154UI)) is nog gebouwd met de eerste FreeNas (0.7 dacht ik?), dan eventjes overgegaan op die nieuwe FreeNas maar bijna onmiddellijk overgestapt op ZFSGuru.
De problemen begonnen 2 weken geleden. Eén disk vertoonde in de plots 15 active bad sectors.
Een scrub leverde geen fouten op dus alles nog goed en wel. Ik ging rustig op zoek naar een replacement disk. Nu begin deze week start ik mijn NAS op en word ik getrakteerd op het krakende/tikkende geluid van een mechanisch failende disk. Ik dacht dat het diezelfde disk ging zijn maar toen ik ging kijken bleek het een totaal andere disk te zijn die gewoon zonder waarschuwing de geest had gegeven. ZFS had de disk zelfs al uit de array gekegeld en de array was nu dus degraded. Bij hardware RAID zou de array nu naar alle waarschijnlijkheid gefailed zijn, lang leve ZFS
Ondertussen heb ik al enkele vervangende exemplaren op de kop kunnen tikken en momenteel is de boel aan het resilveren.
Het plan is de disk met bad sectoren ook te vervangen en dan eens grondig te formatteren, misschien is deze nog wel bruikbaar. Moesten er tijdens het resilveren nog onherstelbare fouten optreden dan zal ZFS aangeven dewelke en dan kan ik deze eenvoudig herstellen vanuit mijn offline backup.
Moral of the story, dankjewel ZFS
Any intelligent fool can make things bigger, more complex, and more violent. It takes a touch of genius -- and a lot of courage -- to move in the opposite direction.
Sorry ik ben niet duidelijk genoeg geweest.
In de standaard zfsguru installatie(0.2.0-bet8-9.1-005) is postfix geinstalleerd ipv sendmail.
In de webgui en in d rc.conf is dit daarentegen niet aangepast vandaar mijn verwarring.
Nu wilde ik eigenlijk alleen weten of dit idd verwarrend is en in de webgui onder services internal, postfix ipv sendmail zou moeten staan
En zo ook de rc.conf zo aangepast moet worden zoals in http://www.freebsd.org/do...ook/mail-changingmta.html word vermeld.
postfix_enable=“YES” en sendmail allemaal op "NO"
Dit natuurlijk alleen als je mail op je nas wil hebben
Ik begrijp niet helemaal wat je zegt. snapshot 1 bestaat omdat je die in eerste instantie hebt overgepompt met je eerste zfs send en receive, als je daarna de recente gegevens erbij wil stoppen doe je dat van het verschil van 1 en 2. Tenminste zo lees ik de documentatie en heb ik het geloof ik anderhalf jaar geleden bij een migratie ook al toegepast.:
Dat kan dus niet. Dan stuur je de verschillen tussen @1 en @2 naar /Bart.
Maar omdat dat snapshot nog niet bestaat, kan je niet alleen de verschillen sturen, omdat hij niet weet welke data het verschil is tussen de pool en @1...
(Ik heb het er ook al met HyperBart over gehad
[ Voor 24% gewijzigd door Mafketel op 23-03-2013 10:48 ]
@CiPHER
Gaat Ajaxplorer weer functioneel worden? (of een soortgelijke file manager)
Ik zou het zelf namelijk erg handig vinden
Gaat Ajaxplorer weer functioneel worden? (of een soortgelijke file manager)
Ik zou het zelf namelijk erg handig vinden
[ Voor 15% gewijzigd door ilovebrewski op 23-03-2013 13:19 ]
Heb een nieuwe instal gedaan naar 9.0-004. Dan werkt de Ajaxplorer
Heb nu direct op mijn server mijn externe HD (NTFS) aangesloten. Deze zie ik echter niet in mijn filebrowser. Kan dit niet of doe ik iets verkeerd?
Heb nu direct op mijn server mijn externe HD (NTFS) aangesloten. Deze zie ik echter niet in mijn filebrowser. Kan dit niet of doe ik iets verkeerd?
Ondertussen zijn beide disks vervangen en de array is weer netjes ONLINE.
De nieuwe disks heb ik geformatteerd GPT en een labeltje meegegeven. Bij de disk die REMOVED was uit de array was gewoon eenvoudig 'replace' in de GUI en het resilveren startte. De disk met de bad sectors kon ik echter niet gewoon replacen. Deze heb ik eerst offline moeten halen en dan pas slaagde een replace. Ik kreeg de foutmelding dat de nieuwe disk kleiner was dan de oude. Waarschijnlijk komt dit door de format (boot+reserved space). Kan dit kwaad voor de gehele array in de toekomst als deze nog voller geraakt?
De disk met bad sectoren straks maar even met nulletjes vullen
Any intelligent fool can make things bigger, more complex, and more violent. It takes a touch of genius -- and a lot of courage -- to move in the opposite direction.
hoe maak ik een L2ARC partitie? Moet ik een bepaalde GPT type invoeren? Of moet dit later bij het maken van een pool?
Gevonden
Gevonden
[ Voor 17% gewijzigd door ilovebrewski op 24-03-2013 13:05 ]
Dat betekent dat je de mysqli- extension niet geïnstalleerd hebt, of hij is niet geenabled in je php.ini- configfile.
En wat zijn de problemen met php? Met 'werkt php ook niet lekker' kunnen we niet veel.
Overigens is dit best wel off- topic in deze thread.
En wat zijn de problemen met php? Met 'werkt php ook niet lekker' kunnen we niet veel.
Overigens is dit best wel off- topic in deze thread.
| Last.fm | "Mr Bent liked counting. You could trust numbers, except perhaps for pi, but he was working on that in his spare time and it was bound to give in sooner or later." -Terry Pratchett
| Last.fm | "Mr Bent liked counting. You could trust numbers, except perhaps for pi, but he was working on that in his spare time and it was bound to give in sooner or later." -Terry Pratchett