Het grote ZFS topic

quote:

justice strike schreef op maandag 25 juni 2012 @ 17:31:
[...]

heeft iemand een suggestie voor een low power oplossing mbt de tmp en var directories. ik wil best een usb stick gebruiken maar ik ben bang dat de write endurance is wel laag is. Ik kan alleen geen goed beeld vormen hoe laag deze endurance dan is. Ik heb geen sata poorten meer over dus ik wil eigenlijk usb oplossing... later will ik misschien wel een hba erbij nemen voor meer hd's

Ik heb recentelijk van STEC een paar UFM modules gekocht: http://www.stec-inc.com/product/ufm.php

Voor 4GB betaal je $70,00 (flinke GB prijs), maar de endurance en performance is hoog.

Het is SLC geheugen, dus je kan het 100.000x overschrijven voordat het kapot is. Kan leuk zijn als OS 'disk'.

@Snow_King: write cycles per cell is eigenlijk niet zo spannend meer; het gaat om write endurance. Daarbij komt ook Write Amplification kijken. Zo'n SLC stick kan prima een controller hebben die niet aan write remapping doet, zijn write amplification is dan erg hoog bij random writes.

Als OS disk wil je vooral dat je een USB stick hebt die goed random writes kan doen. Dat zegt gelijk iets over de Write Amplification en dus ook de levensduur. Als je stick erg traag is met random writes, komt dat omdat hij bijvoorbeeld 4 megabyte moet (over)schrijven om een 512-byte write request uit te voeren; dat is een heleboel write amplification en zo slijt je flash natuurlijk enorm snel. Hoe kleinere blocks, des te beter de random write performance.

quote:

justice strike schreef op zondag 24 juni 2012 @ 23:37:
even een suggestie. het services "tablad"voor samba is erg onlogisch. Je schijnt dingen te kunnen aanpassen daar voor al je shares, maar je kunt ze daar niet aanmaken. Tegelijkertijd kun je bij files je samba shares aanmaken maar alleen voor de zfs shares die er zijn en niet voor specifieke folders. Beetje onlogisch of ik begrijp niet precies hoe het werkt

Klopt, en dat tabblad staat ook hoop de lijst van te verversen functionaliteit; Samba loopt nu erg achter. Maar wat je wel kunt doen: maak ergens een share aan, en in het Samba tabblad kun je dan gewoon de path veranderen naar iets wat jij wilt.

quote:

iRReeL schreef op maandag 25 juni 2012 @ 14:04:
Zo te zien is het probleem met de M1015 verholpen met het nieuwe image.

Mooi.

quote:

Als workaround heb ik nu alles op de HTPC draaien .. Ik wil nu wachten op het nieuwste image met de 'flink geupdate' driver waar Virtualbox en SABnzbd werkt zodat ik het weer kan configureren en hopelijk daarna een heletijd geen omkijken meer naar heb.

SABnzbd weet ik niet of ik die kan updaten. Maar ik kan wel een image bakken waarin de meeste services werken, zoals transmission, virtualbox, virtio en netatalk. Als je daarop zit te wachten kan ik wel wat haast maken.

quote:

Het regelmatig updaten van ZFSguru is leuk maar je moet toch iedere keer weer een aantal dingen configureren na een update toch (sabnzb, virtualbox, sickbeard etc)?

Het idee van upgraden via ZFSguru is dat alle persoonlijke instellingen zoals VMs bij VirtualBox enzo en configuratiebestanden van alle zut gewoon behouden blijft bij het upgraden. Daarvoor was de Migration manager functionaliteit door Jason aangeboord; alhoewel hij daar zich op verkeken lijkt te hebben.

CiPHER wijzigde deze reactie 25-06-2012 18:27 (55%)

quote:

CiPHER schreef op maandag 25 juni 2012 @ 18:17:
@Snow_King: write cycles per cell is eigenlijk niet zo spannend meer; het gaat om write endurance. Daarbij komt ook Write Amplification kijken. Zo'n SLC stick kan prima een controller hebben die niet aan write remapping doet, zijn write amplification is dan erg hoog bij random writes.

Als OS disk wil je vooral dat je een USB stick hebt die goed random writes kan doen. Dat zegt gelijk iets over de Write Amplification en dus ook de levensduur. Als je stick erg traag is met random writes, komt dat omdat hij bijvoorbeeld 4 megabyte moet (over)schrijven om een 512-byte write request uit te voeren; dat is een heleboel write amplification en zo slijt je flash natuurlijk enorm snel. Hoe kleinere blocks, des te beter de random write performance.

ik kan natuurlijk ook gewoon een raid1 array van usb sticks maken en dan vertrouwen op de checksumming van zfs

Dat is leuk voor redundancy en bit errors, maar lost het probleem van write endurance niet op. RAID1 betekent dat beide SSDs dezelfde wear krijgen, dus eigenlijk veroorzaak je juist dubbel zoveel writes. Bij RAID0 is het andersom: je deelt dan het aantal writes door het aantal disks, dus een disk krijgt dan maar een deel van de writes te verwerken.

De Adata N005 is een stick die geschikt is voor het draaien van een OS disk, dankzij zijn hoge random write van ongeveer 0.1MB/s - 1MB/s. Let wel op: de N005 Pro is heel anders en juist slecht met random writes.

Heb je een normaal flash medium wat eigenlijk niet zo lekker werkt voor random writes, dan heb je twee mogelijkheden:

• Maak een goede (image) backup van het flash medium, zodat je makkelijk een reserve stick/mediacard kunt maken in geval je door de write cycles heen bent.
• Gebruik een OS wat geen random writes doet, zoals FreeNAS embedded en ook ZFSguru live environment / USB environment alhoewel die laatste al een tijd niet meer functioneel is. Maar dat zou wel het beste zijn; je stick wordt dan alleen gelezen en alles wordt in RAM bewaard. Alleen wjizigingen worden opgeslagen zodra je de computer afsluit.

quote:

CiPHER schreef op maandag 25 juni 2012 @ 19:55:
Dat is leuk voor redundancy en bit errors, maar lost het probleem van write endurance niet op. RAID1 betekent dat beide SSDs dezelfde wear krijgen, dus eigenlijk veroorzaak je juist dubbel zoveel writes. Bij RAID0 is het andersom: je deelt dan het aantal writes door het aantal disks, dus een disk krijgt dan maar een deel van de writes te verwerken.

De Adata N005 is een stick die geschikt is voor het draaien van een OS disk, dankzij zijn hoge random write van ongeveer 0.1MB/s - 1MB/s. Let wel op: de N005 Pro is heel anders en juist slecht met random writes.

Heb je een normaal flash medium wat eigenlijk niet zo lekker werkt voor random writes, dan heb je twee mogelijkheden:

• Maak een goede (image) backup van het flash medium, zodat je makkelijk een reserve stick/mediacard kunt maken in geval je door de write cycles heen bent.
• Gebruik een OS wat geen random writes doet, zoals FreeNAS embedded en ook ZFSguru live environment / USB environment alhoewel die laatste al een tijd niet meer functioneel is. Maar dat zou wel het beste zijn; je stick wordt dan alleen gelezen en alles wordt in RAM bewaard. Alleen wjizigingen worden opgeslagen zodra je de computer afsluit.

het liefst wil ik geen ram geheugen gebruiken want ik zit gelimiteerd aan 8gb aan geheugen. Alles wat ik dus voor tempfs gebruik is wat ik niet kan gebruiken voor caching oid.

ik it te denken aan usb stick... of misschien compactflash. Ik denk niet dat ik een embedded variant kan gebruiken omdat je dan gewoon ook afdoet aan het geheugen wat je nodig hebt. Ik will namelijk nog wel eens een vm kunnen draaien oid.

dus die adata n005 is wel een optie maar wel een duren. Ik vraag me af of ik dan niet beter voor een 3 usb sticks in raid 0 kan zetten want zoals je zegt dan deel je de schrijfacties... ik schat in dat je dan betere random schrijf snelheden hebt en ik hoop dat de checksumming genoeg is om na te gaan of er data loss is geweest. probleem is dat het wel weer minder stroom in beslag moet nemen dan het opspinnen van een hd anders heeft het geen nut.

overigens. Is er ergens in zfsguru een manier om email notificatie aan te zetten voor smart status, zpool status etc... ik kan nu alleen de status op de website bekijken maar ik zie geen notificatie opties.

justice strike wijzigde deze reactie 25-06-2012 20:54 (16%)

Met FreeBSD/ZFSguru op tmpfs zit je aan 500-600MB RAM verbruik. Als je services als VirtualBox installeert kan dat richting de 1GiB oplopen. Dat valt nog redelijk mee als je 8GiB RAM hebt.

Afhankelijk van je ZFS pool configuratie kun je toch ook gewoon van je data disks booten? Dat is alleen een nadeel als je spindown wilt kunnen gebruiken. Let wel: alleen pools die uit één vdev bestaan, zijn bootable. Een RAID0 pool is dus niet bootable, net zo min als twee RAID-Z's. Een mirror is maar één vdev, maar als je twee mirrors hebt, kun je volgens mij al niet meer booten.

Je kunt wel booten van degraded RAID-Z1/2/3, dat is wel netjes.

CiPHER wijzigde deze reactie 25-06-2012 20:57 (30%)

quote:

CiPHER schreef op maandag 25 juni 2012 @ 20:56:
Met FreeBSD/ZFSguru op tmpfs zit je aan 500-600MB RAM verbruik. Als je services als VirtualBox installeert kan dat richting de 1GiB oplopen. Dat valt nog redelijk mee als je 8GiB RAM hebt.

Afhankelijk van je ZFS pool configuratie kun je toch ook gewoon van je data disks booten? Dat is alleen een nadeel als je spindown wilt kunnen gebruiken. Let wel: alleen pools die uit één vdev bestaan, zijn bootable. Een RAID0 pool is dus niet bootable, net zo min als twee RAID-Z's. Een mirror is maar één vdev, maar als je twee mirrors hebt, kun je volgens mij al niet meer booten.

Je kunt wel booten van degraded RAID-Z1/2/3, dat is wel netjes.

nu boot ik ook van mijn data disks. Ik wil alleen voor die 4 gb aan ruimte die ik nodig heb nu niet een hd laten draaien. Dan kan ik net even een usb stick aanschaffen ervoor. Heb je overigens wel eens gekeken naar sd/compact flash bekeken voor write amplification?

een andere optie is een ssd kopen en die via usb aansluiten. zit er wel weer een controller tussen maargoed dat moet niet teveel stroom in beslag nemen.

quote:

justice strike schreef op maandag 25 juni 2012 @ 20:48:
[...]

het liefst wil ik geen ram geheugen gebruiken want ik zit gelimiteerd aan 8gb aan geheugen. Alles wat ik dus voor tempfs gebruik is wat ik niet kan gebruiken voor caching oid.

ik it te denken aan usb stick... of misschien compactflash. Ik denk niet dat ik een embedded variant kan gebruiken omdat je dan gewoon ook afdoet aan het geheugen wat je nodig hebt. Ik will namelijk nog wel eens een vm kunnen draaien oid.

dus die adata n005 is wel een optie maar wel een duren. Ik vraag me af of ik dan niet beter voor een 3 usb sticks in raid 0 kan zetten want zoals je zegt dan deel je de schrijfacties... ik schat in dat je dan betere random schrijf snelheden hebt en ik hoop dat de checksumming genoeg is om na te gaan of er data loss is geweest. probleem is dat het wel weer minder stroom in beslag moet nemen dan het opspinnen van een hd anders heeft het geen nut.

overigens. Is er ergens in zfsguru een manier om email notificatie aan te zetten voor smart status, zpool status etc... ik kan nu alleen de status op de website bekijken maar ik zie geen notificatie opties.

smart status
Perl:

#!/usr/bin/perl
sub trim($);
my $zpool = `zpool status`;
my @lines = split/\n/,$zpool;
my @disks = ();
my @disks1 = ();
my %hash;
my $check = 0;
my $i = 0;
my $to = '[e-mail]';
my $glabel = `glabel status`;
my $mail = '';

#Loop through zpool status to retrieve used disks
foreach my $line (@lines) {
    if(length($line) > 1 && !($line =~ /errors/) && !($line =~ /raid/) && !($line =~ /mirror/) && !($line =~ /replacing/) && !($line =~ /spares/) && !($line =~ /logs/) && !($line =~ /cache/)) {
        if($line =~ /pool:/) {
            $i++;
            $check = 0;
        }
        if($check == 2) {
            ($start) = trim($line) =~ /\A([^:\s]+)/;
            $disk1 = $start;
            $z = 0;

            #Remove partition and slice information
            if($disk1 =~ /p/ && !($disk1 =~ /label/ || $disk1 =~ /gpt/)) {
                $disk1 = (split(/p/,$disk1))[0];
            }
            if($disk1 =~ /s/ && !($disk1 =~ /label/ || $disk1 =~ /gpt/)) {
                $disk1 = (split(/s/,$disk1))[0];
            }
            while($z <= $#disks1 && ($disks1[$z] ne $disk1)) {
                ++$z;
            }
            if(int($start) =~ /^[[:digit:]]$/) {
                if($z > $#disks1 || $#disks1 == -1) {
                    push @{$disks[$i]},$start;
                    push (@disks1,$disk1);
                }
            }
        }
         if($check == 1) {
            $check = 2;
        }
        if($line =~ /NAME/) {
            $check = 1;
        }
    }
}

@lines = split/\n/,$glabel;
#Loop through disks to check smart status
foreach $pool (@disks) {
    foreach $disk (@$pool) {
        #If the disks contains a label retrieve the physical address
        foreach $line (@lines) {
            ($fword) = trim($line) =~ /\A([^:\s]+)/;
            if($fword =~ /$disk/) {
                $line =~ s/.*\W(\w)/$1/;
                $disk = $line;
                break;
            }
        }
        #Remove partition or slice information
        if($disk =~ /p/) {
            $disk = (split(/p/,$disk))[0];
        }
        if($disk =~ /s/) {
            $disk = (split(/s/,$disk))[0];
        }

        $smart = `/usr/local/sbin/smartctl -a /dev/$disk`;

        if($smart =~ /PASSED/ && $? == 0) {
            print "No problems where found for /dev/$disk\n";
        } else {
            if(!($smart =~ /Unknown USB bridge/)) {
                print "!Certain problems have been found for /dev/$disk!\n";
                $mail .= $smart;
            } else {
                print "Could not read smart status of /dev/$disk\n";
            }
        }
    }
}

if(length($mail) > 0) {
    `echo "$mail" | /usr/bin/mail -s "SMART Alert" $to`;
}

sub trim($)
{
    my $string = shift;
    $string =~ s/^\s+//;
    $string =~ s/\s+$//;
    return $string;
}

Dit script heb ik onlangs aangepast en hij werkte voor alle zpool status uitvoer die in deze thread werden gepost. Het enige wat ik niet heb kunnen testen is of hij in alle situaties de juiste schijven aan de juiste labels koppelt. Kijk dus aan de hand van de uitvoer even of alle schijven worden bekeken.

De werking is als volgt. Hij vraagt de 'zpool status' op en kijkt naar alle gebruikte schijven in je zpools. Als er schijven bij zijn die een label hebben dan zoekt hij via 'glabel status' het fysieke adres op van de schijf. Als schijven d.m.v. partities meerdere keren gebruikt worden dan haalt die de dubbele eruit zodat van elke schijf maar één keer de status wordt opgevraagd. Als het om usb schijven gaat die geen SMART ondersteunen dan laat die deze uit de resultaten weg.

zpool status check
Perl:

#!/usr/bin/perl
my $command_output = `/sbin/zpool status -x`;
if ($command_output eq "all pools are healthy\n") {
exit;
}
else
{
$to='[e-mail]';
$from='[e-mail]';
$subject='zfs alert';
#`echo "Subject: ZFS Alert\n$command_output" | /usr/sbin/sendmail -f $from $to`;
`echo "$command_output" | /usr/bin/mail -s "ZFS Alert" $to`;
}

Voor alle scripts geld dat als je sendmail gebruikt je de mail code even moet veranderen:
code:

`echo "Subject: [SUBJECT]\n$mail" | /usr/sbin/sendmail -f $from $to`;

$mail is hier hetgeen wat je als content van je mail wilt hebben.

Wat voor een scripts zocht je nog meer?

Tweakers,
Soms kan er ook teveel info beschikbaar zijn..
Ik heb het dan over de M1015 flash artikels..(bergen aan info over te vinden op GoT, ServeTheHome etc)

Wat ik graag zou willen is naar welke firmware ik het beste de M1015 kan flashen wanneer ik deze zou willen gebruiken icm Nexenta (of) OI..? (welke dan via VT-D passtrough dienst moet doen in een ESXi machine)

Als het goed is kan de kaart naar LSI SAS 9211-8i of 9240-8i IT/IR geflashed worden maar ik hoop dat iemand hierzo kan melden met welke firmware de kaart goed werkend heeft gekregen zonder al teveel te hoeven rommelen met drivers in Nexenta of OI..(het liefst native ondersteuning!)

@CiPHER
Nog bedankt voor je reply op het MSI forum..heb inmiddels een reply op jouw reply gedaan

nostradamus99 wijzigde deze reactie 26-06-2012 10:03 (11%)

quote:

nostradamus99 schreef op dinsdag 26 juni 2012 @ 09:16:
Tweakers,
Soms kan er ook teveel info beschikbaar zijn..
Ik heb het dan over de M1015 flash artikels..(bergen aan info over te vinden op GoT, ServeTheHome etc)

Wat ik graag zou willen is naar welke firmware ik het beste de M1015 kan flashen wanneer ik deze zou willen gebruiken icm Nexenta (of) OI..? (welke dan via VT-D passtrough dienst moet doen in een ESXi machine)

Als het goed is kan de kaart naar LSI SAS 9211-8i of 9240-8i IT/IR geflashed worden maar ik hoop dat iemand hierzo kan melden met welke firmware de kaart goed werkend heeft gekregen zonder al teveel te hoeven rommelen met drivers in Nexenta of OI..(het liefst native ondersteuning!)

@CiPHER
Nog bedankt voor je reply op het MSI forum..heb inmiddels een reply op jouw reply gedaan

Ik draai een aantal Nexenta (Corp) omgevingen op Nexenta versie 3.1.3 met de 9211-8i met daarop de 13.00.01.00 firmware.

Draait prima! In Nexenta 3.1.3 zit ook een nieuwe versie van de mpt_sas driver die een hoop problemen oplost.

quote:

Snow_King schreef op dinsdag 26 juni 2012 @ 09:28:
[...]
Ik draai een aantal Nexenta (Corp) omgevingen op Nexenta versie 3.1.3 met de 9211-8i met daarop de 13.00.01.00 firmware.

Draait prima! In Nexenta 3.1.3 zit ook een nieuwe versie van de mpt_sas driver die een hoop problemen oplost.

Thanks Snow_King,
Ga vanavond 'ns trachten m'n M1015 te flashen naar een 9211-8i
Zal deze howto gebruiken:

LSI9240(IBM M1015) to a LSI9211-IT mode

megarec -writesbr 0 emptysbr.bin

megarec -cleanflash 0

<reboot, back to USB stick>

sas2flsh -o -f 2118it.bin -b mptsas2.rom

sas2flsh -o -sasadd 500605b0xxxxxxxx (x= numbers for SAS address)

<reboot>

Ik ga dan wel de laatste IT firmware gebruiken van de LSI site dus fingers crossed vanavond

Daarnaast maar hopen dat Nexenta v4 snel uitkomt waar hopelijk die ESXi CPU/Burn bug in is opgelost..

@Snow_King
Heb je nadien nog iets hoeven in te stellen in de bios van de LSI..?

nostradamus99 wijzigde deze reactie 26-06-2012 20:23 (3%)

Ik heb voor de M1015 niets hoeven aanpassen, na de IT firmware zijn er nog maar heel weinig opties over. Alleen als je meerdere kaarten gebruikt moet je de volgorde in de bios aangeven anders werkt maar 1.

quote:

CiPHER schreef op maandag 25 juni 2012 @ 18:17:
[...]

SABnzbd weet ik niet of ik die kan updaten. Maar ik kan wel een image bakken waarin de meeste services werken, zoals transmission, virtualbox, virtio en netatalk. Als je daarop zit te wachten kan ik wel wat haast maken.

Ik wil het niet drukker maken voor je dan het al is Sabnzbd 0.6 werkte trouwens ok voor mij. Voorlopig werkt de huidige setup wel maar kijk uit naar een nieuwe versie Iig heel erg bedankt voor het aanbod, ik wacht het verder wel af

quote:

iRReeL schreef op dinsdag 26 juni 2012 @ 11:09:
Ik heb voor de M1015 niets hoeven aanpassen, na de IT firmware zijn er nog maar heel weinig opties over. Alleen als je meerdere kaarten gebruikt moet je de volgorde in de bios aangeven anders werkt maar 1.

[...]

Mmm, welk OS gebruik je inmiddels in je setup..?

<n00bmode aan>
Welke optie is dat binnen het bios en enig idee of dat nog mogelijk is na het flashen..?
<n00bmode off>

nostradamus99 wijzigde deze reactie 26-06-2012 12:01 (4%)

@CiPHER: Dus een RAID 10 array kan niet mijn boot array zijn? Welke partities kunnen er wel en welke niet op de RAID10 array?

quote:

nostradamus99 schreef op dinsdag 26 juni 2012 @ 09:46:
@Snow_King
Heb je nadien nog iets hoeven in te stellen in de bios van de LSI..?

Nee, het was plug-and-play.

BIOS van die kaart ben ik nog nooit in geweest.

quote:

nostradamus99 schreef op dinsdag 26 juni 2012 @ 12:00:
[...]


Mmm, welk OS gebruik je inmiddels in je setup..?

<n00bmode aan>
Welke optie is dat binnen het bios en enig idee of dat nog mogelijk is na het flashen..?
<n00bmode off>

Ik heb alleen ZFSguru gebruikt op deze setup. Welke optie? Bootvolgorde van de kaarten? Ja dat is nog aanwezig met de IT firmware.

CiPHERtje, heb je ergens een mercurial, git of bzr tree van de web interface van ZFSguru? Kon het niet vinden op de website

onox wijzigde deze reactie 26-06-2012 18:09 (18%)

Nee, de toegang tot de compile server is niet openbaar. De web-interface kun je wel als tarball downloaden, maar er is geen openbare repository.

Ben nu trouwens bezig met compileren van nieuwe system image, met hopelijk nog een bonus service erbij. VirtualBox 4.1.18 lijkt goed te werken in elk geval! Moet alleen nog even kijken waar ik de image kan uploaden.

quote:

CiPHER schreef op dinsdag 26 juni 2012 @ 18:25:
Nee, de toegang tot de compile server is niet openbaar. De web-interface kun je wel als tarball downloaden, maar er is geen openbare repository.

Is daar een goede reden voor? Openbare repository kan het makkelijker maken om de code te bekijken en bij te dragen d.m.v. patches.

Dat klopt ja. Reden weet ik ook niet precies. Ik weet wel dat de web-interface gekoppeld zit aan de build scripts in die zin dat bestanden in de web-interface gedurende het build proces worden bijgewerkt. Denk aan boodloader code, etc.

Ik ben ook niet tegen een publieke repo, maar dat lijkt me iets voor als Jason terug is. Nu wil ik gewoon een nieuwe system image bakken die jullie kunnen draaien met alle services enabled. Sprekende over services... het compileren van X11 duurt wel erg lang... *hint*

Kom maar op met de .torrent file.

quote:

CiPHER schreef op dinsdag 26 juni 2012 @ 19:44:
Dat klopt ja. Reden weet ik ook niet precies. Ik weet wel dat de web-interface gekoppeld zit aan de build scripts in die zin dat bestanden in de web-interface gedurende het build proces worden bijgewerkt. Denk aan boodloader code, etc.

Ik ben ook niet tegen een publieke repo, maar dat lijkt me iets voor als Jason terug is. Nu wil ik gewoon een nieuwe system image bakken die jullie kunnen draaien met alle services enabled. Sprekende over services... het compileren van X11 duurt wel erg lang... *hint*

Wil je een VM op mijn dual xeon?

Maaruh, ontopic: Waarom moet je heel X11 compilen? Je hoeft toch alleen maar een paar libraries te compilen?

FireDrunk wijzigde deze reactie 26-06-2012 20:04 (7%)

Het is een quadcore ivy bridge bak, dus geen kattepis. Maar veel zaken gaan single threaded en het downloaden van tig kleine bestandjes duurt ook erg lang. Gelukkig hoeft dat alleen maar de eerste keer. Maar ik moet waarschijnlijk alles wel een 2e keer compilen. De LiveCD zal wel erg groot worden, en je hebt ook zeker 2GB RAM nodig om überhaupt op te kunnen starten van de LiveCD met alles voorgeïnstalleerd.

Maar ik wil hem wel eerst even testen voordat ik iets online gooi. Maar ik hoop het vanavond online te kunnen zetten.

@FireDrunk, hoezo kan dat niet? Met MAKE_JOBS optie kun je dat instellen, of simpelweg:

make -j 4 install clean = 4 threads. Meestal gebruik je dubbel zoveel threads als CPU cores, om alles op te kunnen vullen. Maar dan nog gaat niet alles multithreaded; grote delen zijn single threaded. Alleen als het kan worden er meerdere jobs aangemaakt.

CiPHER wijzigde deze reactie 26-06-2012 20:33 (24%)

Multithreaded compilation aangezet? Bagger FreeBSD kan dat niet eens...

FireDrunk wijzigde deze reactie 26-06-2012 20:30 (38%)

Flashen is gelukt Heb er nog geen disken aan gehangen (heb er nog geen systeem voor maar dat is een ander verhaal )
Iig kom ik netjes in de BIOS en geen foutmeldingen tijdens het flashen (even de commandline aangepast aangezien het sasflash -o -sasadd is. (in de tutorial stond -o sasadd)

nostradamus99 wijzigde deze reactie 26-06-2012 20:32 (5%)

had niet eerder gedacht dat 6 sata poorten te weinig zouden zijn... wellicht dat ik toch maar een hba erbij ga halen of dat ik de 500gb schijven via usb aansluit.

//edit
ik heb overigens wat research gedaan en volgens mij zijn cf kaartjes gerate op 10 jaar continuos usage. Moet volgens mij goed zijn. Ik lees ook overal dat het gewoon erg goed bestand is tegen write failure.

justice strike wijzigde deze reactie 27-06-2012 19:36 (40%)

Beste tweakers, een vraagje voordat ik de spullentjes bestel.

Doelstelling:
Een ZFS NAS maken op basis van ZFSguru wegens de instelmogelijkheden en GUI die het mogelijk maakt + opensource (FreeBSD that is).

Mijn idee is het om de NAS te gebruiken om mijn bestanden veilig opgeslagen te hebben op basis van RaidZ2. Buiten dit, zou ik op termijn ook willen downloaden via deze NAS dmv nieuwsgroepen en/of torrents. Dit wil ik bereiken door het OS op een usb harde schijf te installeren en daarop ook de downloads te laten binnenkomen. De RaidZ2 zou niet opgespind hoeven te zijn voor dit werk, energiezuinig is het toverwoord .

De configuratie die ik voor ogen had:

#	Product	Prijs	Subtotaal
1	Intel Celeron G530 Boxed	€ 36,30	€ 36,30
6	Seagate Barracuda ST3000DM001, 3TB	€ 138,-	€ 828,-
1	Antec Three Hundred Two	€ 55,03	€ 55,03
1	be quiet! Pure Power L7 300W	€ 33,95	€ 33,95
1	G.Skill Sniper F3-12800CL9D-8GBSR2	€ 44,52	€ 44,52
1	MSI B75MA-P45	€ 59,95	€ 59,95
Bekijk collectie Importeer producten		Totaal	€ 1.057,75

Allereerst wilde ik voor de 22nm Ivy bridge gaan, maar blijkbaar zijn de dualcores (I3 of lager) nog niet uitgekomen, Intel verwacht ergens in Q3. Mijn vraag is dan ook of hierop wachten zin heeft, het zou de setup nog zuiniger maken maar zou dit veel zijn?

Het geheugen is 1,25volt en op 1600 Mhz, vooral wegens energiezuinig (tenopzichte van 1,5v) en omdat Ivy bridge hiermee samenwerkt (volgens mij klokt het geheugen terug naar 1333 Mhz bij sandy bridge).

#	Product	Prijs	Subtotaal
1	MSI B75MA-P45	€ 59,95	€ 59,95
1	MSI H67MA-E35 (B3)	€ 69,-	€ 69,-
Bekijk collectie Importeer producten		Totaal	€ 128,95

Het moederbord is misschien nog wel het grootste struikelblok. De B75 heeft een ander chipset maar wel 4x DDR mogelijkheden en 6x sata (5x 3Gb en 1x 6Gb) terwijl de H67 maar 2x DDR3 heeft en 6x sata (4x 3Gb en 2x 6 Gb). Gezien mijn harde schijf keuze, maakt het qua sata poorten niets uit. Welke zou de voorkeur hebben, rekening houdend met het energiegebruik (kun je dat ergens achterhalen?)

Is de ZFS NAS die ik voor ogen heb, hetgeen wat ik wil of heb ik iets over het hoofd gezien?

p.s. qua backup zal alle data ook nog eens op een externe harde schijven staan, is het exporteren/kopieren vanuit ZFS makkelijk te doen?

quote:

EnerQi schreef op woensdag 27 juni 2012 @ 22:03:
p.s. qua backup zal alle data ook nog eens op een externe harde schijven staan, is het exporteren/kopieren vanuit ZFS makkelijk te doen?

Niet makkelijker dan een aantal andere oplossingen zoals rsync of rdiff-backup.

@EnerQi: Je configuratie kan op allerlei punten aangepast worden, maar je hebt wel een aardige balans tussen zuinigheid, prestaties, prijs en uitbreidbaarheid gevonden. Zelf zou ik eerder voor deze voeding gaan: pricewatch: FSP Aurum Gold 400 die erg zuinig is en net wat meer sap biedt voor opspinnen van veel schijven. En ipv 6x 3TB schijven kun je ook een configuratie overwegen met M1015 controller en 10x 2TB schijven voor een paar honderd euro meer. Dan heb je bij RAID-Z2 16TB ipv 12TB bruikbare opslag. Bovendien hou je dan nog ruimte over voor een SSD voor caching (en OS/boot). Ook een optie die je kunt overwegen. Dan is het wel zo leuk als je een bord neemt met 2x SATA/600 misschien, alhoewel één SSD opzich zat is. Crucial M4 128GB of Intel 320 80/120GB kun je overwegen.

Verder, die Sniper SR2 reepjes heb ik ook; leuk en hoge MHz op laag voltage. Maar het grote nadeel: ze zijn 4GiB modules en niet 8GiB. Dat is jammer omdat 2x 8GiB 1.5V zuiniger is dan 4x 4GiB 1.35V. Kortom, beter grote modules gebruiken, maar die zijn weer extreem duur als je 1.35v wilt hebben; normale 1.5v zijn wel goed betaalbaar. Ook hier kun je afwegingen maken, maar die SR2 zijn wel goed opzich. Alleen kun je dan niet uitbreiden naar 32GiB.

@justice strike: IBM M1015 kun je overwegen. Oh en CompactFlash kan goed tegen sequential writes van digitale camera's enzo. Maar random writes zijn heel anders en daar zijn bijna alle simpele flash devices zonder geavanceerde controller heel slecht in; ze slijten enorm snel. Simpel voorbeeld: om 512 bytes weg te schrijven moet een USB stick of compactflash 512 kilobyte tot maar liefst 16 megabyte wegschrijven; dit effect wordt write amplification genoemd en is zeer hevig voor random writes op simpel flash. Doe je netjes sequential writes dan kan simpel flash lang genoeg meegaan. De MTBF is gebaseerd op in bedrijf zijn met reads, niet op write endurance! Normale USB sticks zijn stuk na een paar dagen continu random writes.

quote:

EnerQi schreef op woensdag 27 juni 2012 @ 22:03:
Beste tweakers, een vraagje voordat ik de spullentjes bestel.

Doelstelling:
Een ZFS NAS maken op basis van ZFSguru wegens de instelmogelijkheden en GUI die het mogelijk maakt + opensource (FreeBSD that is).

Mijn idee is het om de NAS te gebruiken om mijn bestanden veilig opgeslagen te hebben op basis van RaidZ2. Buiten dit, zou ik op termijn ook willen downloaden via deze NAS dmv nieuwsgroepen en/of torrents. Dit wil ik bereiken door het OS op een usb harde schijf te installeren en daarop ook de downloads te laten binnenkomen. De RaidZ2 zou niet opgespind hoeven te zijn voor dit werk, energiezuinig is het toverwoord .

ik zou als ik jouw was kijken naar een platinum rated voeding. Ik heb zelf een antec earthwatts 450. Die geeft 450watts, maar die is wel extreem efficient. Je bespaart daar tov je huidige voeding zo'n 9% aan stroom. Dat ligt op 150 watt load al op 15 watt en als je 300 watt trekt op 30 watt (grofweg). Elke watt scheelt je ongeveer 1.8 euro op jaarbasis dus dat is al gauw tussen de 27 en de 54 euro op jaar basis. MAW dat geld verdient zich vanzelf terug.

dat gezegd hebbende. als je alleen een fileserver wil draaien en af ent oe nieuwsgroepen en torrents will downen... vraag ik mij af waarom je niet voor een low power fusion gaat. Mijn veronderstelling is dat je niet meer hoeft te hebben dan gigabit wat volgetrokken moet worden.

Als je die richting op gaat moet je wel gaan denken aan een mini atx port waar nog wat pci sloten op zitten. Koop een intel gigabit kaart erbij, ik heb een gevoel dat de realtek implementatie die op die borden gebruikt worden niet heel erg performen. daarbij is het handig om die uitbreidmogelijkheden te hebben. Ik heb me daar wat op verkeken

afhankelijk van je performance eisen wil je misschien ook naar green drives gaan kijken. Heeft even wel wat zorg nodig maar je kunt daar zeker met 6 schijven genoeg snelheid mee bereiken op gigabit mee vol te stouwen. scheelt weer een paar watt en dat is op jaarbasis ook weer geld

quote:

CiPHER schreef op donderdag 28 juni 2012 @ 00:29:
@justice strike: IBM M1015 kun je overwegen. Oh en CompactFlash kan goed tegen sequential writes van digitale camera's enzo. Maar random writes zijn heel anders en daar zijn bijna alle simpele flash devices zonder geavanceerde controller heel slecht in; ze slijten enorm snel. Simpel voorbeeld: om 512 bytes weg te schrijven moet een USB stick of compactflash 512 kilobyte tot maar liefst 16 megabyte wegschrijven; dit effect wordt write amplification genoemd en is zeer hevig voor random writes op simpel flash. Doe je netjes sequential writes dan kan simpel flash lang genoeg meegaan. De MTBF is gebaseerd op in bedrijf zijn met reads, niet op write endurance! Normale USB sticks zijn stuk na een paar dagen continu random writes.

die gaat er wellicht op termijn komen. Voor nu gebruik ik wat ik heb en ga ik mijn focus zetten op een usb based storage medium om het opspinnen te voorkomen waar mogelijk is.

Ik lees overal verschillende verhalen daarover.... misschien moet ik gewoon voor zo'n microdrive gaan... als die nog bestaan ik ga nog een goede blik werpen op de suggestie die je mij gestuurd ehbt. de n500 van adata... wel een dure stick maar wellicht wel de beste oplossing. Anders wordt het kijken naar een ssd met een usb controller eraan.

Waar had jij trouwens je info van die adata vandaan. Ik was namelijk wel aan het zoeken naar die info maar ik kon het nergens vinden. En hoe schat je die endurance in?ik kan er namelijk totaal geen voorstelling bij maken.

justice strike wijzigde deze reactie 28-06-2012 02:49 (87%)

quote:

justice strike schreef op donderdag 28 juni 2012 @ 01:30:
[...]
ik zou als ik jouw was kijken naar een platinum rated voeding. Ik heb zelf een antec earthwatts 450. Die geeft 450watts, maar die is wel extreem efficient. Je bespaart daar tov je huidige voeding zo'n 9% aan stroom. Dat ligt op 150 watt load al op 15 watt en als je 300 watt trekt op 30 watt (grofweg).

Platinum klinkt leuk, maar dat geldt alleen maar voor de range tussen 20% en 100% max vermogen. Aangezien je vrijwel continu op 5% load zit, zal je efficiency sterk afwijken van wat de voeding opgeeft. Onder de 20% load gaat de efficiency sterk omhoog. Die voeding die ik aanraadde is één van de weinige voedingen die dan nog minimaal 80% efficient is, terwijl sommigen al onder de 55% zakken bij dergelijke loads; ook met allerlei 80-plus labels dat zegt dus helemaal niets!

quote:

dat gezegd hebbende. als je alleen een fileserver wil draaien en af ent oe nieuwsgroepen en torrents will downen... vraag ik mij af waarom je niet voor een low power fusion gaat. Mijn veronderstelling is dat je niet meer hoeft te hebben dan gigabit wat volgetrokken moet worden.

Inderdaad een overweging; maar qua stroomverbruik zal het wel meevallen versus wat hij nu heeft, en qua prijs is het ook niet veel goedkoper:

Asus C60M1-I moederbord (Mini-ITX, AMD C-60 = 2x 1.0GHz, 2 DDR3 DIMMs; kunnen waarschijnlijk 8GiB modules aan net als mijn Brazos bordje; officiëel wordt daar niets over gezegd.

quote:

Koop een intel gigabit kaart erbij, ik heb een gevoel dat de realtek implementatie die op die borden gebruikt worden niet heel erg performen. daarbij is het handig om die uitbreidmogelijkheden te hebben.

Realtek doet net net zo goed als Intel in vrijwel alle gevallen. Slechte drivers kunnen soms nog wel voor problemen zorgen, maar Intel heeft evengoed last gehad van driverproblemen met hun netwerkadapters. Koop alleen een Intel NIC als je Realtek/onboard problemen geeft. Grote kans dat je gewoon 950 megabit haalt over een goede kabel, waar Intel dan iets van 960 megabit haalt; kortom niet de moeite waard alleen als je concrete problemen hebt.

En als je wilt kunnen uitbreiden, kun je beter maar niet je enige PCIe x16 slot verspillen aan een PCIe x1 NICje. Je hebt die slot nodig voor een IBM M1015 controller bijvoorbeeld, voor 8 extra disks.

afhankelijk van je performance eisen wil je misschien ook naar green drives gaan kijken. Heeft even wel wat zorg nodig maar je kunt daar zeker met 6 schijven genoeg snelheid mee bereiken op gigabit mee vol te stouwen. scheelt weer een paar watt en dat is op jaarbasis ook weer geld

quote:

Ik lees overal verschillende verhalen daarover.... misschien moet ik gewoon voor zo'n microdrive gaan... als die nog bestaan

Nee joh, fragiele mechanische techniek. Als je USB wilt kun je een USB hardeschijf of nog beter een goede USB stick nemen. De Adata N005 non-PRO bijvoorbeeld. Info kun je bijvoorbeeld hier vinden, maar ik heb er heel erg lang naar moeten zoeken dus terugvinden wat ik met google allemaal gevonden heb, gaat niet zo snel lukken.

http://nettronic.wordpres...usb3-flash-drives-review/

CiPHER wijzigde deze reactie 28-06-2012 14:01 (3%)

ga dan gelijk voor dit:

pricewatch: Asus E35M1-M Pro

Dat bordje vind ik juist flink minder interessant:
- stuk duurder, weinig voordeel meer boven Intel setup
- nutteloze PCI poorten, alleen één extra PCIe x1 slot bruikbaar
- slechts 5 SATA poorten ipv 6
- nutteloze technologie zoals Firewire, S/PDIF en USB3 wat stroomverbruik kan doen laten stijgen
- volgens mij werkte add-on controllers niet op het Pro bordje

Kortom, als je luxer wilt zou ik voor een Intel setup gaan. Brazos is wel aardig voor een low-power NAS, maar qua energieverbruik zit je tegen een Intel setup aan, dus dat is tegenwoordig ook niet echt meer een reden...

Ook de bordjes van SuperMicro zijn het overwegen waard, natuurlijk wel iets duurder maar nog steeds zeer redelijk geprijst.

CiPHER wijzigde deze reactie 28-06-2012 14:31 (9%)

trouwens er is een leuk speeltje toegevoegd aan top in freebsd
http://www.freebsd.org/~jhb/patches/top_arc.patch
code:

CPU:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
Mem: 97M Active, 126M Inact, 6060M Wired, 595M Buf, 1638M Free
ARC: 5412M Total, 267M MRU, 5110M MFU, 48K Anon, 24M Header, 11M Other
Swap: 4096M Total, 4096M Free

quote:

En ipv 6x 3TB schijven kun je ook een configuratie overwegen met M1015 controller en 10x 2TB schijven voor een paar honderd euro meer. Dan heb je bij RAID-Z2 16TB ipv 12TB bruikbare opslag. Bovendien hou je dan nog ruimte over voor een SSD voor caching (en OS/boot). Ook een optie die je kunt overwegen. Dan is het wel zo leuk als je een bord neemt met 2x SATA/600 misschien, alhoewel één SSD opzich zat is. Crucial M4 128GB of Intel 320 80/120GB kun je overwegen.

Ik ging er even vanuit dat 6 harde schijven nog altijd zuiniger zijn dan 10 harde schijven (en controller M1015). Overigens wil ik die optie nog openhouden mocht mijn data woede niet in bedwang kunnen houden

quote:

dat gezegd hebbende. als je alleen een fileserver wil draaien en af ent oe nieuwsgroepen en torrents will downen... vraag ik mij af waarom je niet voor een low power fusion gaat. Mijn veronderstelling is dat je niet meer hoeft te hebben dan gigabit wat volgetrokken moet worden.

Hierover heb ik ook zitten twijfelen (build van Cipher staat nog in mijn wenslijst) maar hierop zou ik moeilijk kunnen uitbreiden, maar 2x DDR 3 en controllers die ie misschien moeilijk pakt.

quote:

afhankelijk van je performance eisen wil je misschien ook naar green drives gaan kijken. Heeft even wel wat zorg nodig maar je kunt daar zeker met 6 schijven genoeg snelheid mee bereiken op gigabit mee vol te stouwen. scheelt weer een paar watt en dat is op jaarbasis ook weer geld

Hmm die seagate zijn "green" schijven (ondanks 7200 rpm) en 3x 1 TB platters in vergelijking met de Western Digital Caviar Green WD30EZRX, 3TB. Overigens hoef ik dan ook niet die aggesieve headpark te blokkeren.

quote:

- nutteloze technologie zoals Firewire, S/PDIF en USB3 wat stroomverbruik kan doen laten stijgen

Hmm Firewire en S/PDIF zie ik inderdaad als overbodig, maar usb 3? Door usb 3 kun je sneller een backup maken door een schijf rechtstreeks aan te sluiten (mijn idee ook ). Zo voorkom ik eventuele errors door 2x de files te "bewerken"(1x de nas en 1x de pc met de externe schijf eraan om de backup te maken)

EnerQi wijzigde deze reactie 28-06-2012 20:56 (11%)

Heb jij al ondersteuning gezien voor USB3 in FreeBSD en/of ESXi?

Beste ZFS-gebruikers,
Ik zit met een probleem, ik heb een FreeNAS 8.0.3-systeempje waar ik wat mee aan het experimenteren ben. Hij bevat een SASUS8i met IT-firmware, en daarop 4 Hitachi 7K3000 2TB schijven in RAIDZ. Nu is het probleem dat er helemaal niets gebeurd wanneer ik een schijf lostrek, in de webGUI bljift de array op healthy staan. Nergens komt een waarschuwing dat er een schijf mist. Is dit normaal?

quote:

FireDrunk schreef op donderdag 28 juni 2012 @ 21:19:
Heb jij al ondersteuning gezien voor USB3 in FreeBSD en/of ESXi?

http://www.freebsdnews.ne.../freebsd-usb-3-0-support/

http://www.freebsd.org/releases/9.0R/relnotes.html
•[amd64, i386] The FreeBSD usb(4) subsystem now supports USB 3.0 by default.[r223098]

Eerlijkgezegd ging ik er een beetje vanuit dat zoiets wel zou werken

Ik zou met FreeBSD nergens vanuit gaan...

quote:

Tha Ra schreef op donderdag 28 juni 2012 @ 21:28:
Beste ZFS-gebruikers,
Ik zit met een probleem, ik heb een FreeNAS 8.0.3-systeempje waar ik wat mee aan het experimenteren ben. Hij bevat een SASUS8i met IT-firmware, en daarop 4 Hitachi 7K3000 2TB schijven in RAIDZ. Nu is het probleem dat er helemaal niets gebeurd wanneer ik een schijf lostrek, in de webGUI bljift de array op healthy staan. Nergens komt een waarschuwing dat er een schijf mist. Is dit normaal?

en als je via shell gaat kijken? Op zijn minst moet de device meldingen geven op de sysconsole (dmesg).

Wat sowieo niet werkt is het vervangen een fault device door een hotstandby. Dat moet nog worden gemaakt.

quote:

FireDrunk schreef op donderdag 28 juni 2012 @ 21:53:
Ik zou met FreeBSD nergens vanuit gaan...

gezien het nut van usb3 in server omgevingen niet meer dan logisch dat het iets langer duurde voordat er in zat.

quote:

FireDrunk schreef op donderdag 28 juni 2012 @ 21:53:
Ik zou met FreeBSD nergens vanuit gaan...

Voor mij is USB 3 een "nice to have" functie

Heren, ik ga jullie hulp hierin even nodig hebben.
Ben al een tijdje bezig met prutsen (ja echt prutsen), ik kom er niet uit met OpenIndiana.

Graag zou ik ZFS op een debian machine draaien, maar wil ook gebruik kunnen maken van een iSCSI mogelijkheid (zoals de combinatie OpenIndiana en Comstar).

Zijn er nou ECHT goede handleidingen om het met OpenIndiana te doen, want zo'n beetje elke handleiding die ik vind zijn maar halfbakken en komt er een gedrocht van een installatie uit.

Mijn voorkeur zou naar Linux gaan gezien ik hier beter bekend ben met de syntax, maar ook hier kom ik er maar niet uit.

Heeft er iemand goede handleidingen, of kan iemand mij hiermee helpen? Thx!

quote:

matty___ schreef op vrijdag 29 juni 2012 @ 08:58:
gezien het nut van usb3 in server omgevingen niet meer dan logisch dat het iets langer duurde voordat er in zat.

Zoals hij al zei: Backups gaan sneller... Zeker een nut voor servers. En FreeBSD is niet per definitie voor servers, het is een prima desktop OS.

quote:

FireDrunk schreef op vrijdag 29 juni 2012 @ 10:45:
[...]


Zoals hij al zei: Backups gaan sneller... Zeker een nut voor servers. En FreeBSD is niet per definitie voor servers, het is een prima desktop OS.

welke backup oplossing gebruikt usb3? losse harddisk noem ik niet echt een backup

prima dat het erin zit maar ik denk dat 90% van de mensen er niet wakker van ligt.

quote:

matty___ schreef op vrijdag 29 juni 2012 @ 12:17:
[...]

welke backup oplossing gebruikt usb3? losse harddisk noem ik niet echt een backup

prima dat het erin zit maar ik denk dat 90% van de mensen er niet wakker van ligt.

Waarom zou een losse harde schijf geen backup zijn? Zolang je de schijf loskoppeld wordt na het maken van een backup en opbergt.

Goed na lang kijken en dingen uitzoeken wordt dit mijn nieuwe ZFS bak.... komt ESXi op te staan met een VM naar OpenIndiana (met passtrough van de IBM controller)

De twijfel zit nog in 2 of 3 TB schijven... gezien de prijzen nu nogal hoog zijn..

#	Product	Prijs	Subtotaal
1	Intel Xeon E3-1220 Boxed	€ 185,90	€ 185,90
8	Seagate Barracuda ST2000DM001, 2TB	€ 99,-	€ 792,-
2	Adaptec mSASx4 (SFF-8087) to SATA (4)x1 Cable (2236700-R)	€ 31,-	€ 62,-
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 114,24	€ 114,24
1	be quiet! Pure Power L8 530W	€ 61,70	€ 61,70
1	Asus P8B WS	€ 183,-	€ 183,-
Bekijk collectie Importeer producten		Totaal	€ 1.398,84

Edit: Geheugen staat niet op de lijst gezien ik nog 16GB over heb mocht dat niet mee worden verkocht met de Microserver

Edit2: Tevens is de Case al onderweg (Yeong Yang YY-0420 Cube)

LightStar wijzigde deze reactie 29-06-2012 14:18 (12%)

Ik heb bewust de 3 TB genomen omdat ze per GB het goedkoopst zijn.

quote:

EnerQi schreef op vrijdag 29 juni 2012 @ 13:43:
Ik heb bewust de 3 TB genomen omdat ze per GB het goedkoopst zijn.

Das waar alleen op 8 schijven is het 400€ verschil.

quote:

LightStar schreef op vrijdag 29 juni 2012 @ 13:18:
Goed na lang kijken en dingen uitzoeken wordt dit mijn nieuwe ZFS bak.... komt ESXi op te staan met een VM naar OpenIndiana (met passtrough van de IBM controller)

De twijfel zit nog in 2 of 3 TB schijven... gezien de prijzen nu nogal hoog zijn..

#	Product	Prijs	Subtotaal
8	Seagate Barracuda ST2000DM001, 2TB	€ 99,-	€ 792,-
2	Adaptec mSASx4 (SFF-8087) to SATA (4)x1 Cable (2236700-R)	€ 31,-	€ 62,-
1	IBM ServeRAID M1015 SAS/SATA Controller for System x	€ 114,24	€ 114,24
1	Intel Core i5 2300 Boxed	€ 158,40	€ 158,40
1	be quiet! Pure Power L8 530W	€ 61,70	€ 61,70
1	Asus P8B WS	€ 183,-	€ 183,-
Bekijk collectie Importeer producten		Totaal	€ 1.371,34

Edit: Geheugen staat niet op de lijst gezien ik nog 16GB over heb mocht dat niet mee worden verkocht met de Microserver

Edit2: Tevens is de Case al onderweg (Yeong Yang YY-0420 Cube)

Waarom een C206 chipset op je moederbord als je geen Xeon gaat gebruiken? en ik mis je RAM.

quote:

Pantagruel schreef op vrijdag 29 juni 2012 @ 14:10:
[...]


Waarom een C206 chipset op je moederbord als je geen Xeon gaat gebruiken? en ik mis je RAM.

Ram staat in de Edits.... en waarom geen Xeon ik heb een CPU gekozen die VT-D ondersteund en niet te duur is, Xeon's zijn over het algemeen redelijk prijzig.

Edit: CPU aangepast naar een Xeon E3-1220

LightStar wijzigde deze reactie 29-06-2012 14:18 (5%)

#	Product	Prijs	Subtotaal
1	Intel Celeron G530 Boxed	€ 36,30	€ 36,30
6	Seagate Barracuda ST3000DM001, 3TB	€ 138,-	€ 828,-
1	Antec Three Hundred Two	€ 55,03	€ 55,03
1	FSP Aurum Gold 400	€ 55,20	€ 55,20
2	Kingston KVR1333D3N9/8G	€ 54,15	€ 108,30
1	MSI B75MA-P45	€ 59,32	€ 59,32
Bekijk collectie Importeer producten		Totaal	€ 1.142,15

Het lijstje met de opmerking erin verwerkt. De wijzigingen:
Voeding pricewatch: be quiet! Pure Power L7 300W vervangen door pricewatch: FSP Aurum Gold 400

Geheugen is 16 GB (2x 1 reepje van 8 GB), helaas wel op snelheid van 1333Mhz terwijl de processor max 1066 aankan, ander geheugen is er niet of veeeeeeeeel te duur. Werkt het eigenlijk dan wel?

quote:

LightStar schreef op vrijdag 29 juni 2012 @ 14:11:
[...]


Ram staat in de Edits.... en waarom geen Xeon ik heb een CPU gekozen die VT-D ondersteund en niet te duur is, Xeon's zijn over het algemeen redelijk prijzig.

Als ik de spec's moet geloven doet die i5 geen VT-d maar slechts VT-x (Intel spec's), kan en probleem opleveren bij hardware re-mapping.

Voor die milde meerprijs heb je wel VT-d en VT-x (Xeon E3-1220)

quote:

Pantagruel schreef op vrijdag 29 juni 2012 @ 14:18:
[...]


Als ik de spec's moet geloven doet die i5 geen VT-d maar slechts VT-x (Intel spec's), kan en probleem opleveren bij hardware re-mapping.

Voor die milde meerprijs heb je wel VT-d en VT-x (Xeon E3-1220)

Je hebt gelijk was net ook al aan het kijken, heb het nu gewijzigt naar de E3-1220 welke maar iets duurder is..

quote:

LightStar schreef op vrijdag 29 juni 2012 @ 14:19:
[...]


Je hebt gelijk was net ook al aan het kijken, heb het nu gewijzigd naar de E3-1220 welke maar iets duurder is..

Klopt die ca. €30 is wel te hebben.

Mbt t geheugen, sla er even de QVL van t beoogde moederbord op na, knullig als je alsnog geheugen moet bestellen om dat t oude setje niet wil werken.

Mocht KVM een gewenste optie zijn kun je evt. voor een Supermicro X9SCM-F gaan, ben je wel je USB3 poortjes kwijt.

Pantagruel wijzigde deze reactie 29-06-2012 14:28 (33%)
Reden: KVM optie

quote:

Pantagruel schreef op vrijdag 29 juni 2012 @ 14:24:
[...]


Klopt die ca. €30 is wel te hebben.

Mbt t geheugen, sla er even de QVL van t beoogde moederbord op na, knullig als je alsnog geheugen moet bestellen om dat t oude setje niet wil werken.

Mocht KVM een gewenste optie zijn kun je evt. voor een Supermicro X9SCM-F gaan, ben je wel je USB3 poortjes kwijt.

Geheugen gecheckt en zal moeten werken
Patriot PGD316G1333ELK(XMP) 8G

Wat betreft KVM is geen noodzaak maar wel een mooie optie.. kan zo niet zien of die Supermicro VT-D heeft.. wat mijn belangrijkste eis is.

Edit: is mogelijk maar dat bord werkt enkel met ECC en dat heb ik niet meer liggen.

LightStar wijzigde deze reactie 29-06-2012 15:13 (6%)

quote:

LightStar schreef op vrijdag 29 juni 2012 @ 15:01:
[...]


Geheugen gecheckt en zal moeten werken
Patriot PGD316G1333ELK(XMP) 8G

Wat betreft KVM is geen noodzaak maar wel een mooie optie.. kan zo niet zien of die Supermicro VT-D heeft.. wat mijn belangrijkste eis is.

Edit: is mogelijk maar dat bord werkt enkel met ECC en dat heb ik niet meer liggen.

Klopt, ECC unregged DDR3, lichtelijk exotisch te noemen vooral als je trek hebt in de volle 32 GB RAM (heb er zelf 16 GB ECC UDIMM inzitten en een E3-1230).

De Intel C202/204/206/216 doen VT-d vlgs Intel.

En schijteduur, zeker in verhouding to RDIMM

Ik spreek uit ervaring

quote:

HyperBart schreef op vrijdag 29 juni 2012 @ 15:57:
En schijteduur, zeker in verhouding to RDIMM

Ik spreek uit ervaring

Daarom ga ik ook voor de Asus met 32GB Patriot... betaalbaar en goed genoeg.

quote:

EnerQi schreef op vrijdag 29 juni 2012 @ 14:16:
Geheugen is 16 GB (2x 1 reepje van 8 GB), helaas wel op snelheid van 1333Mhz terwijl de processor max 1066 aankan, ander geheugen is er niet of veeeeeeeeel te duur. Werkt het eigenlijk dan wel?

Wat dacht je van: pricewatch: Corsair CMX16GX3M2A1600C11
DDR3/1600, 1.5V, 2x8GiB modules, rond de 100 euro

quote:

Pantagruel schreef op vrijdag 29 juni 2012 @ 14:18:
Als ik de spec's moet geloven doet die i5 geen VT-d maar slechts VT-x (Intel spec's), kan en probleem opleveren bij hardware re-mapping.

Core i5 2500 en 2600 zonder K suffix ondersteunen ook vt-d, de Ivy Bridge versies ook, behalve de lage versies en de K-versies. Jammer dat de K versies dus vt-d missen ten opzichte van hun goedkopere versies.

En meer een suggestie, maar het bouwen van een NAS kan beter in het DIY RAID NAS topic. Zodra er een nieuw ZFS topic komt hoop ik hierin een strictere scheiding te kunnen aanbrengen.

CiPHER wijzigde deze reactie 29-06-2012 16:06 (7%)

quote:

HyperBart schreef op vrijdag 29 juni 2012 @ 15:57:
En schijteduur, zeker in verhouding to RDIMM

Ik spreek uit ervaring

Klopt ik ken het gevoel. De aanschaf van 2x8 GB DDR3 UDIMM kost ca €190, voor 32 GB ben je dus €380 verder. (4x4 DDR3 ECC UDIMM kost maar ca €120)

quote:

matty___ schreef op vrijdag 29 juni 2012 @ 08:56:
[...]


en als je via shell gaat kijken? Op zijn minst moet de device meldingen geven op de sysconsole (dmesg).

Wat sowieo niet werkt is het vervangen een fault device door een hotstandby. Dat moet nog worden gemaakt.

Bedankt voor je reactie Matty, dit wordt er aan dmesg toegevoegd bij het lostrekken van een drive:
code:

mpt0: mpt_cam_event: 0x16
mpt0: mpt_cam_event: 0x12
mpt0: mpt_cam_event: 0x16
mpt0: mpt_cam_event: 0x16
mpt0: mpt_cam_event: 0x16

En de uitkomst van zpool status:
code:

[ramon@freenas] /> zpool status
  pool: RAIDZ
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        RAIDZ       ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            da0p2   ONLINE       0     0     0
            da1p2   ONLINE       0     0     0
            da2p2   ONLINE       0     0     0
            da3p2   ONLINE       0     0     0

errors: No known data errors

In de webgui blijft de array op HEALTHY staan, is dit normaal?

quote:

Tha Ra schreef op vrijdag 29 juni 2012 @ 17:05:
[...]

Bedankt voor je reactie Matty, dit wordt er aan dmesg toegevoegd bij het lostrekken van een drive:
code:

mpt0: mpt_cam_event: 0x16
mpt0: mpt_cam_event: 0x12
mpt0: mpt_cam_event: 0x16
mpt0: mpt_cam_event: 0x16
mpt0: mpt_cam_event: 0x16

En de uitkomst van zpool status:
code:

[ramon@freenas] /> zpool status
  pool: RAIDZ
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        RAIDZ       ONLINE       0     0     0
          raidz1    ONLINE       0     0     0
            da0p2   ONLINE       0     0     0
            da1p2   ONLINE       0     0     0
            da2p2   ONLINE       0     0     0
            da3p2   ONLINE       0     0     0

errors: No known data errors

In de webgui blijft de array op HEALTHY staan, is dit normaal?

normaal zie je in de dmesg meer info van de mpt mbt het missen van een schijf. Misschien kun je ook nog even je /var/log/messages laten zien?

Daar worden vaak voorkomende meldingen samen gevat tot 1 regel. Er moet wel iets meer staan dan alleen dit alleen.

Doe eens een
code:

camcontrol reset all
camcontrol rescan all

quote:

matty___ schreef op vrijdag 29 juni 2012 @ 18:18:
[...]


normaal zie je in de dmesg meer info van de mpt mbt het missen van een schijf. Misschien kun je ook nog even je /var/log/messages laten zien?

Daar worden vaak voorkomende meldingen samen gevat tot 1 regel. Er moet wel iets meer staan dan alleen dit alleen.

Doe eens een
code:

camcontrol reset all
camcontrol rescan all

/var/log/messages:
code:

Jun 29 09:28:05 freenas kernel: mpt0: mpt_cam_event: 0x16
Jun 29 09:28:05 freenas kernel: mpt0: mpt_cam_event: 0x12
Jun 29 09:28:05 freenas kernel: mpt0: mpt_cam_event: 0x16
Jun 29 09:28:09 freenas last message repeated 3 times
Jun 29 09:28:09 freenas kernel: mpt0: mpt_cam_event: 0x12
Jun 29 09:28:09 freenas kernel: mpt0: mpt_cam_event: 0x16

code:

[ramon@freenas] /> sudo camcontrol reset all
sudo: Command not found.
[ramon@freenas] /> camcontrol reset all
camcontrol: error opening transport layer device /dev/xpt0
camcontrol: /dev/xpt0: Permission denied
[ramon@freenas] /> camcontrol rescan all
camcontrol: error opening transport layer device /dev/xpt0
camcontrol: /dev/xpt0: Permission denied

Als ik scrub wil draaien met maar 3 van de 4 disken loopt het hele systeem vast.

quote:

Tha Ra schreef op vrijdag 29 juni 2012 @ 18:36:
[...]
code:

[ramon@freenas] /> sudo camcontrol reset all
sudo: Command not found.
[ramon@freenas] /> camcontrol reset all
camcontrol: error opening transport layer device /dev/xpt0
camcontrol: /dev/xpt0: Permission denied
[ramon@freenas] /> camcontrol rescan all
camcontrol: error opening transport layer device /dev/xpt0
camcontrol: /dev/xpt0: Permission denied

Als ik scrub wil draaien met maar 3 van de 4 disken loopt het hele systeem vast.

anders doe je eerst een su

Ben vanavond begonnen met expirimenteren met ZFS op echte hardware. Van de week al via virtualbox openindiana gedraait. Maar dat was toch even stapje te hoog. Het ZFS deel was duidelijk en heb dingen uitgeprobeerd alleen het file sharen ging niet zoals ik wilde . Daarom nu freenas proberen en het draaien van usb stick en alle hd's voor opslag bevalt me wel.

De quad core (Q6600) heb ik teruggeclocked naar 1.6ghz en ik heb 8gb geheugen. Ik heb de areca 1220 uit het systeem gehaald en de disken gewoon op mobo in geplugt (gewoon random). cdtje met freenas erin en 2gb usb stick en geinstaleerd. Ik heb de youtube tutorials van freenas bekeken en het bevalt me tot nu toe wel. NFS filesharing gaat met 100MiB/s.

Ik ga de komende tijd er lekker mee klooien en uitproberen. Zodat ik kan kijken wat ZFS voor mij kan en wat het niet kan. En dan bepalen wat ik voor hardware ga aanschaffen als filserver. Ik zit iig te denken aan een IBM Serveraid M1015.

Wat is makkelijkste manier of de snelheid te meten van de ZFS pool?

quote:

victorb schreef op zaterdag 30 juni 2012 @ 01:16:

Wat is makkelijkste manier of de snelheid te meten van de ZFS pool?

ZFSguru heeft een interne benchmark

Momenteel gebruik ik de laatste 'stable' versie van ZFSGuru 0.1.9. Hier op heb ik zelf transmission als service draaiende gekregen via een guide. Nu zou ik graag upgraden naar de 0.2 versie die momenteel nog in de beta staat en ik wachtte net zoals velen waarschijnlijk op de release maar door Jason zijn verdwijning komt daar natuurlijk voorlopig niets van in huis. Ik vroeg me dus af of deze al als veilig genoeg beschouwd kan worden om gebruikt te worden. Ik zou vooral van alle nieuwe services gebruik willen maken.

@CiPHER: of is die versie die jij compileert/gecompiled hebt beter geschikt hiervoor? Is deze al te downloaden?

Laat lekker draaien wat je nu draait en wacht op de release waar ik mee bezig ben. Ik dacht het in een dagje wel afgerond te krijgen. Dat is nu al een week later bijna, elke keer omdat ik verbeteringen aan blijf brengen. Wel leuk hoor, verslavend een beetje.

Ik zal even uitleggen waar ik mee bezig ben. Ik ben nu met de nieuwe build scripts waar we lang aan gewerkt hebben nieuwe services aan het schrijven en bestaande services aan het bijwerken. Lang verhaal kort, ik wil binnenkort een livecd releasen die:

• gebaseerd is op huidige FreeBSD 9-STABLE code (dus nieuwer dan 9.0)
• geschikt voor InfiniBand networking
• nieuwste versies van Samba en andere packages
• bestaande services: netatalk, istgt, ajaxplorer, etc geupdate en werkend
• virtualbox service geupdate naar 4.1.18 die pas uit is
• nieuwe services: apache en mysql met phpmyadmin frontend (* moet ik nog schrijven)
• introductie van 'grafische services' met dependencies. Je kunt een Gnome of XFCE desktop draaien, en andere grafische services. Denk aan VirtualBox die je fullscreen Windows of Ubuntu Linux kunt laten draaien, of een vncserver die via VNC een grafische desktop geeft. Dat soort dingen.

Ik ben nu vooral bezig die LiveCD te tweaken, dat is echt nog enorm veel werk. Maar ik heb het nu zover dat de LiveCD kan booten, alles installeert en uiteindelijk een grafische desktop geeft en firefox opent met de ZFSguru web-interface zichtbaar. Best wel chill!

Goed om te horen dat er toch nog iemand actief is Het klinkt in ieder geval allemaal als muziek in de oren! Ik zal dan nog wat geduld uitoefenen en wachten op jouw build. Ik wou dat ik kon helpen maar spijtig genoeg heb ik daar niet genoeg kaas van gegeten.

Van die grafische toepassingen wordt ik niet perse enthousiast. Ik hoop vooral dat in deze versie samba incl. recycle bin out of the box werkt. Daar blijf ik namelijk problemen mee houden en moet ik dus zelf dingen gaan compileren. Ik denk ook dat de behoefte aan sickbeard, sabnzbd(, lazylibrarian) en headphones erg groot is. Als laatste lijkt me een integratie van cron een essentiële feature voor elke build en het ook een password protected terminal. Nu kan iedereen met toegang tot de server root toegang krijgen zonder password. Dat vind ik wel het meest onveilige aan zfsguru. Voor externe ssh toegang zou voor de veiligheid denyhosts wel handig zijn maar dat is echt heel simpel zelf te installeren.

Wel relax trouwens dat het nu apache de standaard wordt en dat mysql als service te installeren is. Dat scheelt toch weer een stap in de installatie aangezien ik lighttpd gelijk vervang door apache. Hier weer de tip om de gebruiker te keuze te geven welke map als document root mag dienen. Wegens data veiligheid van mijn andere projecten staan al mijn php/html bestanden namelijk op mijn data pool ipv mijn root pool.

quote:

CurlyMo schreef op zondag 01 juli 2012 @ 01:06:
Ik denk ook dat de behoefte aan sickbeard, sabnzbd(, lazylibrarian) en headphones erg groot is. .

Voor mij persoonlijk zijn het ook vooral deze services die moeten werken, en dan liefst zo eenvoudig mogelijk. Even prutsen is misschien leuk maar voor mij is het toch eenvoudiger als het met enkele klikken geregeld kan worden. Al die andere (geupdate) services zijn een goede aanvulling maar zolang mijn NAS stabiel is, kan downloaden en aan normale snelheden data kan uitspuwen naar zijn gebruikers ben ik al tevreden

Wel aardig, dit blijft heel persoonlijk. Zo vind ik die usenet services niet interessant. Zorg gewoon voor een goede basis, een goede host. Zaken als Infiniband (los van dat ik daar zelf niet mee bezig ben), updates van netwerk protocollen en virtualbox zijn naar mijn mening waardevoller. Die grijpen dieper op je OS in (eerste twee) en zijn bouwblokken om andere zaken gedaan te krijgen.
De diverse simpele software, waaronder usenet, torrents, mailservers, ... zijn applicaties die je zelf zou kunnen installeren of in een virtuele machine kunt gooien. Zo kan ik mij zo voorstellen dat er inmiddels al Turnkeys zijn voor usenet. En de derde vorm is natuurlijk dat een aantal enthousiastelingen zich ermee bezighouden, zoals ook daadwerkelijk gebeurd. Er is al een topic op het ZFSguru forum over de usenet applicaties. Dat ontlast CiPHER ook meteen.

@CiPHER:

Heb jij nog contact met Jason? of heeft hij ook met jou het contact verbroken?

En heb je al nagedacht over het eventueel overnemen van de ontwikkeling? misschien kan een git repo worden aangemaakt, zodat meer mensen kunnen bijdragen aan ZFSguru.

quote:

Dadona schreef op zondag 01 juli 2012 @ 13:28:
Wel aardig, dit blijft heel persoonlijk. Zo vind ik die usenet services niet interessant. Zorg gewoon voor een goede basis, een goede host. Zaken als Infiniband (los van dat ik daar zelf niet mee bezig ben), updates van netwerk protocollen en virtualbox zijn naar mijn mening waardevoller. Die grijpen dieper op je OS in (eerste twee) en zijn bouwblokken om andere zaken gedaan te krijgen.
De diverse simpele software, waaronder usenet, torrents, mailservers, ... zijn applicaties die je zelf zou kunnen installeren of in een virtuele machine kunt gooien. Zo kan ik mij zo voorstellen dat er inmiddels al Turnkeys zijn voor usenet. En de derde vorm is natuurlijk dat een aantal enthousiastelingen zich ermee bezighouden, zoals ook daadwerkelijk gebeurd. Er is al een topic op het ZFSguru forum over de usenet applicaties. Dat ontlast CiPHER ook meteen.

De vraag is natuurlijk op welke doelgroep ingezet wordt. Naar mijn idee hebben veel gebruikers een NAS staan voor dataopslag met daarnaast services zoals usenet en torrents. Volgens mij is de doelgroep die via ESXI allerlei verschillende gevirtualiseerde omgevingen draaien in de minderheid. Ook zie ook veel overzichtelijke builds langskomen. Dat is ook de reden dat ik de toevoeging van virtualbox ook niet zo goed snap. Wil je virtualiseren dan zou je dat het beste kunnen doen door gewoon XEN te draaien en dan ZFSGuru als (één van de) guest. ZFSGuru gaat natuurlijk op deze manier nooit de status bereiken die XEN heeft en dat zou dan ook het doel naar mijn idee niet moeten zijn. De vraag is dus waar ZFSGuru zich op wilt richten; de normale tweaker met NAS ambities of de professionele storage builders.

Twee schijven in mijn ZFS pool laten (soms) het volgende zien:





Stuk?

IBM M1015 in IT met 10x 1.5TB WD Green RAIDZ2.
SMART klaagt over hoge load cycle ~500000.

quote:

CurlyMo schreef op zondag 01 juli 2012 @ 18:41:
[...]

De vraag is natuurlijk op welke doelgroep ingezet wordt. Naar mijn idee hebben veel gebruikers een NAS staan voor dataopslag met daarnaast services zoals usenet en torrents. Volgens mij is de doelgroep die via ESXI allerlei verschillende gevirtualiseerde omgevingen draaien in de minderheid. Ook zie ook veel overzichtelijke builds langskomen. Dat is ook de reden dat ik de toevoeging van virtualbox ook niet zo goed snap. Wil je virtualiseren dan zou je dat het beste kunnen doen door gewoon XEN te draaien en dan ZFSGuru als (één van de) guest. ZFSGuru gaat natuurlijk op deze manier nooit de status bereiken die XEN heeft en dat zou dan ook het doel naar mijn idee niet moeten zijn. De vraag is dus waar ZFSGuru zich op wilt richten; de normale tweaker met NAS ambities of de professionele storage builders.

Vooropgesteld, we komen nu al snel in de situatie dat persoonlijke voorkeur naar voren wordt gebracht als de betere optie. Één waarin gebruikers redeneren naar een situatie die de meest efficiënte oplossing voor hun wens oplevert.
En wat dat betreft is wel duidelijk dat naar mijn mening de devs zich in eerste instantie bezig moeten houden met het leveren van een basis met de hoogste prestaties. Daar heeft iedereen wat aan. De services, scripts en andere zaken is in eerste instantie het terrein voor andere ontwikkelaars (en de devs als ze zelf iets leuks willen/nodig hebben). Maar dan kom je al heel snel bij persoonlijke wensenlijstjes uit. (Die wil timemachine, die previous versions, die een UPS service plugin en weer een ander een webcam service.)

Wat jouw reactie betreft. Ik denk dat het zeker klopt dat velen de consumenten NAS nastreven en minder een pure NAS.
Maar zoals ik al zei kun je de consumenten NAS al bereiken met ZFSguru. De vraag is of ZFSguru dat nu al moet bieden. Ik had het er al over dat je zulke zaken al zelf kunt bereiken. Je kunt zelf software installeren (dankzij de keuze om ZFSguru gebruik te maken met een volledige FreeBSD installatie), je kunt scripts delen om dat makkelijk te maken (op het forum) en tot slot kun je je wenden tot een turnkey in een VM. Nu kun je desondanks veel tijd in de services steken, maar je gaat dan al snel naar een FreeNAS (en OpenMediaVault maar daarbij mis je ZFS) achtig OS, dat zoveel mogelijk van de populaire services wil aanbieden. Het enige verschil is dat je dan nog wel makkelijk zelf dingen wil installeren, terwijl een aantal mensen nu net aangaven dat weer niet te willen.
Voor de pure NAS is er ook software beschikbaar, alleen dan zit je niet meer bij FreeBSD of zelfs ZFS. Dat is waar ik het eerder over had. Zorg dat je van daaruit een sterke basis opzet. Zorg voor maximale prestaties van netwerk protocollen en storage. Daar bovenop kun je dan van alles zelf installeren middels services, standaard software of het in een VM plaatsen en zodoende bijvoorbeeld OpenMediaVault/FreeNAS/... krijgen.

Wat jouw opmerkingen over virtualisatie betreft mis je het punt. Je noemt twee hypervisors die (vooralsnog*) geen van beide iets te maken hebben met FreeBSD. ESXi en Xen zijn andere beestjes dan Virtualbox.
De toevoeging van Virtualbox heeft als unieke voordeel dat je een VM op ZFS kunt draaien. Je krijgt weliswaar een performance penalty, maar je profiteert wel de integriteit van de data. Bij Xen en ESXi heb ik dit eerder al minimaal ter discussie gesteld. Zeker als je een controller als de M1015 inzet dan heb je VT-d nodig om de controller door te kunnen geven aan een VM. Doe je dit niet dan verliest ZFS één van de krachtige functionaliteiten om op block niveau problemen te herkennen.
Nu kun je hardware aanschaffen waarmee je wel hardware door kunt geven aan een VM, maar die is langs de andere kant voor velen weer overkill. Je hebt namelijk minimaal een i5 of Xeon nodig. En daarnaast heb je een wat duurder moederbord nodig.

* Bij mijn weten is het nog altijd niet mogelijk om FreeBSD als Dom0 voor Xente laten draaien. Je kunt vooralsnog alleen een Linux, NetBSD of Solaris kernel inzetten voor de host. Het is dan ook alleen mogelijk om FreeBSD als een gast te laten draaien.

Deze discussie laat ik vanaf nu even voor wat die is, aangezien anders teveel verzanden in iets waarvoor dit topic denk ik niet bedoeld is. Ik snap je punten en zoals je zegt is het voor iedereen anders.

MegaPost warning!

quote:

CurlyMo schreef op zondag 01 juli 2012 @ 01:06:
Van die grafische toepassingen wordt ik niet perse enthousiast.

Mwa het is best leuk een grafische LiveCD te hebben voor BSD platform; dat is er nog maar weinig. FreeSBIE leuk dat te worden maar heb er maar weinig meer van gehoord.

Om een paar nuttige scenario's te schetsen:

• Voor gebruikers die niet bekend zijn met command line en unix enzo en rustig aan willen doen. Ze pleuren een LiveCD erin en krijgen na een tijd een grafische interface die ze met hun muis kunnen besturen en er verschijnt automatisch de ZFSguru web-interface die ze de welcome wizard laat starten. Dat is toch netjes?
• Je gebruikt het om op je server firefox te gebruiken om te googlen naar probleempjes, bijvoorbeeld als je server in een serverhok staat
• Je installeert de grafische VirtualBox met OpenGL ondersteuning en je kunt OpenGL-accelerated guests draaien fullscreen. Windows, Ubuntu.. kan allemaal.
• Je installeert Wine en de nVidia binary driver en je kunt zelfs spellen spelen. Phoronix had laatst eens getest dat Wine op FreeBSD met nVidia regelmatig sneller draait dan Ubuntu. Maar alleen nVidia heeft goede FreeBSD drivers, on-par met linux.

Je kunt ook zelf kiezen, download ik de LiveCD met normaal command line, of de zware grafische versie? Je kunt achteraf een installatie ook van grafische schil voorzien door de services te installeren via ZFSguru GUI. Kortom, ik vind het best een mooie toevoeging! Maar ik snap heel goed dat voor veel mensen geldt dat ze geen GUI draaien; natuurlijk, dat is in veel gevallen een juiste afweging. Maar het kán nu dus wel, als iemand daar behoefte aan heeft.

Bovendien was het vooral een uitdaging om alles technisch werkend te krijgen. Niet eens al die pakketten enzo, maar vooral het feit dat services nu dependencies hebben en veranderingen in allerlei scripts. Dus het zijn vooral verbeteringen aan ZFSguru die ik doe, en eigenlijk ben ik niet zoveel tijd kwijt met de services zelf. Wel is die X met Gnome een B*tch om te compileren! En dan draait de compileserver nog wel een stoere quadcore op 'RAMdisk' (tmpfs).

quote:

Ik hoop vooral dat in deze versie samba incl. recycle bin out of the box werkt. Daar blijf ik namelijk problemen mee houden en moet ik dus zelf dingen gaan compileren.

Kun je me daar wat mee helpen dan? Wat is er nodig om dat te laten werken? Welke compile opties? Heb je bijvoorbeeld WinBIND of LDAP nodig? Want dat schakel ik (en Jason eerst ook) altijd uit bij het compileren van Samba. Maar je kunt Samba prima zelf opnieuw compileren:
cd /usr/ports/net/samba36
make deinstall clean
make config
make install clean

Je hebt hierbij wel de portstree nodig, die je bij installatie kunt installeren. Achteraf kan ook: portsnap fetch en portsnap extract.

quote:

Ik denk ook dat de behoefte aan sickbeard, sabnzbd(, lazylibrarian) en headphones erg groot is.

SAB, SickBeard en Couchpotato zitten nu als service in ZFSguru. Ik heb naar deze service verder niet meer gekeken. Headphones en andere dingen kunnen er misschien wel in. Maar weet dat er een LaSi script is gemaakt door Kriss die SAB en veel andere apps voor je installeert.

quote:

Als laatste lijkt me een integratie van cron een essentiële feature voor elke build en het ook een password protected terminal. Nu kan iedereen met toegang tot de server root toegang krijgen zonder password. Dat vind ik wel het meest onveilige aan zfsguru. Voor externe ssh toegang zou voor de veiligheid denyhosts wel handig zijn maar dat is echt heel simpel zelf te installeren.

Als je de shell opent bij het inlogmenu, krijg je de tip dat je /etc/ttys moet editen als je van het loginmenu af wilt. Daar staan volgens mij comments in dus je hoeft alleen maar een # weg te halen en vlak erbij toe te voegen. Rebooten en klaar, normale login shell.

En wil je IPs afschermen, dan is /etc/pf.conf en de pf firewall mijn favoriet. Simpelweg de beste firewall, persoonlijke voorkeur uitgezonderd. NAT, traffic shaping, het kan allemaal.

quote:

Wel relax trouwens dat het nu apache de standaard wordt en dat mysql als service te installeren is. Dat scheelt toch weer een stap in de installatie aangezien ik lighttpd gelijk vervang door apache. Hier weer de tip om de gebruiker te keuze te geven welke map als document root mag dienen. Wegens data veiligheid van mijn andere projecten staan al mijn php/html bestanden namelijk op mijn data pool ipv mijn root pool.

Ehm, Lighttpd wordt niet vervangen door Apache. Lighttpd wordt nu enkel door de web-interface gebruikt en er komt Apache bij als add-on service voor het draaien van eigen spul naast de ZFSguru web-interface. Probleem is wel dat je niet beide op poort 80 kunt laten draaien, maar je zou wel Lighttpd op poort 81 kunnen draaien en Apache op 80, bijvoorbeeld.

Zelf vervangen kan natuurlijk altijd, en ZFSguru ziet ook als je Apache als server gebruikt op de services pagina, door apache te herstarten als je op die knop drukt.

Jason had trouwens wel gekeken naar FPM, een manier om PHP min of meer standalone te draaien. Dat leek wel een gave manier voor de ZFSguru web-interface die dan helemaal apart draait. Enige wat je daar aan wilt kunnen veranderen is de poort waarop het draait.

---

quote:

Wouter.S schreef op zondag 01 juli 2012 @ 12:15:
Voor mij persoonlijk zijn het ook vooral deze services die moeten werken, en dan liefst zo eenvoudig mogelijk. Even prutsen is misschien leuk maar voor mij is het toch eenvoudiger als het met enkele klikken geregeld kan worden.

Ja, ik vind dit ook erg gaaf. Als de builds straks echt goed werken en er wekelijks verse images uitkomen, kun je ook altijd up to date blijven als je dat wilt. Bovendien, doordat je precies dezelfde software draait als iedereen anders, heb je ook minder kans op vage problemen die alleen bij jou voorkomen. En vaak zijn het kleine dingen om goed in te stellen maar als gebruiker kom je daar nooit achter; iemand moet dat gewoon zo fixen dat het automatisch gebeurt.

---

quote:

Dadona schreef op zondag 01 juli 2012 @ 13:28:
Wel aardig, dit blijft heel persoonlijk. Zo vind ik die usenet services niet interessant. Zorg gewoon voor een goede basis, een goede host.

Dat is er toch? De basis system image heeft alleen basale dingen en is dus heel slank. Het meest uit het oog springende is Samba, wat Jason eerst ook in een service wilde veranderen maar later toch vanaf zag. Voor de rest draai je behoorlijk kaal, maar wel met een volledige FreeBSD distro zonder OS-files wegbezuinigd. Daar houden we niet van.

Het idee is dus dat je begint met een zo goed als kaal systeem, waarbij je zelf kiest welke extra functionaliteit je wilt gebruiken en welke niet. Dan blijven de dingen die je niet wilt ook van je systeem die geheugen, opslag en CPU-tijd verspillen.

Je hebt als gebruiker dus alle vrijheid - althans met dit concept van slanke system image met addon services. Op dit moment stelt het in de praktijk nog weinig voor omdat er niet zoveel services beschikbaar zijn. Maar er komen er binnenkort al een aantal bij.

Maargoed, dit terzijde. Het punt is dat je als gebruiker de vrijheid hebt. Pietje wil A, Jantje wil B. Dat kan, dat mag. Vrijheid, blijheid..

quote:

Zaken als Infiniband (los van dat ik daar zelf niet mee bezig ben), updates van netwerk protocollen en virtualbox zijn naar mijn mening waardevoller. Die grijpen dieper op je OS in (eerste twee) en zijn bouwblokken om andere zaken gedaan te krijgen.

Die zitten er toch al een tijdje in? VirtualBox heeft hoge prioriteit gekregen, ondanks dat het best wel veel werk was om dat allemaal out-of-the-box werkend te krijgen! Vooral dat laatste; Jason wilde het perfect. Het moest allemaal gelijk werken, precies. Mét VNC support anders had je er nog niets aan; iets wat door FreeBSD eigenlijk alleen geboden wordt wanneer de VMs via de command line gestart worden. Maar via een leuke workaround werkt dat toch met phpVirtualBox frontend. Dat zijn die kleine perfecties die ZFSguru denk ik wel een vorm van allure heeft gegeven. Er zit veel potentie in en veel creatieve ideeën.

---

quote:

CurlyMo schreef op zondag 01 juli 2012 @ 18:41:
[...]
De vraag is natuurlijk op welke doelgroep ingezet wordt.

Ik denk dat die doelgroep erg breed is. Zo raad ik ZFSguru ook aan voor mensen met een Windows onboard SSD RAID setup en één of meer partities willen TRIMmen. Dat kun je lekker makkelijk doen via de GUI. ZFSguru wordt ook gebruikt voor benchmarking. Kortom; het hoeft geeneens een NAS te zijn.

Natuurlijk blijft een sterke nadruk op ZFS liggen en dus ook het hele gebeuren rondom opslag. Maar het leuk om te zien dat een vrij specifieke distro toch breed ingezet kan worden.

quote:

Ook zie ook veel overzichtelijke builds langskomen. Dat is ook de reden dat ik de toevoeging van virtualbox ook niet zo goed snap. Wil je virtualiseren dan zou je dat het beste kunnen doen door gewoon XEN te draaien en dan ZFSGuru als (één van de) guest.

Dan draai je dus ZFSguru als guest en niet als host. De 64-bit Xen guest drivers ondersteunen ook nog geen PV drivers (paravirtualisatie). Kortom, zo sexy is deze opstelling niet. Maar zodra FreeBSD als Xen dom0 dus host kan draaien, wordt het wel leuk. Dan draai je als host ZFS met Xen waarbij je een videokaart kunt doorgeven aan een Windows guest en er op kunnen gamen terwijl de opslag op ZFS komt. Zoiets lijkt me gaaf om mee te stoeien.

quote:

ZFSGuru gaat natuurlijk op deze manier nooit de status bereiken die XEN heeft en dat zou dan ook het doel naar mijn idee niet moeten zijn.

Euh? Je vergelijkt ZFSguru met Xen? Dat is net zoiets zeggen als dat ZFSguru nooit Apache kan vervangen.
ZFSguru/FreeBSD is een OS en Xen/VirtualBox een applicatie, ook al heeft dit kernel componenten. En dergelijke applicaties kun je vanzelfsprekend op de betreffende OSen gebruiken. Dus ik volg je betoog niet helemaal.

quote:

De vraag is dus waar ZFSGuru zich op wilt richten; de normale tweaker met NAS ambities of de professionele storage builders.

Jason wilde héél duidelijk ZFSguru voor zowel geavanceerdere als beginnende gebruikers ontwerpen. De web-interface is ondanks de jonge status van het project ook mooi opgezet en bijna zonder handleiding te begrijpen. Bijna, want het kan zeker beter. Jason wilde zo ver gaan om voor élke invoerbox een helpbutton te maken met een lap tekst. Alles wat je moet weten over die ene optie op één plek. Best een gaaf idee, indien goed uitgewerkt.

Maar het doel is dus om niet in te leveren op complexiteit of features en toch een duidelijke interface te hebben - zonder dat het te complex wordt om te begrijpen, zoals ik bij napp-it het gevoel heb. Als ik dat al ingewikkeld vind; lolz hoe gaat een normale sterveling die ZFS eens uit wil proberen zich daarmee redden?

Het is juist de uitdaging om verschillende groepen doelgroepen te verenigen. De modulaire opbouw van ZFSguru biedt daar genoeg potentie voor. Nu nog afbouwen die handel.

---

quote:

Dadona schreef op zondag 01 juli 2012 @ 20:36:
[...]
Vooropgesteld, we komen nu al snel in de situatie dat persoonlijke voorkeur naar voren wordt gebracht als de betere optie. Één waarin gebruikers redeneren naar een situatie die de meest efficiënte oplossing voor hun wens oplevert.

Uhhuh. Maar mijn punt is nu ook juist dat ieder kan krijgen wat hij wilt, althans als die services goed uitgewerkt worden.

Dan kun je je NAS of server precies zo maken als jij wilt: een pure kale NAS die alleen Samba en/of NFS doet? Of toch een multi-purpose server misschien zelfs grafisch? Je kunt het zelf bepalen en that's the point.

quote:

En wat dat betreft is wel duidelijk dat naar mijn mening de devs zich in eerste instantie bezig moeten houden met het leveren van een basis met de hoogste prestaties.

quote:

Zorg dat je van daaruit een sterke basis opzet. Zorg voor maximale prestaties van netwerk protocollen en storage.

Euh? Ik ben niet zo'n ultranerd die op freebsd-hackers@ rondzoeft.

Dus zorgen voor de hoogste prestaties? Euh? Je bedoelt misschien het optimaliseren van config files enzo? Anders snap ik eigenlijk niet wat je bedoelt, want dat ik niet aan projecten als FreeBSD TCP/IP stack, Samba of netwerkprotocollen ga sleutelen snap je volgens mij zelf ook wel.

Het gaat mij inderdaad om optimalisatie van config files. Zo hebben Samba en NFS nog wel wat optimalisaties nodig (een deel ervan is aan bod gekomen op het forum). En ik zeg ook niet dat de focus of manier (service) anders moet zijn, ik heb het over het uitgangspunt en dat is waar jij/jullie daadwerkelijk mee bezig zijn. Dus zie het meer als een algemene reactie, niet direct op jou, CiPHER, gericht.

Dadona wijzigde deze reactie 02-07-2012 10:42 (14%)

quote:

CiPHER schreef op maandag 02 juli 2012 @ 01:11:
Kun je me daar wat mee helpen dan? Wat is er nodig om dat te laten werken? Welke compile opties? Heb je bijvoorbeeld WinBIND of LDAP nodig? Want dat schakel ik (en Jason eerst ook) altijd uit bij het compileren van Samba. Maar je kunt Samba prima zelf opnieuw compileren:
cd /usr/ports/net/samba36
make deinstall clean
make config
make install clean

Het is heel simpel te testen. Zorg dat er een tijdelijk share komt waarin je de volgende config zet. Dit werkte tot nu toe in de samba die door zfsguru wordt geinstalleerd niet. Als ik gewoon 3.6.1 zelf compileer met standaard waarden vanaf de source verkregen vanaf de samba ftp (dus niet via ports) dan werkt het wel.
code:

[temp]
    path = ...
    writable = yes
    browseable = yes
    vfs objects = recycle
    recycle:repository = PAD NAAR DE RECYCLE BIN
    recycle:keeptree = Yes
    recycle:touch = Yes
    recycle:versions = Yes
    recycle:maxsize = 0
    recycle:exclude =
    recycle:excludedir =
    recycle:noversions =

Als je een bestandje van deze temp share verwijderd, dan moet die eindigen in de directory die je als recycle bin hebt aangemerkt. Dit werkte dus niet in de standaard installatie.

quote:

CiPHER schreef op maandag 02 juli 2012 @ 01:11:
Als je de shell opent bij het inlogmenu, krijg je de tip dat je /etc/ttys moet editen als je van het loginmenu af wilt. Daar staan volgens mij comments in dus je hoeft alleen maar een # weg te halen en vlak erbij toe te voegen. Rebooten en klaar, normale login shell.

Wat ik hier bedoel is dat ik wel het "grafische" menu krijg te zien maar wanneer ik op shell toegang druk in eerst een wachtwoord moet invoeren. Hetzelfde voor opties als het resetten van de webinterface en ip adres.

quote:

CiPHER schreef op maandag 02 juli 2012 @ 01:11:
En wil je IPs afschermen, dan is /etc/pf.conf en de pf firewall mijn favoriet. Simpelweg de beste firewall, persoonlijke voorkeur uitgezonderd. NAT, traffic shaping, het kan allemaal.

Ik snap natuurlijk de functie van een firewall maar het gaat erom dat ik - wanneer ik ssh openzet - ik geen hackers wil faciliteren. Denyhosts zorgt ervoor dat wanneer iemand meer dan 3x het verkeerde wachtwoord gebruikt het ip adres automatisch wordt geblokkeerd. Zo kan ik op verschillende locaties veilig mijn server beheren.

En cron natuurlijk waarin je in je lange verhaal niet op was ingegaan

CurlyMo wijzigde deze reactie 02-07-2012 11:14 (33%)

Kun je al die diensten niet combineren, door het openbreken van de specifieke configs? Wat ik fijn/goed vind aan ZFSguru is dat je veel specifieke settings via de webinterface kan regelen. Misschien moet dat ook wel kunnen voor compile opties en specifieke opties voor pakketten als Samba en LDAP ofzo.

Bovendien is ZFSguru nu alles behalve vergelijkbaar met een Consumenten NAS. Juist die services is wat een NAS een NAS maakt. De snelheid is juist van lagere prio bij consumenten systemen, het moet gewoon werken en daarmee basta. Snelheid is leuk, maar belangrijker voor de duurdere modellen.

Belangrijk is het modulair / pluginbased zijn, zodat elke gebruiker ermee kan wat hij/zij wil.
Juist dat vind ook ik belangrijker. Als SabNZBd, Sickbeard, Couchpatato, Headphones, en Periscope standaard services zijn, ben ik gelukkig .
Ook een torrentdeamon is handig, en ondersteuning voor virtualisatie in de webinterface is een pré.

Ik zie net dat kqemu-kmod ook ondersteund is onder FreeBSD, is dat niet leuk om te proberen?

FireDrunk wijzigde deze reactie 02-07-2012 11:42 (4%)

quote:

CiPHER schreef op zaterdag 30 juni 2012 @ 20:22:

ik wil binnenkort een livecd releasen die:

• gebaseerd is op huidige FreeBSD 9-STABLE code (dus nieuwer dan 9.0)
• geschikt voor InfiniBand networking
• nieuwste versies van Samba en andere packages
• bestaande services: netatalk, istgt, ajaxplorer, etc geupdate en werkend
• virtualbox service geupdate naar 4.1.18 die pas uit is
• nieuwe services: apache en mysql met phpmyadmin frontend (* moet ik nog schrijven)
• introductie van 'grafische services' met dependencies. Je kunt een Gnome of XFCE desktop draaien, en andere grafische services. Denk aan VirtualBox die je fullscreen Windows of Ubuntu Linux kunt laten draaien, of een vncserver die via VNC een grafische desktop geeft. Dat soort dingen.

Ik ben nu vooral bezig die LiveCD te tweaken, dat is echt nog enorm veel werk. Maar ik heb het nu zover dat de LiveCD kan booten, alles installeert en uiteindelijk een grafische desktop geeft en firefox opent met de ZFSguru web-interface zichtbaar. Best wel chill!

Dat klinkt goed

Ik had vrijdag opeens wat meer errors (2 disks opeens met 500+) en hogere temps dan gewoonlijk
Een zpool z2 met 10 disks (EARS) die uiteraard alle disks met errors bevat en 1 z2 set van 6 disks (EARS+EADS mixed)

ada0 Healthy no sensor3601? active • 0 passive2.4 months
ada1 Healthy 39°C • 102°F11744329900 active • 0 passive7.8 months
ada2 Healthy 42°C • 108°F30616869300 active • 0 passive1.9 years
ada3 Healthy 42°C • 108°F1245376100 active • 0 passive4.1 months
ada4 Healthy 38°C • 100°F262669550 46 active • 0 passive1.2 years
ada5 Healthy 39°C • 102°F2884819600 active • 0 passive11.8 months
da0 Healthy 41°C • 106°F2974079800 active • 0 passive11.4 months
da1 Healthy 37°C • 99°F33660737 02 active • 0 passive1.4 years
da10 Warning 48°C • 118°F29514890500 active • 0 passive1.9 years
da11 Healthy 40°C • 104°F3357307500 active • 0 passive1.4 years
da2 Healthy 39°C • 102°F32562842020 active • 0 passive1.4 years
da3 Healthy 39°C • 102°F2813255000 active • 0 passive9.2 months
da4 Warning 46°C • 115°F341884860 594 active • 0 passive1.4 years
da5 Healthy 36°C • 97°F184923427100 active • 0 passive11.1 months
da6 Warning 47°C • 117°F223303490 555 active • 0 passive7 months
da7 Healthy 43°C • 109°F3369514700 active • 0 passive1.4 years
da8 Healthy 41°C • 106°F31430400 active • 0 passive2.1 years
da9 Healthy 39°C • 102°F2966117500 active • 0 passive1.4 years

Ik heb er een fan bijgehangen en alle temps zijn nu weer normaal (35-40°C) behalve 1 disk nog 46°C. Misschien moet ik die originele 14cm Fractal fans toch vervangen door iets krachtigers...

Heb inmiddels een backup disk erbij gehangen en da4 zero-write gedaan en bad sectors zijn weer weg. Daarna nog een zero-write op de andere disk en die 2 disks gaan naar de kleinere pool.

Toch nog een redelijke lijst met errors (da11 heeft nu ook 1 en da2 19), is dat normaal om wat errors te hebben (hoeveel? en wanneer dan een zero-write doen of vervangen?) ?

Ik zal later toch naar die sendmail optie moeten kijken om een notificatie te ontvangen inzake temps en bad sectors

Smart waardes?

Ik had gehoopt op wat meer algemene feedback maar bij deze mijn SMART data

Bij mijn vorige windows installatie (met ARECA raid) zie je deze meldingen niet (volgens mijn kijken de meeste mensen niet naar de SMART data, ik iig niet) en het is uiteraard goed dat je deze informatie wel krijgt met ZFSguru maar je maakt je dan wel weer sneller ongerust als er wat nummertjes gaan oplopen

iRReeL wijzigde deze reactie 02-07-2012 15:20 (55%)

DA5: 1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 71
DA7: 1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 1

Ik ben van plan om het volgende systeem aan te schaffen voor een ZFS server met een RAID-Z1 array:

#	Product	Prijs	Subtotaal
1	Intel Core i3 2100	€ 101,90	€ 101,90
1	be quiet! Efficient F1 350W	€ 50,10	€ 50,10
1	Samsung 830 series Desktop Upgrade Kit 64GB	€ 60,37	€ 60,37
1	Kingston ValueRAM KVR1333D3N9K2/8G	€ 41,95	€ 41,95
1	Intel Desktop Board DH67BL (B3)	€ 84,30	€ 84,30
3	Samsung Spinpoint F3 HD103SJ, 1TB	€ 0,00	€ 0,00
Bekijk collectie Importeer producten		Totaal	€ 344,12

Er komen voornamelijk films/series en muziek op te staan. En nog data/backups van laptops.
Naast ZFS wil ik ook nog een MySQL database draaien + Sabnzbd, Sickbeard en Couchpotato. En heel misschien in de toekomst nog een webserver of virtualbox om mee te spelen (maar dat is niet belangrijk),

Ik weet nog niet welk platform ik wil kiezen, maar ik nijg op dit moment naar ZFSguru. Ik heb een heel klein beetje ervaring met FreeBSD, en ik wil graag een platform waarmee ik snel/makkelijk een ZFS opstelling kan realiseren en beheren. Alleen weet ik niet hoe stabiel/toekomst-proof ZFSguru is?

Heeft iemand nog tips/aanbevelingen voor mij?

ImmortalSoul wijzigde deze reactie 02-07-2012 16:04 (9%)

3 Disks in RAIDZ1? Overigens kun je met jouw config wel een PicoPSU gebruiken.

quote:

FireDrunk schreef op maandag 02 juli 2012 @ 16:25:
3 Disks in RAIDZ1? Overigens kun je met jouw config wel een PicoPSU gebruiken.

Ik zou ook voor iets meer disks gaan dan 3 in een RAIDZ-1.

Nou ja, het kan wel, en is niet traag, en als hij de disks heeft liggen is het geen slecht idee hoor. Maar inderdaad, je kan voor nog meer disks gaan...

Ikzelf zou geen z1 gebruiken (al helemaal niet met die disks wat ik heb blijkbaar ) maar dat hangt ervanaf hoe belangrijk de data is. En disks zijn nogal duur op het moment, geef ik toe.

Ik begrijp dat ZFS onder linux nog altijd niet 100% is, ik weet ook niet of je linux ervaring hebt.

Helaas heb ik alleen windows ervaring, ik had eerst OpenIndiana met napp-it en dat is best eenvoudig te installeren maar net zoals bij Freenas etc heb je weinig mogelijkheden om extra's te installeren.

Uiteindelijk ben ik dan bij ZFSguru uitgekomen omdat er dan meer opties zijn (alhoewel het mij wel tegen valt om zelf dingen te installeren).

Gezien je wens lijst zie ik geen andere optie dan ZFSguru, als de 'nieuwe' versie uitkomt binnenkort heb je het meeste eenvoudig aan het werk, Sabnzbd, couchpotato etc.

Andere optie is om FreeBSD te gebruiken en het zelf allemaal te configureren (ZFS zelf valt nog wel mee). Maar als je bij ZFSguru niet de laatste ZFS versie gebruikt kun je ook weer heel makkelijk overstappen op een andere distributie/OS indien nodig. En eventueel kun je uiteindelijk zelf de laatste Freebsd te installeren mocht dat nodig zijn.

Een van de grote voordelen van ZFS is dan ook dat je de hele dataset/zpool makkelijk kunt importeren in een ander OS (mits de versies gesupport zijn).

Voor mezelf kijk ik wel hoe het verder gaat met ZFSguru en mocht het toch stil komen te liggen zal ik wellicht zelf FreeBSD installeren en verder configureren (ik kijk er niet naar uit ). Misschien zijn tegen die tijd ook FreeNAS / Napp-it verder met alle gewenste opties dus kan ik evt overstappen.

Dus ik zou zeggen download de ZFSguru cd, installeer het en kijk of het voor je voldoet

quote:

FireDrunk schreef op maandag 02 juli 2012 @ 16:25:
3 Disks in RAIDZ1? Overigens kun je met jouw config wel een PicoPSU gebruiken.

Ik heb naar die PicoPSU's gekeken, maar ik zag toch veel negatieve verhalen over hoge vermogen adapters als je veel harde schijven hebt die weer vrij duur zijn. Uiteindelijk heb ik nergens goed kunnen vinden wat ik nu precies nodig heb qua wattage (overal verschillende cijfertjes). Een ATX voeding leek me makkelijker/goedkoper.

Ik gebruik dezelfde drie disks nu in een Raid-5 opstelling met een onboard raid-controller. Uiteraard is dat niet heel ideaal en daarom wil ik naar ZFS. Nieuwe harde schijven zijn op dit moment gewoon te duur, dus daarom wil ik het nog even een jaartje met die 3 disks redden.
Met RAID-Z1 kan ik dan nog het meeste uit mijn bestaande hardware halen.

@iRReel, mijn linux ervaring is ongeveer hetzelfde als FreeBSD.

ImmortalSoul wijzigde deze reactie 02-07-2012 16:54 (8%)

Ik ben bijna zover om mijn build aan te schaffen, wat zouden de ZFS fans hier graag getest willen hebben?
Eventueel in aanloop naar het nieuwe topic om zoveel mogelijk systemen te testen.

quote:

revox862 schreef op zondag 01 juli 2012 @ 19:35:
Twee schijven in mijn ZFS pool laten (soms) het volgende zien:
Stuk?

Nee, gewoon background I/O denk ik. Je kunt wat meer testjes doen. Heb je verder ergens last van in de praktijk qua traagheid?

quote:

Dadona schreef op maandag 02 juli 2012 @ 10:41:
Het gaat mij inderdaad om optimalisatie van config files. Zo hebben Samba en NFS nog wel wat optimalisaties nodig (een deel ervan is aan bod gekomen op het forum).

Haha ja zoiets dacht ik al. Want zorgen voor extra performance is juist iets wat ik niet kan, hooguit de juiste software gebruiken en instellingen die standaard goede performance zouden moeten leveren.

Samba valt misschien nog wel e.e.a. aan te tweaken, maar NFS? Dat gezegd, ik heb mijn gezicht nog niet laten zien op het ZFSguru forum; dus ik loop er binnenkort wel tegenaan.

quote:

CurlyMo schreef op maandag 02 juli 2012 @ 11:01:
Het is heel simpel te testen. Zorg dat er een tijdelijk share komt waarin je de volgende config zet.

quote:

Als ik gewoon 3.6.1 zelf compileer met standaard waarden vanaf de source verkregen vanaf de samba ftp (dus niet via ports) dan werkt het wel.

En wat als je via de portstree compileert, want zaken buiten de portstree of package tree om installeren is eigenlijk _absoluut_ not done onder welke *NIX dan ook. Je package database klopt dan niet meer wat er daadwerkelijk geïnstalleerd is. Je moet ports of packages gebruiken om dingen netjes te houden.

Kortom, ik moet ergens kunnen lezen welke compile opties deze feature nodig hebben.

quote:

Wat ik hier bedoel is dat ik wel het "grafische" menu krijg te zien maar wanneer ik op shell toegang druk in eerst een wachtwoord moet invoeren. Hetzelfde voor opties als het resetten van de webinterface en ip adres.

Resetten van de web-interface is een optie die juist is bedoeld om je password te resetten; anders heb je jezelf buitengesloten. Alsin: de sleutel van de kluis zit in de kluis zelf, en hij gaat automatisch op slot. Ehm probleem?

Dus als ik dat login menu zo zou veranderen dat je niet meer kunt resetten zonder opgeven van het wachtwoord, dan heb je geen toegang meer tot je server als je je wachtwoord kwijt bent. Lijkt me niet de juiste manier? ZFSguru is niet iets wat door NSA en andere overheidsinstanties gebruikt wordt, waarbij fysieke beveiliging een duidelijke rol speelt. Het is niet vreemd dat een project gericht op home NAS gebruikers er vanuit gaat dat fysieke beveiliging geen issue is. Een methode om het wachtwoord te resetten is ook zeer welkom, dat vereist dan dat je fysieke toegang hebt. En laten we eerlijk zijn: iemand die fysieke toegang heeft, kan eigenlijk alles met je data. In elk geval vernietigen.

Misschien wel een optie om de password reset uit te schakelen en password te vragen voordat je naar de shell gaat. Maar is het niet makkelijker om het login menu gewoon uit te schakelen dan? Je wilt in feite alles wat het nu kan op slot zetten; dus gewoon weg login menu zorgt ook voor het gewenste resultaat? Dat laatste kan dus al, door de instructies in /etc/ttys op te volgen.

quote:

Ik snap natuurlijk de functie van een firewall maar het gaat erom dat ik - wanneer ik ssh openzet - ik geen hackers wil faciliteren.

De beste manier is om een handjevol IPs te whitelisten. Denyhosts is leuk maar beschermt niet tegen vulnerabilities in SSH. Ernstige vulnerabilities zouden nog steeds root toegang kunnen geven. Het beste is gewoon als iemand van internet helemaal geen contact kan maken met jouw NAS, maar alleen jij wel.

quote:

En cron natuurlijk waarin je in je lange verhaal niet op was ingegaan

Ja, de Task Manager functionaliteit. Denk niet dat het snel zal komen, maar is wel een top feature die veel gevraagd wordt. Iets om aan te werken nadat de basale dingen goed werken IMO. Jason had hier ook ideeën over maar hij zag er ook tegen op. De eerste prioriteit zijn de system images en services op dit moment. Toch de basis van ZFSguru. De web-interface doet al vrijwel alle ZFS handelingen. Maar bijvoorbeeld zfs send/receive is iets wat goed met de Task Manager kan worden gecombineerd.

quote:

FireDrunk schreef op maandag 02 juli 2012 @ 11:37:
Kun je al die diensten niet combineren, door het openbreken van de specifieke configs? Wat ik fijn/goed vind aan ZFSguru is dat je veel specifieke settings via de webinterface kan regelen. Misschien moet dat ook wel kunnen voor compile opties en specifieke opties voor pakketten als Samba en LDAP ofzo.

Compile opties kiezen gaat niet; dat werkt zo ook niet voor binary distro's zoals Ubuntu. Maar je kunt wel meerdere packages maken, zoals ik nu doe met bijvoorbeeld Virtualbox. De normale port is alleen voor command line met de phpvirtualbox web-interface frontend. Maar je kunt Virtualbox ook grafisch compileren zodat je gewoon de main window krijgt die je fullscreen kunt weergeven, bovendien heb je dan ook geluid. Dus komen er twee virtualbox ports met verschillende compile opties.

quote:

iRReeL schreef op maandag 02 juli 2012 @ 11:52:
Ik had vrijdag opeens wat meer errors (2 disks opeens met 500+) en hogere temps dan gewoonlijk

De temperatuur van je disks is echt te hoog hoor, daar moet je wat aan doen. Foto van je kast/schijven?

En verder die active bad sectors zijn eigenlijk niet zo spannend. Als die onleesbaar zijn omdat ZFS ze nooit gebruikt heeft, is dat niet zo erg (de-magnetisering). Dat wordt ook automatisch opgelost zodra ZFS er wel naar schrijft en die blocks dus in gebruik neemt. Dus als je een zpool scrub uitvoert, en je hebt daarna nog active/pending sectors op de disks, dan kunnen die geen kwaad.

Voor dit soort bad sectors is het typerend dat deze niet fysiek beschadigd zijn en dus na overschrijven gewoon weer gebruikt kunnen worden. Je ziet dit terug in de SMART-info omdat na het overschrijven de Current Pending Sector wel verlaagd wordt, maar de Reallocated Sector Count (omgewisselde sectoren) niet verhoogd wordt. Kortom: de sector in kwestie is niet echt bad, maar de schijf kan hem gewoon niet meer lezen. Bijvoorbeeld omdat het te lang gelezen is dat je naar die plek hebt geschreven óf gelezen.

Bij het lezen van een sector kan de hardeschijf 'voelen' hoe goed die sector is. Duurt het lezen langer dan gebruikelijk, maar lukt het wel, dan wordt de sector opnieuw beschreven volledig autonoom door de hardeschijf. Blijft de sector moeilijk leesbaar, dan wordt hij preventief vervangen. Ook doen hardeschijven aan background surface scans. Zo is het mogelijk dat een idle hardeschijf zelfs zonder SATA data kabel, toch aan het seeken en lezen is. Dat is gewoon background maintenance om bad/weak sectors op te sporen.

quote:

FireDrunk schreef op maandag 02 juli 2012 @ 15:33:
DA5: 1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 71
DA7: 1 Raw_Read_Error_Rate 0x002f 200 200 051 Pre-fail Always - 1

Dat is geen probleem. De raw value hiervan kun je toch niets mee. Je kunt wel zien hoe de schijf zelf denkt over de huidige waarde: 200 current, 200 wordt, 51 threshold. Dus op dit moment zit de schijf op de best mogelijke waarde voor die attribuut, en is ook nooit slechter geweest. RRER is een indicatie hoeveel bitcorrectie je nodig hebt om gegevens leesbaar te maken. Dus je kunt het zien als de 'mediumkwaliteit' van de hardeschijf. Ouderdom zal hier slechte waardes laten zien, wat voornamelijk een langzamere schijf tot gevolg heeft. Deze attribute is vergelijkbaar met Seek Error Rate, wat een goede indicatie is voor de kwaliteit van de leeskop. Als deze regelmatig niet op de gewenste plek uitkomt en dus opnieuw moet seeken, zul je dat terugvinden in de genormaliseerde smartwaarde (de raw value is ook hier niet interessant). Bijvoorbeeld als je een schijf buiten een HDD behuizing laat draaien zal de SER slechter zijn. Een hardeschijf wilt namelijk dat zijn eigen vibraties worden 'tegengewerkt' door bijvoorbeeld het metalen frame waarin het gehuisvest is. Zonder die tegenkracht zal een hardeschijf langzamer worden met seeken en dat vind je terug in de Seek Error Rate.

quote:

ImmortalSoul schreef op maandag 02 juli 2012 @ 16:52:
Ik heb naar die PicoPSU's gekeken, maar ik zag toch veel negatieve verhalen over hoge vermogen adapters als je veel harde schijven hebt die weer vrij duur zijn. Uiteindelijk heb ik nergens goed kunnen vinden wat ik nu precies nodig heb qua wattage (overal verschillende cijfertjes). Een ATX voeding leek me makkelijker/goedkoper.

Kijk eens naar de 150W PicoPSU met 150W netvoeding van Steacom:
pricewatch: Streacom PicoPsu 150W + 150W Adapter Power Kit

Hij is iets minder zuinig dan mijn eigen Mini-Box PicoPSU met 80W adapter, maar het verschil was hooguit één watt (14.0W versus 15.0W voor een NAS dat ik voor iemand heb gebouwd). De +12V adapter die dus 150W kan leveren (met nog meer als piekbelasting) is wel erg groot, maar dat heb je ook nodig ivm warmte.

Afhankelijk van je config kun je best veel schijven opspinnen met PicoPSU, maar dan moet je wel een zuinig systeem hebben. Een CPU met een lage TDP dus. Jouw 2100 is dat niet. Overweeg een Brazos setup als je echt zuinig (en goedkoop) wilt zijn.

Een zuinige schijf (Samsung F4EG) verbruikt maar 16W tijdens het opspinnen, oudere 7200rpm schijven tot 35W. De meeste moderne schijven schommelen tussen 18 en 25 watt. Dit is belangrijk als je voor PicoPSU gaat, want je wilt wel bij het indrukken van de stroomknop dat alle schijven kunnen opspinnen. Een 150W PicoPSU set zou zeker 6 desktopschijven moeten kunnen hebben. Met die Steacom adapter heb je nog aardig wat marge voor piekverbruik betreft. Maar dan moet je geen 95W CPU in je systeem gebruiken. Voor zo'n simpele setup is Brazos misschien wel het overwegen waard. Lekker goedkoop, zuinig, 6x SATA/600 poorten, PCI-express 2.0 x4 (met fysiek x16 slot) dus best leuk voor een instap ZFS NAS.

quote:

CiPHER schreef op maandag 02 juli 2012 @ 18:36:
De beste manier is om een handjevol IPs te whitelisten. Denyhosts is leuk maar beschermt niet tegen vulnerabilities in SSH. Ernstige vulnerabilities zouden nog steeds root toegang kunnen geven. Het beste is gewoon als iemand van internet helemaal geen contact kan maken met jouw NAS, maar alleen jij wel.

Dat is een goede suggestie, echter niet altijd praktisch als je zo nu en dan vanuit verschillende locaties wilt inloggen.

Als je SSH+keys op zichzelf niet wilt hoeven vertrouwen, maar het whitelisten van IPs onhandig is, dan is er een middenweg: Port knocking.
Doormiddel van een knockd daemon. Jij stuurt een pakketje naar een aantal door jou gekozen poorten en de knockd daemon kan dan een scriptje uitvoeren, waarin je bijvoorbeeld de SSH poort opent voor verkeer van buiten. Misschien kan dat zelfs IP specifiek, tot zo ver heb ik me niet verdiept.

Je SSH is dan standaard niet bereikbaar van buiten. Jij klopt op de juiste poorten (als een soort PINcode zeg maar) door er een pakketje naar te sturen, knockd zet de deur open en jij kunt naar binnen middels je SSH en eventuele key.
Als je klaar bent kan knockd de deur weer voor je sluiten door de sluit combo te knocken.

Maak een scriptje die dit voor je doet en je kunt waar ook op het internet een gaatje prikken enkel wanneer jij hem nodig hebt
Werkt ook leuk voor webUIs van bepaalde diensten trouwens, maar zorg dan wel voor encryptie, zoals SSL.

Meer info: http://www.zeroflux.org/projects/knock

Dat klinkt inderdaad wel erg leuk voor een NAS-project als ZFSguru. Dan kun je je eigen pincode samenstellen en je server toch in feite voor het hele internet beschikbaar maken en toch effectief beveiligen. Het mooiste zou zijn als dat knockd met pf firewall kan samenwerken. Dat lijkt me enorm gaaf!

Het kan gewoon een commando regel uitvoeren of een scriptje aanroepen.
Dus dat is denk ik geen probleem.

knock is tevens beschikbaar onder FreeBSD in ports (security/knock).

Lastige is dat de client niet echt heel erg portable is. Ik wil nog wel eens bij een random persoon, putty downloaden (losse executable) en even ssh-en.
Om dat nou via knock te doen, moet je weer lossen configs/tools downloaden naast Putty...

Is iets dergelijks niet mogelijk door 'in te loggen' met twee of drie usernames? Standaard krijgt een client vanaf welk IP dan ook wel een SSH schermpje, maar iedere entry zal worden aangemerkt alszijnde een verkeerde poging. Je hebt dus nog altijd een blacklist, alleen één stapje later en dat lijkt mij geen probleem te veroorzaken omdat bijna iedere poging genegeerd zal worden. Pas als je twee/drie keer een juiste username laat aankloppen kun je met de werkelijke gebruikersnaam vanaf dat IP inloggen. Op die manier kun je met alleen Putty (en minder opgestelde poorten) gewoon binnenkomen.

@Firedrunk: Vooropgesteld, ik weet niet wat allemaal mogelijk is met SSH. Maar in het ideale scenario plaats je de white/blacklist bijna volledig in het begin. Alleen met injection-like situaties zou je dan wat aan kunnen (als zoiets al mogelijk is), voor de rest reageert SSH dan enkel op een zeker IP of een specifieke gebruikersnaam.
Natuurlijk is dit niet ideaal, maar portknocking heeft ook zo zijn nadelen lijkt mij. Waar je bij 'mijn methode' de zaak 'open' hebt ten overstaan van de hele wereld, maar dan vatbaar bent voor exploits enz., heb je bij port knocking te maken met je directe omgeving. Meer specifiek, admins van netwerken die patronen zien in je netwerkgedrag. Nu zullen dat voor sommigen misschien de meest riskante mensen zijn?
Neemt niet weg dat ik toch liever voor een optie ga waarin je een SMS (of iets dergelijks) naar je server stuurt met jouw IP adres dat voor vijf minuten in de whitelist moet komen.

Overigens zijn dit pas echt dingen die hier offtopic zijn.

Dadona wijzigde deze reactie 02-07-2012 21:07 (48%)

Dan heb je nog niet uitgesloten dat als er lekken of Denial of service bugs in SSH zitten dat daar geen misbruik van gemaakt kan worden (waar het hierboven over gaat...)

Waarom ondersteund ZFSguru trouwens wel VirtIO netwerk maar geen VirtIO Block Devices?
(of doe ik iets verkeerd...)

FireDrunk wijzigde deze reactie 02-07-2012 20:43 (26%)