DIY RAID NAS bouwen

[Verwijderd]

Da's toppie - zeer bedankt. We gaan het vanavond eens proberen. Ik vrees echter na een clean install dus dat gaat even duren..

Itsacon schreef op woensdag 21 november 2007 @ 13:26:
Heb laatst op fileserver die ik bij m'n ouders heb neergezet ook netatalk geinstalleerd. Is redelijk makkelijk:

netatalk installeren uit ports:

code:

# cd /usr/ports/net/netatalk
# make install clean

Maak vervolgens het bestand /usr/local/etc/mDNSResponder.conf aan met de volgende regel erin:

code:

<cumputernaam>       _afpovertcp._tcp     local.     548

waar je <computernaam> vervangt door de naam van de server

Edit vervolgens het bestand /usr/local/etc/AppleVolumes.default, en voeg aan het einde voor elke share die je via afp beschikbaar wilt hebben een regel als dit toe:

code:

<dir> <name> options:usedots,noadouble,nohex

waar je <dir> vervangt voor de directory die je wil sharen. Dit kan bijvoorbeeld ook ~ zijn, als je wil dat elke gebruiker die via afp inlogt zijn eigen home directory ook ziet, maar niet die van anderen.
<name> vervang je door de naam waaronder je de share op het netwerk zichtbaar wilt hebben.

De opties die ik hierboven gebruik zijn redelijk standaard: verwijder dot-files, zorg dat er geen metadata door de client op de server wordt opgeslagen, en verwijder nog meer bestanden waar MacOS of een gebruiker over kan vallen.
Zie `man AppleVolumes.default' voor meer opties.

Tot slot moet je zorgen dat ie bij opstarten opstart, door deze regels toe te voegen aan /etc/rc.conf:

code:

afpd_enable="YES"
mdnsresponder_enable="YES"
mdnsresponder_flags="-f /usr/local/etc/mDNSResponder.conf"

En nu opstarten door in te tikken:

code:

# /usr/local/etc/rc.d/netatalk start
# /usr/local/etc/rc.d/mdnsresponder.sh start

Ik hoop dat dit werkt!

[Verwijderd]

Enlightenment,

als ik df -h doe dan zie ik alleen ad4, niet de andere twee disken.
ad4 is idd ook de systeemdisk maar ik denk dat ik vanavond een clean install doe met dan een 1gb usb stick als systeemdisk.

Wat ik wel nog even wil weten is moet ik tijdens de installatie ad4, 5 en 6 reeds partitioneren en zo of moet ik ze laten voor wat het is en alleen op de USB stick het OS installeren?

Ik heb graid5 list gedaan maar zonder de naam lukt dat niet echt en ik kan me ook niet herinneren dat ik de raid ergens een naam heb gegeven. ad4 werkte in ieder geval al niet.

Ik ga vanavond zoals gezegd een clean install doen, ik begrijp alles steeds vlotter dus we komen er wel.

Als allerlaatste vraag, wat is nu de correcte stripesize - ik kom er niet uit. In de bios staat:

320GB
Cylinder 65535
Head 16
Precomp 0
Landing zone 65534
Sector 255

Allemaal super bedankt voor de mooie complimenten en hulp. Ik hoop dat andere tweakers hier in de toekomst ook baat bij zullen hebben.

Gr,

Ries

Verwijderd schreef op woensdag 21 november 2007 @ 13:08:
[...]

Dan is /dev/ad4 in gebruik door een andere geom module. Is /dev/ad4 nu ook tevens je systeemdisk? In dat geval dien je partities te gebruiken, ad4s1 voor 1e BSD partitie en ad4s2 voor Software RAID. Indien je geen ad4s2 hebt, moet je die eerst maken met fdisk. Het makkelijkst is dat tijdens de installatie. ad4s1 kan dan 4GB zijn in totaal en ad4s2 de rest.

Geef ook de output eens van "graid5 list". Je zou je huidige array kunnen deleten door:
graid5 destroy -y <volumenaam>
graid5 unload
graid5 clear /dev/ad5
graid5 clear /dev/ad6

in te tikken. Deze commando's deactiveert de huidige array, deactiveert de kernel module en verwijdert de configuratiegegevens van de twee disks (ad5 en ad6). Zou je nu "graid5 load" intypen dan herkent geom_raid5 als het goed is niets meer van je vorige array creatie. Zo begin je dus met een schone lei.

Check "df -h" voor alle disks die momenteel gemount zijn (1e kolom staan de devices), die zijn dus in gebruik en kun je niet voor andere dingen zoals geom_raid5 gebruiken. Daarom krijgt geom_raid5 ook een permission denied foutmelding terug, omdat die device in gebruik is door een andere module.

[ Voor 4% gewijzigd door Verwijderd op 21-11-2007 17:50 ]

[Verwijderd]

Verwijderd schreef op woensdag 21 november 2007 @ 17:42:
Enlightenment,

als ik df -h doe dan zie ik alleen ad4, niet de andere twee disken.

Oke nou dat klopt dan, dan is ad4 dus gemount (in gebruik) omdat die de systeemdisk vormt. Of beter gezegd: ad4s1 is in gebruik, dat is dus de 1e partitie op de systeemschijf. Dus je hebt dan ad4s2 vrij om Software RAID mee te gebruiken. Alle meldingen die je kreeg zijn dus terecht, je kunt niet heel de ad4 schijf gebruiken voor software RAID omdat daar ook je FreeBSD installatie op staat. En die mag je niet overschrijven.

maar ik denk dat ik vanavond een clean install doe met dan een 1gb usb stick als systeemdisk.

Dat kan, maar USB boot wordt niet op elk systeem ondersteunt. Maar je kunt het eenvoudig testen, doe een snelle installatie op je USB stick en kijk of je ervan kunt booten. Zo niet: doe verder geen moeite want het gaat toch niet werken. Dan moet je dus als alternatief weer op ad4 installeren maar nu tijdens de installatie op ad4 één partitie van 4GB maken en één van de resterende ruimte (er staat een lang getal, dat getal laat je dan gewoon staan dan gebruikt hij alle resterende ruimte).

Als je dat doet, heb je een FreeBSD install op ad4s1 staan en heb je ad4s2 (de 2e partitie die heel groot is) vrij om voor Software RAID te gebruiken, je maakt je RAID5-array dan als volgt:

graid5 label <naam> /dev/ad4s2 /dev/ad5 /dev/ad6.

Wat ik wel nog even wil weten is moet ik tijdens de installatie ad4, 5 en 6 reeds partitioneren en zo of moet ik ze laten voor wat het is en alleen op de USB stick het OS installeren?

ad5 en ad6 hoef je niets mee te doen. Als je op USB installeert heof je ook niets met ad4 te doen. Ook veel van de vragen die je tijdens de installatie krijgt, kun je later alsnog veranderen. Zelf vind ik de installatie veels te lang duren met teveel vragen. Als je iets niet weet en het is een YES/NO vraag, kies dan gewoon voor NO.

Ik heb graid5 list gedaan maar zonder de naam lukt dat niet echt en ik kan me ook niet herinneren dat ik de raid ergens een naam heb gegeven. ad4 werkte in ieder geval al niet.

Je geeft je array een naam tijdens het label commando:

graid5 label [opties] <volumenaam> <devices>

<volumenaam>

is dus de naam die je gaat geven aan de array

<devices>

is een lijst met alle schijven die onderdeel van de array gaan worden (ad4s2 ad5 ad6 bijvoorbeeld)

Als allerlaatste vraag, wat is nu de correcte stripesize - ik kom er niet uit. In de bios staat:

De gewenste stripesize heeft niets met je BIOS of andere instellingen te maken, het is een keuze die jij maakt afhankelijk van het door jou voorziene gebruik van de array. Zou je een database-server bouwen dan kies je wellicht voor een andere stripesize dan voor een single-user fileserver.

Ik zelf raad 64KB aan of 128KB. De stripesize heeft te maken hoeveel IOps je array kan halen en de CPU-belasting die daar bij hoort. Ik zou voor geen andere stripesize kiezen dan 64KB of 128KB. Wil je 128KB gebruiken dan moet je wel meer geheugen toewijzen aan de kernel, geom_raid5 TNG gebruikt namelijk meer geheugen dan de oudere versie.

Allemaal super bedankt voor de mooie complimenten en hulp. Ik hoop dat andere tweakers hier in de toekomst ook baat bij zullen hebben.

Dank je wel en dat hoop ik ook! Ik denk dat een FreeBSD 7 NAS tutorial ook geen slecht idee zou zijn.

Mocht je trouwens liever direct via IRC ofzo hulp willen, kun je me vinden in #freenas op irc.freenode.org. Als je dingen wilt uitbesteden kun je een SSH forward maken (poort 22), dan kan ik inloggen en dingen installeren/configgen of wat je wilt. Uiteraard alleen als jij het wilt, sommigen willen alles liever zelf doen, daar leer je natuurlijk nog meer van.

[Verwijderd]

Quick install op de USB wil maar niet lukken - disk full??!!! en dat voor de optie kleinste installatie. Ik zal wel iets verkeerd doen. Ik ga nu gewoon een clean install doen en op disk 1 een 4g partitie maken+freespace

Thanks!

[Verwijderd]

langzaam aan komen we er wel.

Wat heb ik gedaan;

Clean install. Op de eerste disk ad4 2 partities gemaakt. Op de eerste partitie van 4gig Freebsd gezet en op de tweede partitie ad4s2 een extf2 partitie gemaakt.

Disk 2 (ad5) en disk 3 (ad6) heb ik ongemoeid gelaten.

Graid geinstalleerd met succes, echter het volgende probleem doet zich voor na het uitvoeren van het volgende commando:

graid5 label -v -s 131072 NASBOX /dev/ad4s2 /dev/ad5 /dev/ad6

ad5 & 6 zegt 'ie disk attached (mooi) maar dan zegt 'ie can't store metadata on ad5....

Zoals gezegd we zijn er bijna. Ik zal zien of ik met de tips een stukje verder kom.

Gr,

Ries

[Verwijderd]

Verwijderd schreef op woensdag 21 november 2007 @ 20:30:
Quick install op de USB wil maar niet lukken - disk full??!!! en dat voor de optie kleinste installatie.

Ik denk dat dat komt omdat je /usr filesystem te klein is. Je hebt voor de "A" (auto) optie gekozen in het disk label menu, waar je al je filesystems opgeeft en hun mountpoint (/ of /usr of /var). Standaard reserveert deze optie een vaste ruimte voor /tmp, /var en / (deze wordt ook wel 'root' genoemd). Alles wat overblijft, wordt dan aan /usr toebedeeld. Normaal is dat dus meer dan 1GB, maar omdat jij minder dan 1GB op je stick hebt blijft daar misschien maar 220 van over, wat dus te weinig is.

Als je dus op een stick van 1GB FreeBSD installeren moet je in het disk label menu de "c" optie gebruiken om een filesystem met mountpoint / (een forward slash) van 950MB (type 950M in) en de rest aan swap. Kies je dan voor een minimale installatie dan moet dat prima lukken. Feit blijft wel dat 1GB te weinig is om FreeBSD in volle glorie (ports) te draaien, maar je kunt sommige directories wel opslaan op je RAID-array met symbolic links (symlinks). /usr/ports verwijst dan naar een directory op je RAID-array.

Maar nu je op een gewone disk gaat installeren heb je dit probleem niet. Maak dus twee partities aan van 4GB en de ander de overige ruimte (een groot getal). In jouw geval op disk ad4.

[ Voor 8% gewijzigd door Verwijderd op 21-11-2007 21:47 ]

[Verwijderd]

Ik begin maar weer helemaal overnieuw df-h geeft geen ad5 of 6 die in gebruik zijn en toch kan ie er niet naar schrijven. ad4s2 lukt wel dus ik ga middels een cleane install ook maar een extf2s partitie maken op ad5 en ad6 en zien wat dat brengt.

de output van graid list ziet er voor zover ik kan beoordelen netjes uit.

[Verwijderd]

Verwijderd schreef op woensdag 21 november 2007 @ 21:26:
Graid geinstalleerd met succes, echter het volgende probleem doet zich voor na het uitvoeren van het volgende commando:

graid5 label -v -s 131072 NASBOX /dev/ad4s2 /dev/ad5 /dev/ad6

ad5 & 6 zegt 'ie disk attached (mooi) maar dan zegt 'ie can't store metadata on ad5....

Heb je de "graid5 clear <device>" commando's uitgevoerd van een paar posts terug? Zo niet, dan staat er nog een graid5-configuratie op die twee schijven (ad5 en ad6). Dit houdt in dat geom_raid5 nu twee arrays beheert, een oude met ad5 en ad6 in DEGRADED mode, de ander in CRITICAL met slechts ad4. Controleer dit eens met "graid5 status".

Je zult een "graid5 destroy -y <volumenaam>" commando moeten geven om de oude array met ad5 en ad6 eruit te gooien, en direct daarna de commando's "graid5 clear ad5" en "graid5 clear ad6". Daarna herhaal je dit voor de array van ad4. Controleer met "graid5 status" of er geen andere arrays actief zijn. Zo niet, dan geef je je commando zoals in je quote.

Succes

[Verwijderd]

Potverdriedubbeltjes - voor de 200e keer een clean install gedaan, netjes ad5 en ad6 nu ook een extfs2 of wat is ut partitie gemaakt en wederom:

CAN'T WRITE METADATA TO dev/ad5 - Operation not permitted

Daar wordt je toch helemaal zenuwachtig van of niet soms....

Enlightenment - please breng licht in deze duisternis!

Ps. Ik had custom slices op de USB stick gedaan ipv auto maar kennelijk dus toch niet de juiste verhoudingen gekozen. Bedankt voor jouw opmerking - mocht iemand anders dat wel willen proberen dan kunnen ze in ieder geval dankzij jouw hulp dat wel voor elkaar boksen.

Graid status geeft:

raid5//dev/ad4 COMPLETE CALM (components) ad6 ad5

[ Voor 5% gewijzigd door Verwijderd op 21-11-2007 22:20 ]

[Verwijderd]

Zie mijn vorige berichtje.

Het feit dat je een partitie aanmaakt op de ad5 en ad6 disks betekent niet dat de laatste sector op deze hardeschijven, wordt overschreven. In deze laatste sector staat een RAID-configuratie die je hiervoor eens hebt aangemaakt. Zodra je de geom_raid5 module activeert, pikt hij deze weer op. De RAID-configuratie staat op de harde schijven zelf!

Post eens een 'graid5 status' en post deze hier, inclusief of de commando's hierboven gewerkt hebben.

Verwijderd schreef op woensdag 21 november 2007 @ 22:16:
Graid status geeft:

raid5//dev/ad4 COMPLETE CALM (components) ad6 ad5

Je bent de volumenaam vergeten in je label commando, je hebt ingevoerd iets als:
graid5 label -v -s 131072 /dev/ad4 /dev/ad5 /dev/ad6
Je vergeet hierbij de volumenaam op te geven, die nu dus "/dev/ad4" is. Het juiste commando is dus:
graid5 label -v -s 131072 mijnraid5volume /dev/ad4 /dev/ad5 /dev/ad6

Je moet eerst je oude RAID-configuratie verwijderen voordat je een nieuwe aanmaakt, in dit geval dus:
graid5 destroy -y "/dev/ad4"
graid5 clear ad5
graid5 clear ad6

[ Voor 40% gewijzigd door Verwijderd op 21-11-2007 22:23 ]

[Verwijderd]

alles van de raid gedelete en gedelete en gedelete ...

Opnieuw graid5 label...en ja ja.....spanning


HIJ DOET UT

Wat een dag!

[Verwijderd]

re-sync in progress...3,99%

[Verwijderd]

Cool

Met "gstat" zie je hoe hard alles gaat, met alle relevante geom providers. Control-C om te exiten.
Je kunt nu al beginnen met de array te gebruiken:

newfs -U -b 32768 /dev/raid5/<volumenaam>
tunefs -m 1 /dev/raid5/<volumenaam>
mkdir /raid5
mount /dev/raid5/<volumenaam> /raid5

Dan met "df -h" zien dat je volume erbij staat.

[ Voor 52% gewijzigd door Verwijderd op 21-11-2007 22:47 ]

[Verwijderd]

ik was al iets eerder begonnen met newfs namelijk

newfs /dev/raid5/NASBOX
mount /dev/raid5/NASBOX /mnt
en dat was het

dus wel zonder de -U en -b 32768
de tunefs heb ik ook niet gedaan, kan ik dat alsnog doen of moet ik wachten totdat ie klaar is?

Onder df -h staat idd de NASBOX alleen met 524G available. Meteen na het graid label..commando gaf ie wel wasting 8592xxxxxx bytes >8G

Moet ik nog wat anders doen /buiten zometeen netatalk installeren?

Gr,

Ries

Nogmaals bedankt voor alle hulp

[ Voor 15% gewijzigd door Verwijderd op 21-11-2007 23:00 ]

[Verwijderd]

Als je het overnieuw wilt doen:
umount /mnt
en dan mijn commando's intypen (met tunefs erna).

Je kunt zelf je mountpoint opgeven, met /mnt wordt bedoelt dat je je eigen mountpoint kiest, /raid5 zou kunnen, elke naam mits niet al in gebruik. Je moet eerst die directory maken: "mkdir /raid5" in dit voorbeeld.

[Verwijderd]

Done!

[Verwijderd]

Mooi
Nu kun je je netwerk configgen met "dhclient <netwerkinterface>" (ifconfig voor een lijst met alle interfaces).

Daarna kun je je portstree gaan opzetten en samba en netatalk installeren. Kan eventueel ook met "pkg_add -r samba" (of samba3 ipv samba). Dan trek je een kant-en-klare package van de server via een internetverbinding (als die bestaat).

Dan samba configgen en naar je RAID-array laten verwijzen:
- user toevoegen met "pw useradd <username>"
- samba configgen met "ee /usr/local/etc/smb.conf"

Daarin kan staan bijvoorbeeld:

code:

[global]
workgroup = WORKGROUP
security = user
log file = /var/log/samba/log.%m
max log size = 50
;socket options = SO_RCVBUF=8192 SO_SNDBUF=8192
dns proxy = no


# Share definitions

[omega]
path = /omega
writable = yes
valid users = omega

Omega veranderen door de door jou gekozen namen en daarna saven en samba (her)starten:
/usr/local/etc/rc.d/samba restart

Dan kun je eens testen of je share via \\<ip> op een windowsmachine te vinden is (let op backslash \, dus geen /).

P.S. Vragen van andere mensen van afgelopen dagen beantwoord ik morgenavond wel, ik ga nu slapen.

[ Voor 8% gewijzigd door Verwijderd op 21-11-2007 23:51 ]

[Verwijderd]

Hartstikke mooi !

Hij staat nu op 78% met een ETA van 21min dus ik denk dat ik beter even wacht met het netwerk totdat 'ie klaar is.

Portstree opzetten klinkt dan wel weer heftig...

Moet ik trouwens nog rekening houden met de combinatie Netatalk & Samba? Kan dat evt. problemen opleveren met de files?

Zoals al eerder aangegeven beschikt de raid over een extfs2 (of iets dat daar op lijkt - ik vergeet het altijd!) file structuur. Moet ik daar nog wat aan doen?

Pingen werkt al wel.

Gr,

Ries

ps. slaap lekker - je hebt een lekker dutje wel verdient na al die arbeid van vanavond

[ Voor 9% gewijzigd door Verwijderd op 21-11-2007 23:55 ]

[Itsacon]

Verwijderd schreef op woensdag 21 november 2007 @ 23:54:
Portstree opzetten klinkt dan wel weer heftig...

nee hoor:

code:

# portsnap fetch
# portsnap extract

Klaar... :-D

Vanaf dan kun je hem updaten met:

code:

# portsnap fetch
# portsnap update

Ook kan het handig zijn om /usr/ports/ports-mgmt/portupgrade te installeren om je ports makkelijker te updaten.

Verwijderd schreef op woensdag 21 november 2007 @ 23:54:
Moet ik trouwens nog rekening houden met de combinatie Netatalk & Samba? Kan dat evt. problemen opleveren met de files?

Heb ik nog geen problemen mee gehad. Enige is wanneer je een directory zowel met samba als met afp shared, hij dus twee keer in je finder verschijnt. :-P

[Coenen]

Verwijderd schreef op woensdag 21 november 2007 @ 12:57:

Niet. In feite is FreeNAS een zooitje boot files, een imagefile waarin alle files gecomprimeerd in staan en één configuratiebestand met alle info. Gebruik je Software RAID dan staat hierop de configuratiegegevens (in de laatste sector). Conclusie: je kunt probleemloos FreeNAS in een totaal ander systeem gooien, zolang deze maar i386-compatible is (normaal PC dus).

Beetje late reactie, maar goed om te lezen dat FreeNAS zo makkelijk doet.

[Dekaasboer]

Ik sta nu op het punt om de NAS te gaan kopen die ik in gedachten had. Ik had alleen nog een paar vraagjes.

De data die er op komt is erg belangrijk. (alle bedrijfsdocumenten) nu las ik iets over Journaling en dat freenas dat niet ondersteund. Het zou jammer zijn dat als de stroom uitvalt er een 4gb reclamespotje corrupted is. Is het niet mogelijk om journaling in te bouwen? Ander ga ik wel over naar Freebsd.

Is freebsd dan ook wel via een interface te benaderen zoals freenas?

En is het mogelijk om in plaats van gbit lan een diy nas ook te benaderen via eSata? iemand ervaringen hier mee?

[_eXistenZ_]

Enlightenment, ik heb deze hardware besteld:

1 AMD X2 BE-2400 2.3Ghz 1MB AM2 Box
1 Antec Powersupply NeoHEPower430 430W
1 Asus M2A-VM 690G, SATA2 RAID, VGA, DVI, GLAN
1 Intel PCI-e Adapter PRO/1000PT LAN 10/100/1000Mbit Bulk
2 Kingston 512MB DDR2 SDRAM PC5300 CL5.0
4 Samsung 500GB SATA300 16MB FDB, HD501LJ
_{Die schijven zijn Spinpoint T166's.}

Ik vraag mij nu 2 dingen af;
- Waarom zou ik met VVM partities willen maken als ik gewoon ook alles op 1 schijf kan opslaan?
Voor de veiligheid hoef ik et niet te doen imho.
- Ik lees dat journaling ook een stukkie performance pakt omdat je schijven moeten seeken om constant in een journal log te schrijven. Ik wil sowieso journaling, het liefst de dikste variant. Is het handig om mijn schijven zo in te delen:

10GB in Raid10 Journalling + FreeBSD + software.
2GB in Raid10 Swap
De rest geom_raid5 dataopslag.

want dit lijkt mij de beste oplossing? Of kan ik het op een betere manier indelen om meer performance te halen?

als laatste;

Ligt het aan mij of zijn er nog steeds geen performance results beschikbaar van geom_raid5? Ik kwam http://www.fluffles.net tegen, waar iemand afgelopen augustus vroeg om harde cijfers. Die beloofde jij een maandje later, maar ik kon deze niet terug vinden op je site. Ik geloof graag dat geom_raid5 superieur is maar echte grafiekjes heb ik nog nooit gezien...

/edit

@ hieronder, beetje zonde om mijn hele post te quoten, niet?

[ Voor 17% gewijzigd door _eXistenZ_ op 23-11-2007 10:40 ]

[Dekaasboer]

_eXistenZ_ schreef op vrijdag 23 november 2007 @ 10:32:
Enlightenment, ik heb deze hardware besteld:

1 AMD X2 BE-2400 2.3Ghz 1MB AM2 Box
1 Antec Powersupply NeoHEPower430 430W
1 Asus M2A-VM 690G, SATA2 RAID, VGA, DVI, GLAN
1 Intel PCI-e Adapter PRO/1000PT LAN 10/100/1000Mbit Bulk
2 Kingston 512MB DDR2 SDRAM PC5300 CL5.0
4 Samsung 500GB SATA300 16MB FDB, HD501LJ
_{Die schijven zijn Spinpoint T166's.}

Ik vraag mij nu 2 dingen af;
- Waarom zou ik met VVM partities willen maken als ik gewoon ook alles op 1 schijf kan opslaan?
Voor de veiligheid hoef ik et niet te doen imho.
- Ik lees dat journaling ook een stukkie performance pakt omdat je schijven moeten seeken om constant in een journal log te schrijven. Ik wil sowieso journaling, het liefst de dikste variant. Is het handig om mijn schijven zo in te delen:

10GB in Raid10 Journalling + FreeBSD + software.
2GB in Raid10 Swap
De rest geom_raid5 dataopslag.

want dit lijkt mij de beste oplossing? Of kan ik het op een betere manier indelen om meer performance te halen?

Dus journaling is wel mogelijk met freebsd? Ik snap er niks meer van?

[Verwijderd]

Sinds enkele dagen heb ik ook mijn eigen NAS servertje op basis van FreeNAS 0.686b2.

Dit zijn mij systeem specificaties:

* MSI RS482M4-FD Socket 939
* AMD 3000+ ondergeklokt naar 1,0 ghz. hierdoor draait de fan af en toe dus heel stil.
* 1 gigabyte DDR 400 mhz
* Adaptec RAID controllertje 2x Sata
* 2 x 500 gb Samsung HD501LJ
* USB cardreader met een 265 mb SD kaartje, hierop is freenas geinstalleerd.

Mijn eisen aan het systeem waren dat hij heel stil moest zijn. Hij moet immers in de gangkast draaien. 1 TB schijfruimte. en moest 24/7 aan kunnen staan. En hij mag niet veel stroom verbruiken.

Nu heb ik freenas geinstalleerd op mijn SD kaartje en dat draait super, de schijven zijn zo ingesteld dat deze met 10 min. in standby gaan wanneer er geen activiteit is. Dit bespaard mij stroom en geluid en levensduur van de schijven. De transver rate weet ik nog niet maar laat ik je zo snel mogelijk weten.

Oja dit alles is aangesloten op mijn Speedtouch dus nog maar 100 mb/s hopelijk in toekomst een gigabit switch.

[Verwijderd]

Heb zelf ook een NAS samengesteld met als basis een Asus M2A-VM moederbord.
Ik wist dat de onboard NIC niet zou werken en heb deze dan ook vervangen door een losse.
Verder blijkt echter dat de AMD 690G chipset niet volledig wordt ondersteund. Dit geeft als probleem dat wanneer ik mijn NAS automatisch uitzet hij soms spontaan reboot. Dit komt doordat de ACPI-funcionaliteit niet volledig wordt ondersteund in FreeNAS.
Nu heb ik echter volgende link gevonden http://www.nabble.com/ATI-SB600-700-800-tester-wanted-t4761814.html

Zou dit mijn probleem verhelpen en zo ja kan iemand mij precies uitleggen hoe ik dit moet toepassen in een bestaande FreeNAS-installatie want mijn kennis hiervan is 0,00.

Mocht er intussen ook al een patch zijn voor de NIC dan hoor ik het graag.

[Verwijderd]

_eXistenZ_ schreef op vrijdag 23 november 2007 @ 10:32:
Enlightenment, ik heb deze hardware besteld:

Mooi systeempje.

Ik vraag mij nu 2 dingen af;
- Waarom zou ik met VVM partities willen maken als ik gewoon ook alles op 1 schijf kan opslaan?
Voor de veiligheid hoef ik et niet te doen imho.

Wat bedoel je met VVM, die afkorting ken ik niet namelijk. Voor je systeemdisk (waar FreeBSD op komt) heb je natuurlijk wel partities nodig (ad0s1a krijg je bijvoorbeeld). Op de schijven die je enkel en alleen voor Software RAID gaat gebruiken, kun je gewoon de hele disk pakken, dus ad4 of ad6. Zijn je disks niet allemaal even groot, dan kun je met partities de resterende ruimte toch gebruiken.

Gebruik je een Silicon Image RAID-controller of soortgelijk, die niet in IDE mode kan werken maar altijd in RAID-mode werkt? Dan heb je écht partities nodig om te voorkomen dat de laatste sector beschreven wordt, dan gaat Silicon Image trippen tijdens het booten omdat deze zijn array-configuratie opslaat in de laatste sector van elke hardeschijf. Bovendien wordt de laatste sector overschreven die in gebruik is door je filesystem - niet veilig! Voor de chipset controller is dit niet van toepassing, aangezien je die gewoon op IDE mode kunt instellen.

- Ik lees dat journaling ook een stukkie performance pakt omdat je schijven moeten seeken om constant in een journal log te schrijven. Ik wil sowieso journaling, het liefst de dikste variant. Is het handig om mijn schijven zo in te delen:

Je hebt 4 schijven, geen losse Flash disk ofzo he? Je wilt op alle vier de schijven RAID5 of enkel op 3 schijven? Dat is belangrijk voor de performance, je hebt namelijk drie opties:

Optie 1:
FreeBSD op 1e disk (4GB partitie)
Disks allemaal partitioneren, één 4GB partitie de andere partitie de rest
Software RAID5 op de 2e partitie van elke disk
Je houdt dan drie partities van 4GB over, kun je gebruiken voor ports of andere dingen
Voordeel: Je verliest zo min mogelijk ruimte
Nadeel: als je echt journaling wilt, dan zal dit wel een flink lagere performance betekenen

Optie 2:
Disk 1 helemaal dedicaten als systeemdisk
Disk 2, 3 en 4 voor Software RAID5
Disk 1 bevat de journal, onafhankelijk van de RAID5 array disk members
Voordeel: hogere performance omdat de journal op een andere fysieke schijf staat dan de RAID array
Voordeel: journal van hogere kwaliteit, doordat je nog maar met één HDD write cache last hebt (write caches zijn dodelijk als er wat mis gaat met het systeem zoals stroomstoring of crash).
Nadeel: je hebt minder opslagruimte op je RAID5 array (3 disks versus 4).

Optie 3:
Een vijfde HDD gebruiken als systeemdisk en journal
De overige 4 schijven in RAID5
Voordeel: journal gescheiden van RAID5, zelfde performance als Optie 2 (mits vijfde disk even snel als de overige 4)

Ligt het aan mij of zijn er nog steeds geen performance results beschikbaar van geom_raid5?

Ik heb afgelopen jaar al aardig wat benchmarks met geom_raid5 gedraaid. Dat begon eigenlijk al toen geom_raid5 nog in vroege ontwikkeling was en ik samen met de auteur Arne Woerner op een testsysteem vele benchmarks heb gedraaid. Echter, het systeem wat we hier voor gebruiken is niet modern genoeg om geom_raid5 in volle glorie te draaien, dus zijn deze resultaten niet te gebruiken voor publicatie.

Bij de benchmarks die ik op een moderner systeem draaide met dualcore en 8 schijven, haalde ik leuke sequentiële snelheden: ~400MiB/s raw write performance. Algemene conclusie is dat geom_raid5 TNG minimaal 70% efficient is, t.o.v. het theoretische maximum. Heb je 4 disks dan vertaalt dit zich in een sequentiële read performance van ~200MiB/s en ~150MB/s write performance. Maar dit zijn schattingen.

Officiële resultaten zijn er nog niet, hopelijk wel zodra mijn artikel is gepubliceerd. Arne zal mijn artikel natuurlijk eerst proofreaden, en daarna er zijn steun aan geven. In die zin zou je de resultaten dan officiëel kunnen noemen.

Ik kwam http://www.fluffles.net tegen, waar iemand afgelopen augustus vroeg om harde cijfers. Die beloofde jij een maandje later, maar ik kon deze niet terug vinden op je site. Ik geloof graag dat geom_raid5 superieur is maar echte grafiekjes heb ik nog nooit gezien...

Daar heb je zeker een punt. De oorzaak is misschien mijn drang naar perfectionisme. Als ik een artikel release met benchmark-resultaten over geom_raid5 wil ik ook dat die kloppen en de benchmarks goed zijn uitgevoerd. Ik heb namelijk heel andere gedachten over benchmarking dan veel anderen en als ik zelf officiele resultaten publiceer wil ik dan ook dat de tests goed zijn uitgevoerd.

Waarom het zo lang duurt: ik heb geen testserver meer die geschikt is voor benchmarking (dualcore proc bijv.). Nu had iemand mij aangeboden een heel wreed 8-core serversysteem met 24 SAS disks een weekje te mogen gebruiken voor testdoeleinden, maar dat is op niets uitgelopen (zijn opdrachtgever wilde het systeem al in gebruik). Erg jammer.

Nu wilde ik dus hardware kopen om een waardig testsysteem te vormen, en daarvoor had ik gedachte een AMD Phenom quadcore proc. Ik kan heel simpel 2 cores uitschakelen of zelfs op 1 processor werken - zo kun je dus zien hoeveel verschil single/dualcore/quadcore nu heeft op performance. Probleem hieraan is de verkrijgbaarheid, en ik wilde het liefst een 2,6GHz. Ik kijk ook naar de mogelijkheid om hardware te lenen of een persoonlijk systeempje te gebruiken als testsysteem, maar dat is door mijn ingewikkelde setup niet makkelijk.

Conclusie: het duurt helaas langer, maar ik ben zeker van plan het artikel dit jaar te releasen. Dat is, overigens, nog heel wat anders dan een belofte.

[Verwijderd]

Dekaasboer schreef op vrijdag 23 november 2007 @ 10:29:
Is freebsd dan ook wel via een interface te benaderen zoals freenas?

Nee en dat is ook meteen het grote nadeel. FreeNAS is juist die interface, als eens schilletje om FreeBSD. Alleen FreeNAS is momenteel nog experimentele software die nog drastisch zal veranderen en op den duur waarschijnlijk een volwaardige FreeBSD-install worden. FreeNAS ondersteunt ook heel veel hardware niet, die FreeBSD7 wel ondersteunt. Ook omwille van performance en flexibiliteit is een FreeBSD installatie handiger dan FreeNAS.

Maargoed, je moet de command-line interface natuurlijk wel zien zitten. Laten we hopen dat FreeNAS snel meer zoals FreeBSD wordt, misschien wel als package.

En is het mogelijk om in plaats van gbit lan een diy nas ook te benaderen via eSata? iemand ervaringen hier mee?

eSATA is geen interface tussen 2 computers, als je iets wilt met eSATA heb je een DAS (Direct Attached Storage) nodig - simpelweg een hardeschijf in externe behuizing die je erop aansluit, maar geen eigen OS bevat enzo.

Dekaasboer schreef op vrijdag 23 november 2007 @ 10:38:
Dus journaling is wel mogelijk met freebsd? Ik snap er niks meer van?

Ja, in FreeBSD7 zit journaling support. FreeNAS is echter nog gebaseerd op FreeBSD6, dus ondersteunt geen journaling. FreeBSD 7 is overigens nog niet 'final' maar al wel prima te gebruiken.

Verwijderd schreef op vrijdag 23 november 2007 @ 17:31:
Nu heb ik echter volgende link gevonden http://www.nabble.com/ATI-SB600-700-800-tester-wanted-t4761814.html

Zou dit mijn probleem verhelpen

Nee. Deze patch is voor -CURRENT (de ontwikkelbranch) en niet voor FreeBSD6. Bovendien voegt deze alleen ATA support toe (PATA en SATA) en verandert niets aan de ACPI support. Je hebt een bordje gekozen wat eigenlijk alleen goed werkt op FreeBSD7, en FreeNAS is nu nog gebaseerd op FreeBSD6. Wachten op een update dus denk ik.

[ Voor 31% gewijzigd door Verwijderd op 23-11-2007 22:08 ]

[Verwijderd]

Verwijderd schreef op vrijdag 23 november 2007 @ 20:17:
Je hebt 4 schijven, geen losse Flash disk ofzo he? Je wilt op alle vier de schijven RAID5 of enkel op 3 schijven? Dat is belangrijk voor de performance, je hebt namelijk drie opties:

Beste Enlightenment, In mijn setup met drie schijven heb ik op schijf 1 een 4g partitie voor FreeBSD + restant voor raid. Schijf 2 & 3 heb ik volledig toegewezen aan de raid array. Houd dat derhalve in dat geom_raid5 automatisch de ruimte van schijf 2&3 met 4gb beperkt?

Tevens maak ik uit jouw opmerkingen op dat het het beste is om dus een aparte schijf voor FreeBSD aan te houden. Nu sta ik niet te springen om er een extra SATA schijf in te prikken voor het systeem maar wat me wel interessant lijkt is om een zogenaamde Disk On Module te gebruiken, hetzij in USB header vorm of IDE vorm. In hoeverre is dat geschikt om als OS disk te fungeren?

Als laatste opmerking, mocht schijf 1 (met OS) uit de raid klappen en defect blijken te zijn, ben ik dan aangewezen op een volledig nieuwe installatie op een nieuwe schijf en om dan schijf 2&3 te koppelen aan de nieuwe installatie? Gaat zoiets een beetje werken? Of kan ik een kloon maken van de installatie op DVD of zo zodat deze bij een crash automatisch op schijf 1 wordt geladen.

P.s Ik houd me aanbevolen voor nog wat Netatalk tips in het andere topic! (Zijdelingse vraag, heeft het zin om anders alleen met Samba te werken in een gemengde OSX/WXP omgeving?)

Gr,

Richard

[Verwijderd]

Verwijderd schreef op vrijdag 23 november 2007 @ 22:21:
Beste Enlightenment, In mijn setup met drie schijven heb ik op schijf 1 een 4g partitie voor FreeBSD + restant voor raid. Schijf 2 & 3 heb ik volledig toegewezen aan de raid array. Houd dat derhalve in dat geom_raid5 automatisch de ruimte van schijf 2&3 met 4gb beperkt?

Ja, het nadeel van deze setup is dat je wat verloren ruimte hebt. Of dat significant is, is natuurlijk de vraag. De grootte van de array is de grootte van de kleinste disk maal de hoeveelheid schijven minus 1, oftewel:

RAID5 volume size = size of smallest disk * (number of disks - 1)

In dit geval is jouw ad4s2 dus kleiner dan ad5 en ad6. Dat betekent dat ad5 en ad6 niet helemaal worden gebruikt. Als je dat erg vindt kun je partities gebruiken om 2 maal 4GB terug te claimen. Maar die ruimte komt dus niet van je RAID5 array: je hebt op deze ruimte geen redundantie.

Tevens maak ik uit jouw opmerkingen op dat het het beste is om dus een aparte schijf voor FreeBSD aan te houden.

Alleen als je journaling gebruikt. Hierbij worden alle writes eerst naar de journal geschreven en daarna pas naar de definitieve locatie. Dit om de dataveiligheid te verbeteren in het geval er wat mis gaat (crash of stroomstoring). Je levert hierbij wel aardig wat performance in. Het feit dat FreeBSD een disk deelt met je RAID is niet van belang. Die paar reads en writes zijn niet significant.

Als laatste opmerking, mocht schijf 1 (met OS) uit de raid klappen en defect blijken te zijn, ben ik dan aangewezen op een volledig nieuwe installatie op een nieuwe schijf en om dan schijf 2&3 te koppelen aan de nieuwe installatie? Gaat zoiets een beetje werken?

Je software RAID configuratie blijft altijd behouden; die staat op de disks zelf. Om je werk te besparen kun je de inhoud van de 1e schijf ook wel op de (vrije) ruimte op schijven 2 en 3 zetten. Of gewoon als imagefile op je RAID5 array, die je via het netwerk even kopieert ofzo. Dan heb je dus een freebsd.img file. Zou je systeemdisk sterven kun je die file met een livecd weer naar een disk schrijven, bijvoorbeeld met:

dd if=/pad/naar/freebsd.img of=/dev/ad4 bs=1m

[_eXistenZ_]

Verwijderd schreef op vrijdag 23 november 2007 @ 20:17:

[...]

Wat bedoel je met VVM, die afkorting ken ik niet namelijk.

Vinum Volume Manager, LVM voor BSD Dit lijkt me als ik toch partities moet maken een mooie manier zodat ik de zaak nog een beetje heen en weer kan schuiven

Optie 1:
Optie 2:
Optie 3:

Dan ga ik maar voor optie 1... Ik wil zeker zijn dat mijn data behouden blijft, ook als de stroom uitvalt oid. Hoe gaat dat dan bij FreeBSD6 waar geen journaling in zit? Ben je daar alle data dan kwijt ofzo?
Eventueel kan ik van een USBdisk starten maar dat zal wel geen toffe oplossing zijn? (Niet snel qua schrijven enzo)

Conclusie: het duurt helaas langer, maar ik ben zeker van plan het artikel dit jaar te releasen. Dat is, overigens, nog heel wat anders dan een belofte.

Lijkt me tof om te lezen

Bedankt dat je zoveel tijd en moeite in ons NASsende tweakers wil stoppen, echt helemaal geweldig

[Dekaasboer]

Inderdaad! Hulde aan Enlightenment!

Zoals je deze topic runt en iedereen helpt. Evenals met het AAK probleem. Ik kijk ook al uit naar je nieuwe artikel.

Bedankt!

[Quadro!]

Binnenkort ga ik mijzelf ook een fileservertje assembleren, eerst gebruikmakend van nog wat oude hardware die ik heb liggen en als ik weer wat meer geld heb wat hipper spul. Nu is mijn vraag, kan ik als ik een FreeBSD installatie fix en daar een software raid5 set aan maak, kan ik die installatie dan zo overzetten op een nieuwe pc (eigenlijk allemaal nieuwe onderdelen, behalve de hdd's), of is dan eigenlijk een herinstallatie nodig (zoals bij winxp vaak het geval is) en ik bij gevolg mijn raid5 set kwijt ben?

[MadDog11]

Verwijderd schreef op woensdag 21 november 2007 @ 12:57:

Niet. In feite is FreeNAS een zooitje boot files, een imagefile waarin alle files gecomprimeerd in staan en één configuratiebestand met alle info. Gebruik je Software RAID dan staat hierop de configuratiegegevens (in de laatste sector). Conclusie: je kunt probleemloos FreeNAS in een totaal ander systeem gooien, zolang deze maar i386-compatible is (normaal PC dus).

[_eXistenZ_]

Quadropluxor schreef op zondag 25 november 2007 @ 10:33:
Binnenkort ga ik mijzelf ook een fileservertje assembleren, eerst gebruikmakend van nog wat oude hardware die ik heb liggen en als ik weer wat meer geld heb wat hipper spul. Nu is mijn vraag, kan ik als ik een FreeBSD installatie fix en daar een software raid5 set aan maak, kan ik die installatie dan zo overzetten op een nieuwe pc (eigenlijk allemaal nieuwe onderdelen, behalve de hdd's), of is dan eigenlijk een herinstallatie nodig (zoals bij winxp vaak het geval is) en ik bij gevolg mijn raid5 set kwijt ben?

Dit is mogelijk omdat de info van je raid array op de schijven zelf staat. Vet he?

[Quadro!]

_eXistenZ_ schreef op zondag 25 november 2007 @ 12:59:
[...]


Dit is mogelijk omdat de info van je raid array op de schijven zelf staat. Vet he?

Ja, idd vet De definitieve hardware voor mijn fileserver gaat er tegen de eerdere verwachting in wel eerder komen Lijstje:

• Coolermaster Centurion 5
• Antec Basiq 350W
• EPoX EP-8NPA SLI (kon ik tweedehands goedkoop aan komen en heeft gigabit onboard)
• AMD Sempron 2800+
• 256MB ram (zou het veel uitmaken om er 512MB of 1GB van te maken?)
• 5x Seagate Barracuda 7200.10 320GB (had er al 2 van liggen, afgelopen zondag nog 3 2de hands van iemand overgenomen)

Ik hoop de onderdelen die ik nog niet heb in de loop van de week binnen te krijgen en probeer dan ff FreeBSD te installeren met de handleiding van rkrol.

[Verwijderd]

De handleiding behoeft wel nog wat werk tav samba en netatalk. Installatie hiervan is geen probleem echter de configuratie is tot op heden nog niet gelukt. Ik word er helemaal stapel van...

Ik kan inloggen, de volume mounts selecteren en hij blijft terug komen met een foutmelding en breekt de zaak af. Ik heb OSX aangepast zodat het debug niveau een tandje omhoog is geschroefd zodat ik toch kan achterhalen wat er mis gaat.

Ik hoop er spoedig uit te geraken - mocht iemand nog een tip hebben dan hoor ik het graag.

Gr,

Ries

[Verwijderd]

@rkrol: Wat lukt er precies niet met Samba? Kun je je smb.conf configuratiebestand hier pasten? (in een [c0de] [/c0de] tag) En natuurlijk exacte foutmeldingen die je tegengekomen was.

_eXistenZ_ schreef op zaterdag 24 november 2007 @ 10:39:
Vinum Volume Manager, LVM voor BSD Dit lijkt me als ik toch partities moet maken een mooie manier zodat ik de zaak nog een beetje heen en weer kan schuiven

Vinum is retetraag met RAID5. Vinum is iets wat goed werkte op FreeBSD 4 maar vanaf versie 5 nooit meer tot dezelfde generatie heeft behoord als geom. Dit I/O framework deed in FreeBSD5 zijn intrede en is modulair van opzet. Zo heb je dus allerlei geom modules die voor diverse RAID-functionaliteit zorgen. En ze zijn allemaal stapelbaar (disk > raid0 > encryptie > journaling > filesystem).

Als je Vinum gebruikt, moet je partities maken (en filesystem type naar "vinum" zetten), maar bij geom raid hoeft dit niet. Je kunt gewoon een RAID0 maken van ad4 en ad6, bijvoorbeeld.

Dan ga ik maar voor optie 1... Ik wil zeker zijn dat mijn data behouden blijft, ook als de stroom uitvalt oid.

Zorg je eerst dat je dit goed test, voordat je het systeem daadwerkelijk in gebruik neemt?

Hoe gaat dat dan bij FreeBSD6 waar geen journaling in zit? Ben je daar alle data dan kwijt ofzo?

Nee maar je bent wél schrijfopdrachten kwijt. Dat kan betekenen dat je simpelweg fsck -p draait en deze kleine foutjes oplost. Maar in een ander geval zul je een bestand in de lost+found directories terugvinden (reclaimed files) en werkt een fsck -p niet meer en zul je fsck -y moeten gebruiken. Daar kom je de wat ernstigere fouten tegen, die niet altijd zonder verlies van enige (meta)data gepaard gaan.
Daarom is journaling zo handig, je vangt dodelijke write buffers op door ze eerst te schrijven naar plaats A, dan het logboek bij te werken, waarna je deze gegevens weer kopieert naar B. Mocht er iets misgaan dan kun je aan de hand van het logboek zien wat er moet gebeuren en worden alle journaling-handelingen dus alsnog uitgevoerd.

Eventueel kan ik van een USBdisk starten maar dat zal wel geen toffe oplossing zijn? (Niet snel qua schrijven enzo)

Dat kan, mits het werkt. Maar je journal op een USB stick zetten zal nog veel trager zijn. Bovendien schrijf je dan erg veel naar je flash geheugen (altijd en evenveel als je naar je RAID5 array schrijft) en dat kan dus problemen opleveren met de levensduur.

Bedankt dat je zoveel tijd en moeite in ons NASsende tweakers wil stoppen, echt helemaal geweldig

Het is vooral ook eigen interesse, ik vind het superleuk om me te verdiepen in storage.

[ Voor 88% gewijzigd door Verwijderd op 26-11-2007 21:00 ]

[Verwijderd]

Beste Enlightenment,

Ik ben nog niet aan de configuratie van Samba toegekomen. Wel kan ik je wat meer info geven tav Netatalk:


EDIT Netatalk werkt inmiddels !

Nu aan de slag met Samba en dan de guide updaten!

Gr,

Ries

[ Voor 95% gewijzigd door Verwijderd op 27-11-2007 15:37 ]

[Verwijderd]

Ik ken dat hele AFP niet, is iets van Apple. Je zou naar de mailinglist van Netatalk kunnen schrijven, zie:
http://netatalk.sourceforge.net/mailing_lists.php

Je kunt ook eerst Samba proberen, dat zou ook prima moeten werken met Macs (Mac OSX gebruikt zelf ook Samba).

[Verwijderd]

Samba heeft de neiging om van bestanden zoals bijv fonts spontaan unix executables te maken. Indien je icm OSX afp kan gebruiken verdient dat zeker de voorkeur. Daarnaast schijnt het zo te zijn dan AFP een stuk sneller is.

Samba wil ik graag installeren zodat ik een "cross platform" nasbox heb die vanuit W2K ook goed te benaderen is en kan gebruiken voor opslag van bepaalde pc documenten waar geen OSX equivalent voor bestaat.

Gr,

Ries

[engessa]

Ik loop ook vast bij het in gebruik nemen van FreeNAS (686B2 versie).

Installatie verliep al moeilijk, de livecd gaf aan dat er iets geinstalleerd was op mijn schijven maar na een reboot kreeg ik de melding ' missing operating system'. Blijkt dat mijn mobo, een Asus K7V-E niet goed werkt als de hdd's automatisch gedetecteerd worden. Dus de schijf handmatig op LBA gezet in de bios, opnieuw ingestalleerd en nu werkt het.

Netjes een systeempartitie van 99 mb en een 2e partitie (de rest van mijn WDC WD1600JB-00GVA0/08.02D08 ) die ik kan mounten en sharen via Samba. Lezen/schrijven geen probleem, snelheid loopt op tot 9 mb/sec (100mbit) dus niets te klagen.

Nu de rest van mijn schijven aangesloten en die verschijnen netjes in de webgui:
ad2 194481MB Maxtor 6B200P0/BAH41B10 28 C ONLINE
ad3 117247MB Maxtor 6Y120P0/YAR41BW0 24 C ONLINE

Maar formateren naar UFS gaat niet:
Erasing MBR and all partitions.
Creating partition:
gpt destroy: /dev/ad2: error: device doesn't contain a GPT
gpt create: /dev/ad2: error: no room for the backup header
gpt add: /dev/ad2: error: no primary GPT header; run create or recover
Creating filesystem with 'Soft Updates':
newfs: /dev/ad2p1: could not find special device
Done!

Dit bij beide schijven en zowel als ik ze in de bios op 'auto' als op 'LBA' zet. Formateren naar FAT32 werkt wel, dan kan ik ze ook mounten, sharen en half/half gebruiken, schrijfacties lopen vaak vast met een I/O error vanuit Windows XP. Ik heb geen idee wat nu precies fout gaat en hoe ik dit op kan lossen.

[Kenny_NL]

Dit klinkt als het gedoe dat FreeNAS tegenwoordig heeft met slices en partities op schijven. Ik heb dit ook gehad met een vorige versie (die ik nog steeds gebruik), en het heeft wat tijd gekost om dit te fixen. Alleen, vraag me niet meer precies wat het nu was, want sinds het werkt laat ik het systeem met rust...

[engessa]

Nog wat verder extra tekst die FreeNAS uitspuugt:

Een format naar FAT32:

code:

Erasing MBR and all partitions.
Creating partition:
fdisk: invalid fdisk partition table found
fdisk: WARNING line 1: number of cylinders (395136) may be out-of-range
    (must be within 1-1024 for normal BIOS operation, unless the entire disk
    is dedicated to FreeBSD)
fdisk: WARNING: adjusting start offset of partition 1
    from 1 to 63, to fall on a head boundary
fdisk: WARNING: adjusting size of partition 1 from 398297088 to 398297025
    to end on a cylinder boundary
fdisk: Geom not found
******* Working on device /dev/ad2 *******
parameters extracted from in-core disklabel are:
cylinders=395136 heads=16 sectors/track=63 (1008 blks/cyl)

Figures below won't work with BIOS for partitions not in cyl 1
parameters to be used for BIOS calculations are:
cylinders=395136 heads=16 sectors/track=63 (1008 blks/cyl)

Information from DOS bootblock is:
1: sysid 11 (0x0b),(DOS or Windows 95 with 32 bit FAT)
    start 63, size 398297025 (194480 Meg), flag 80 (active)
    beg: cyl 0/ head 1/ sector 1;
    end: cyl 895/ head 15/ sector 63
2: 
3: 
4: 
Initializing partition.
Creating filesystem:
/dev/ad2s1: 397520584 sectors in 49690073 FAT32 clusters (4096 bytes/cluster)
bps=512 spc=8 res=32 nft=2 mid=0xf0 spt=63 hds=16 hid=0 bsec=398297025 bspf=388204 rdcl=2 infs=1 bkbs=2
Done!

En format naar software raid gaat zonder problemen, format ik daarna naar UFS krijg ik dit:

code:

Erasing MBR and all partitions.
Creating partition:
gpt destroy: /dev/ad2: error: device doesn't contain a GPT
/dev/ad2p1 added
Creating filesystem with 'Soft Updates':
/dev/ad2p1: 194481.0MB (398297020 sectors) block size 16384, fragment size 2048
    using 1059 cylinder groups of 183.77MB, 11761 blks, 23552 inodes.
    with soft updates
super-block backups (for fsck -b #) at:
 160,newfs: wtfs: 65536 bytes at sector 376512: Input/output error
Done!

Is er iets stuk ofzo? Omdat er ook hier een input/output error staat.

**Edit**
Volgens mij is mijn ata kabel stuk De 2e schijf bij de eerste op de kabel en het draait nu zonder problemen. Ben nu met 50% processorbelasting (tis een AMD900) met 9mb/sec wat series aan het kopieren. Niet slecht!

[ Voor 5% gewijzigd door engessa op 28-11-2007 13:47 ]

[El Cid]

Enlightenment, weet jij toevallig of ZFS onder FreeBSD al bruikbaar is voor een fileserver? Of is ZFS nog te experimenteel?

[Jerie]

El Cid schreef op zaterdag 01 december 2007 @ 11:21:
Enlightenment, weet jij toevallig of ZFS onder FreeBSD al bruikbaar is voor een fileserver? Of is ZFS nog te experimenteel?

Als ik zo vrij mag zijn een duit in het zakje te doen:

ZFS is een experimentele feature in FreeBSD 7.0. Het wordt op z'n vroegst stabiel verklaard in FreeBSD 7.1. Dat duurt nog wel even: FreeBSD 7.0 is nu in beta stadium belandt zie [1] voor actuele info daarover.

Ik draai ZFS al vele maanden op FreeBSD 7 snapshots, met enig succes.

In het begin had ik last van read errors (en zelfs enkele write errors, en crashes). Ik ben erachter gekomen dat (interne) SATA kabels unshielded zijn en dat je die niet opgerolt in je computer kunt laten bengelen ook al vind je airflow nog zo belangrijk. Die situatie is aangepast; sindsdien heb ik ook die problemen niet meer.

De snelheid is op 1 gbit slechts 30 MB/sec max (met ZFS tweaks van wiki; zonder enige netwerk of NFS/Samba tweaks; met kernel en binaries die debugging aan hebben staan), en ik boot niet van de RAID. Aangezien ik voorheen 3 MB/sec had, en later slechts 100 mbit, is dit voor mij een grote (en acceptabele) vooruitgang, maar voor velen hier wellicht niet.

Ook al heb je ZFS met hardware RAID de FreeBSD bootloader zal niet van ZFS kunnen booten. Zie [2].

Op de FreeBSD wiki staat veel interessante informatie, progresie van features (Sun hackt vrolijk door), links naar korte videofragmenten met uitleg, enzovoorts. Zie [3].

De laatste Samba 3.x + non-UFS gaat mogelijk niet goed werken. Zie [4]. Samba 3.0.23 werkt; 3.0.25 of 3.0.26 niet (bijv niet met een loopback image, ook niet met ZFS). Nadeel is dat .23 bekende kwetsbaarheden heeft zie voor een korte changelog. Zie [5].

Dus wat is beter? Is bovenstaande het waard? Your call . Voldoen voor jou de GEOM layers (GELI, GRAID3, GRAID5, GJOURNAL, UFS snapshots)? Die zijn ook het overwegen waard. Ik vind het prettig dat ik met ZFS minder aan OS gebonden ben.

Wat dan weer jammer is, is dat er geen Xen dom0 voor FreeBSD beschikbaar is. Er zijn nl. een paar softwarepakketten die ik op FreeBSD voor geen meter aan de praat krijg. Ik overweeg OpenSolaris er op te gooien. Die ondersteunt Xen dom0, en ZFS. Om eerlijk te zijn ben ik ook gruwelijk benieuwd naar de performance op FreeBSD 7.0-RELEASE, en OpenSolaris! NetBSD 3.1 ondersteunt Xen 2.0 dom0, NetBSD 4.0-CURRENT ondersteunt Xen 3.x dom0, maar de ZFS port (die in 4.0-CURRENT geintroduceerd zal worden) is nog niet compleet. FreeBSD Xen dom0 is nog niet compleet. QEMU krijg ik ook niet aan de praat. Misschien is het makkelijker er een tweede machine naast te plaatsen...

[1] http://www.freebsd.org
[2] http://blogs.sun.com/storage/entry/what_we_re_watching_lori
[3] http://wiki.freebsd.org/ZFS
[4] https://bugzilla.samba.org/show_bug.cgi?id=4715
[5] http://www.freshports.org/net/samba3/

[El Cid]

Jerie schreef op zondag 02 december 2007 @ 12:55:
Als ik zo vrij mag zijn een duit in het zakje te doen:

Verhelderend verhaal, bedankt.

Eigenlijk was ik van plan om met Solaris een fileserver te bouwen, puur vanwege ZFS. Heb in het verleden een aantal keer problemen gehad met corrupte bestanden bij het gebruik van Linux-bestandssystemen. En de ingebouwde features van ZFS(geen fsck, checksums) leken mij daarom zeer aanlokkelijk.

Het probleem is echter dat ik via de hcl van Solaris geen certified moederborden kan vinden die mij bevallen.

http://www.sun.com/bigadm...ards_certified.page1.html

Op die pagina staan er maar 11. Een deel is niet verkrijgbaar in Nederland. Een ander deel gebruikt trage VIA-processors. En weer een ander deel is peperduur of gebruikt niet-groene energieslurpers als de P4. Nou kan ik ook een moederbord uit de "Reported to Work" categorie nemen. Maar ik weet niet of dat zo verstandig is want ik heb geen ervaring met Solaris. Stabiliteit gaat boven alles bij een fileserver.

Vandaar dus dat ik overweeg om toch maar FreeBSD te nemen. Maar na jouw verhaal zie ik dat ook niet meer zo zitten.

[Verwijderd]

El Cid schreef op zaterdag 01 december 2007 @ 11:21:
Enlightenment, weet jij toevallig of ZFS onder FreeBSD al bruikbaar is voor een fileserver? Of is ZFS nog te experimenteel?

ZFS is op geen enkel OS nog klaar om in een productieomgeving gebruikt te worden, dus ook niet op Solaris. Dat betekent niet dat het slecht werkt, alleen dat voor productieservers nu eenmaal bewezen technologie gebruikt wordt. ZFS is een ingewikkeld FS met veel features. In elk stuk software zitten bugs en die bugs worden voornamelijk gevonden door testen in 'het wild'; wij dus die als 'early adopters' ZFS uitproberen op onze systemen.

De vraag is echter of dat wel zo'n goed idee is. Wat als ZFS een bug hier of daar bevat, die voor datacorruptie zorgt. Ik hoor anderen al zeggen "wacht even, ZFS ondersteunt checksums en self-healing!", dat klopt, maar werkt dat ook 100% goed? Als software bugs bevat, hoeft dit niet altijd grote gevolgen te hebben. Oke firefox crasht, so what. Al je tabs blijven zelfs behouden. Maar wat als je filesystem een bugje hier en een bugje daar heeft? Ik blijf sceptisch. ZFS is een ingewikkeld stuk software dat door zijn toegenomen complexiteit vele obscure gebreken kan hebben, en mijn data is niet als proefkonijn geschikt.

Ah, de oplossing: backups! Maar ook daar zit je niet helemaal veilig. Want alle data die je backup komt dus ook van ZFS af, dus blijf je afhankelijk van deze experimentele software. Ook kan ZFS een privacy- of veiligheidsrisico zijn, aangezien bestanden vrijwel niet verwijderbaar zijn dankzij het copy-on-write model. Als de genoemde issues voor jou geen struikelblok vormen dan is ZFS een zeer sexy stuk software om mee te werken. Persoonlijk vind ik de tijd hier echter nog niet rijp voor.

[Verwijderd]

Jerie schreef op zondag 02 december 2007 @ 12:55:
De snelheid is op 1 gbit slechts 30 MB/sec max (met ZFS tweaks van wiki; zonder enige netwerk of NFS/Samba tweaks; met kernel en binaries die debugging aan hebben staan)

Als je een debug kernel draait dan zijn alle verkregen benchmarkresultaten ongeldig; debugging tast performance namelijk aan en benchmarking is nog altijd bedoeld om te kunnen voorspellen welke performance een eindgebruiker uiteindelijk krijgt, en die draait natuurlijk niet met een debugging kernel.

ZFS was in mijn testen ook tergend langzaam, maar de performance schijnt de afgelopen maanden significant toegenomen te zijn. Misschien reden genoeg om je benchmarks nog eens over te doen met de juiste configuratie?

Verder: zonder netwerktweaks aan een Windows client zul je nooit gigabit volledig benutten. Windows zelf heeft ook TCP tuning nodig voor optimale performance. (reg. hacks). Netwerkcommunicatie is nog altijd een samenspel van minimaal twee machines.

[Quadro!]

Hmm toch vreemd... Afgelopen dagen wat gestoeid met freebsd en geom_raid5 icm 5x320GB (nu een raidset van 3, vanwege data op die andere 2), maar als ik mijn server afsluit (gewoon met shutdown -p now) en opnieuw opstart, gaat hij rebuilden met om de 2 a 3 minuten een soortgelijke mededeling:

GEOM_RAID5: data: all(-1): re-sync in progress: 9.84% p:0 ETA 61min (cause: store verify progress)

Google bied weinig soelaas, iemand hier een idee waarom dat hij mijn raidset moet verifyen terwijl ik de server netjes heb afgesloten?

[Verwijderd]

Post alle details eens, zoals: welke BSD versie, welk platform (i386 of amd64), welke geom_raid5 module gebruik je (datum en generatie), en post ook eens relevante delen uit je /var/log/messages, vooral de eerste messages zijn interessant. Ook de output van graid5 list en sysctl kern.geom.raid5 zou ik graag van je ontvangen.

Omdat dit ws. wel veel data is, vraag ik je alle data te posten met http://pastebin.ca, waarmee je me heel snel jouw control-V kunt laten zien.

[Quadro!]

Ik draai FreeBSD 7.0 beta 2 op i386 op deze hardware:

Quadropluxor schreef op maandag 26 november 2007 @ 15:17:
[...]
• Coolermaster Centurion 5
• Antec Basiq 350W
• EPoX EP-8NPA SLI (kon ik tweedehands goedkoop aan komen en heeft gigabit onboard)
• AMD Sempron 2800+
• 256MB ram (zou het veel uitmaken om er 512MB of 1GB van te maken?)
• 5x Seagate Barracuda 7200.10 320GB (zitten op dit moment maar 3 in raidset)

Alles geinstalleerd volgens de handleiding van rkrol, dus graid5.8,v 1.17 2007/05/14 13:20:04.

/var/log/messages
graid5 list
sysctl kern.geom.raid5

[El Cid]

Verwijderd schreef op zondag 02 december 2007 @ 23:52:
Ah, de oplossing: backups! Maar ook daar zit je niet helemaal veilig. Want alle data die je backup komt dus ook van ZFS af, dus blijf je afhankelijk van deze experimentele software. Ook kan ZFS een privacy- of veiligheidsrisico zijn, aangezien bestanden vrijwel niet verwijderbaar zijn dankzij het copy-on-write model. Als de genoemde issues voor jou geen struikelblok vormen dan is ZFS een zeer sexy stuk software om mee te werken. Persoonlijk vind ik de tijd hier echter nog niet rijp voor.

Je hebt waarschijnlijk gelijk. Echter, in het verleden heb ik ook data verloren met ogenschijnlijk uitgestabiliseerde bestandssystemen zoals ext2/3. Bovendien heb ik het idee dat als een bedrijf als Sun softwaren vrijgeeft voor Solaris, dit al een stuk stabieler is als bij menig Open Source project. Daar released men vaak zaken die pas half af zijn, en ziet men wel wat er nog aan bugs komt bovendrijven.

[Verwijderd]

Ik volg deze topics ook al een tijdje, maar ik geraakt maar niet uit de keuzes:
Keuze 1: Conceptronic CH3SNAS.
Keuze 2: Zelfbouw met overschot oude pc.

Overschot oude pc:

Mobo:	ECS K7S5A (socket 478, geen onboard raid)
	http://www.ocworkbench.com/hardware/elite/k7s5a/k7s5ap2.htm
Proc:	AMD Athlon XP 2000
HD	Maxtor 120 GB & WD 80GB (beiden IDE)
PSU	Coolermaster 380W

Zowiezo aan te kopen:

Gigabit switch	Netgear GS605 (41€)
HD	2 x Samsung Spinpoint F1 640GB (???€)

Aan te kopen keuze 1:
Conceptronic CH3SNAS = 130€

Aan te kopen keuze2:

Mem	512MB DDR: 25€
Raid controller	HighPoint RocketRaid 1520 (goedkoop, 56€ en raid 1, is voldoende denk ik)
Gigabit lan	Netgear Gigabit PCI adapter (12€)
VGA	PCI of AGP kaartje (35€)
Totaal =	130€

Hebben jullie bij deze geselecteerde onderdelen nog opmerkingen? Gaat bv die Netgear PCI adapter voldoende zijn om 20 tot 30 MB/s te halen icm de switch?? En is de raid controller een goede keuze?? (Raid 1 zal echt wel voldoende zijn, toch voor de komende jaren denk ik)

Waarvoor moet het dienen, in volgorde van belangrijkheid:
1. Betrouwbare back-up van foto’s, mp3, films, Word & Excel bestanden (belangrijkste)
2. Laag verbruik
3. Streaming van muziek en films naar andere pc’s
4. Remote desktop (RealVNC, X Window, ???)
5. Slimserver draaien en eventueel in de toekomst ook andere multimedia toepassingen.
6. Op termijn, streamen van HD-films naar HTPC (snelheid voldoende hoog hiervoor?)
7. FTP server
8. Snelheid niet echt belangrijk, want netwerk zal toch beperkende factor zijn + meestal slechts 2 gebruikers online. (minst belangrijke, zolang gigabit snelheid mogelijk is)

Zelf neig ik eerder naar keuze 1: Voldoet aan alle eisen en veel minder rompslomp dan keuze 2.
Aan de andere kant wil ik wel best wat meer bijleren ivm unix/linux systemen (jaja, ben echt een leek hierin...).

Wat denken jullie? Keep it simple & stupid en ga voor de conceptronics
of
zelfbouwnas is zonder voorkennis zo heel moeilijk niet en aan te raden qua snelheidswinst en gebruiksgemak/uitbreidingsmogelijkheden?

[Verwijderd]

Quadropluxor schreef op maandag 03 december 2007 @ 23:55:
Ik draai FreeBSD 7.0 beta 2 op i386 op deze hardware:
Alles geinstalleerd volgens de handleiding van rkrol, dus graid5.8,v 1.17 2007/05/14 13:20:04.

/var/log/messages
graid5 list
sysctl kern.geom.raid5

Dank je! De volgende regel trekt mijn aandacht:
Aug 14 04:49:51 quadro_server kernel: WARNING: /data was not properly dismounted

Dit betekent dat het UFS filesystem niet netjes afgesloten is (dismounted of unmounted). Jouw probleem lijkt erop dat wanneer je wilt afsluiten met shutdown -p now, hij niet netjes afsluit maar al veels te snel uit gaat. Probeer het eens met ACPI uitgeschakeld, of je probleem dan weg is. ACPI schakel je uit door bij het menu waarbij hij van 10 tot 0 telt voor de 2e optie te kiezen ("boot with ACPI disabled"). Jouw probleem betreft een shutdown-probleem of bug, en niet zozeer iets met geom_raid5; die doet wat er hoort te gebeuren: na een unclean shutdown hoort hij de array te controleren op juiste parity. Al jouw logs geven aan dat geom_raid5 goed werkt.

Ook kun je ook eens testen of "reboot" hetzelfde probleem veroorzaakt. Wat zie je precies als je dit commando invoert? Je hoort nog wat tekst te zien op de monitor die fysiek aan de BSD-computer is gekoppeld. Zie je daar toevallig iets vreemds aan?

[Verwijderd]

El Cid schreef op dinsdag 04 december 2007 @ 10:14:
Je hebt waarschijnlijk gelijk. Echter, in het verleden heb ik ook data verloren met ogenschijnlijk uitgestabiliseerde bestandssystemen zoals ext2/3. Bovendien heb ik het idee dat als een bedrijf als Sun softwaren vrijgeeft voor Solaris, dit al een stuk stabieler is als bij menig Open Source project. Daar released men vaak zaken die pas half af zijn, en ziet men wel wat er nog aan bugs komt bovendrijven.

Ext2 is niet journaled, Ext3 wel. Geen superFS trouwens. JFS is een goed filesystem als je vooral betrouwbaarheid wilt. XFS is uitstekend qua performance. ZFS moet het van zijn features hebben, maar blijft een heel stuk complexer en nieuwer dan andere filesystems.

Dataverlies kan met elk filesystem voorkomen als de hardware niet goed werkt, geen enkel filesystem is daar immuun voor. Dat gezegd: ik weet natuurlijk niks van jouw situatie en waarom je toen data bent verloren. Ik wil echter wel wat 'tegengeluiden' geven over ZFS; na alleen maar positieve en enthousiaste berichten over het web; het blijft een filesystem dat nog in ontwikkeling is. Een simpele read error zorgt al voor het crashen van het hele OS, iets wat volgens de devs nodig is om te zorgen dat ZFS geen enorme schade aanricht wanneer er wat fout gaat. Ook wordt er nog gesleuteld aan het dupliceren van alle metadata, nu staat deze nog op één plek zonder enige redundantie of bescherming.

Pas zodra grote bedrijven ZFS in hun productiesystemen gaan gebruiken, denk ik dat ZFS klaar is voor het grote publiek. Ben je bovengemiddeld geïnteresseerd in ZFS? Laat je dan vooral niet afschrikken door mijn kantzijde. Houd wel in je hoofd dat het om experiementele software gaat en je dus een early adopter bent. Test je setup eerst goed vóórdat je het in gebruik neemt, en zorg voor goede backups op een ander filesystem. Daarmee sluit je nog steeds niet alle risico's uit, maar heb je deze wel geminimaliseerd.

[El Cid]

Verwijderd schreef op dinsdag 04 december 2007 @ 15:33:
Pas zodra grote bedrijven ZFS in hun productiesystemen gaan gebruiken, denk ik dat ZFS klaar is voor het grote publiek. Ben je bovengemiddeld geïnteresseerd in ZFS? Laat je dan vooral niet afschrikken door mijn kantzijde. Houd wel in je hoofd dat het om experiementele software gaat en je dus een early adopter bent. Test je setup eerst goed vóórdat je het in gebruik neemt, en zorg voor goede backups op een ander filesystem. Daarmee sluit je nog steeds niet alle risico's uit, maar heb je deze wel geminimaliseerd.

Ja, ik ben mijn opties nog aan het bekijken. Mijn nieuwe fileserver had er eigenlijk al moeten staan. Een half jaar geleden was ik al van plan om Solaris + ZFS te gaan gebruiken. Helaas heb ik het te druk gehad met mijn studie.

Wat mij vooral aansprak aan ZFS zijn de checksums - geen bitrot meer. Dus mischien kan ik wel een 'ouderwets' bestandssysteem nemen, en dan via cron regelmatig een scriptje de boel langs laten lopen met een CRC/MD5. Is niet hetzelfde als ZFS, maar het kan volstaan.

Nou is FreeBSD mijn favoriete OS voor servers. Dus de geom_raid5 die jij hier altijd loopt te pluggen is zeker een optie. Maar het is ook de bedoeling dat op die server een handelsplatform voor beleggingen, geschreven in Java komt te draaien. En volgens mij is Solaris samen met Windows het beste platform voor Java.

Mischien ga ik wel (weer) voor FreeBSD als Java daarop goed blijkt te werken voor mijn doelen.

[Quadro!]

Verwijderd schreef op dinsdag 04 december 2007 @ 15:19:
[...]

Dank je! De volgende regel trekt mijn aandacht:
Aug 14 04:49:51 quadro_server kernel: WARNING: /data was not properly dismounted

Dit betekent dat het UFS filesystem niet netjes afgesloten is (dismounted of unmounted). Jouw probleem lijkt erop dat wanneer je wilt afsluiten met shutdown -p now, hij niet netjes afsluit maar al veels te snel uit gaat. Probeer het eens met ACPI uitgeschakeld, of je probleem dan weg is. ACPI schakel je uit door bij het menu waarbij hij van 10 tot 0 telt voor de 2e optie te kiezen ("boot with ACPI disabled"). Jouw probleem betreft een shutdown-probleem of bug, en niet zozeer iets met geom_raid5; die doet wat er hoort te gebeuren: na een unclean shutdown hoort hij de array te controleren op juiste parity. Al jouw logs geven aan dat geom_raid5 goed werkt.

Ook kun je ook eens testen of "reboot" hetzelfde probleem veroorzaakt. Wat zie je precies als je dit commando invoert? Je hoort nog wat tekst te zien op de monitor die fysiek aan de BSD-computer is gekoppeld. Zie je daar toevallig iets vreemds aan?

Als ik reboot krijg ik geen vreemde dingen.

Hmm... raar. Toen ik net afsloot en weer opnieuw opstartte deed hij het wel weer gewoon. HIj gaf echter wel aan dat hij niet properly dismounted was. Nu vraag ik mij af wat de correcte manier van dismounten is, want als ik gewoon umount /data doe en weer mount geeft hij dezeflde warning
Dus:

quadro_server# mount /data
WARNING: /data was not properly dismounted
quadro_server# umount /data
quadro_server# mount /data
WARNING: /data was not properly dismounted

[ Voor 13% gewijzigd door Quadro! op 04-12-2007 17:04 ]

[Verwijderd]

Je moet eerst een filesystem check draaien:
fsck -p /data

Als je filesystem fouten bevat die de -p optie niet oplost, moet je -y gebruiken:
fsck -y /data

Pas daarna mounten:
mount /data

Niet juist dismounten betekent vaak een crash, hardware storingen of anderzins ernstige storingen waardoor van het een op andere moment het OS geen toegang heeft tot het filesystem, en niet netjes zijn write buffers kan wegschrijven het het FS in een nette staat achterlaten. Nu dat is mislukt geeft hij elke keer dat je wilt mounten die waarschuwing, die verdwijnt zodra je fsck met succes hebt gebruikt.

[ Voor 9% gewijzigd door Verwijderd op 04-12-2007 17:55 ]

[Quadro!]

Verwijderd schreef op dinsdag 04 december 2007 @ 17:54:
Je moet eerst een filesystem check draaien:
fsck -p /data

Als je filesystem fouten bevat die de -p optie niet oplost, moet je -y gebruiken:
fsck -y /data

Pas daarna mounten:
mount /data

Niet juist dismounten betekent vaak een crash, hardware storingen of anderzins ernstige storingen waardoor van het een op andere moment het OS geen toegang heeft tot het filesystem, en niet netjes zijn write buffers kan wegschrijven het het FS in een nette staat achterlaten. Nu dat is mislukt geeft hij elke keer dat je wilt mounten die waarschuwing, die verdwijnt zodra je fsck met succes hebt gebruikt.

Aha, dank voor alle informate! Hij mount nu inderdaad goed. Nog een vraagje: volgens mij (of eigenlijk, volgens wat oude posts in dit topic) had jij een offline expansion script geschreven, werkt deze nog? Want het zou mooi zijn als ik mijn raidset nu kon expanden

[Verwijderd]

Helaas nog niet onder FreeBSD7, de optie die ik daarvoor nodig had, geom.debugflags, is uitgeschakeld. Deze optie staat het mij toe om te schrijven naar de fysieke hardeschijven terwijl deze in gebruik zijn door geom_raid5. Dit is nodig voor de expansieprocedure. FreeBSD7 vond dit kennelijk overbodig met alle verbeteringen aan partitie-handling. Echter, procedures zoals de mijne maken ze daarmee onmogelijk, zonder patch.

En degene díe een patch heeft geschreven voor dit probleem is niet geaccepteerd en werkt ook niet volledig. Voorlopig werkt expansion dus alleen onder FreeBSD6 wat natuurlijk een groot nadeel is. Ik ben nog op zoek naar een oplossing. Ik hoop niet dat ik alle moeite voor niks heb gedaan.

[Shuriken]

In mijn honger naar performance heb ik op ebay een Dell Perc 5/i op de kop getikt voor 149 euro.

Dit ook met het oog op het feit dat ik mijn configuratie wil upgraden met 3 x 750 GB drives (nu 3 x 120GB)

Ik zit alleen nog erg te twijfelen welke drives ik nu zal nemen. De Samsung F1 ziet er erg aantrekkelijk uit met goede performance. Echter kan ik met de controller niet meer kiezen voor spindown waardoor het stroomverbruik en lagerslijtage omhoog gaat.

Als alternatief zit ik nu naar de Western Digital GP series te kijken. Die hebben een aantal energie bespaarende features. Helaas gaat dit natuurlijk wel ten koste van de snelheid.

[Verwijderd]

Wat voor controller is die Dell Perc 5/i precies? Die zijn altijd rebranded afaik.

Samsung F1 zit rond de 6W idle, WD GP rond de 4W en ik meen dat Hitachi's nieuwe 1TB schijf ook 4W idle had. Zie hier:
http://techreport.com/discussions.x/13434

[Paul]

In hoeverre is het belangrijk eigenlijk dat je SATA-kabels niet opvouwt en tegen elkaar aanlegt en zo? zijn ze shielded? Is dat nodig?

Ik heb mijn kabels bijzonder netjes weggewerkt, al zeg ik het zelf maar ik haal tevens maar een bedroevende snelheid

Heeft het zin die kabels in te wikkelen in alufolie (+ plastic tegen sluiting) ?

Edit: Foto

[ Voor 11% gewijzigd door Paul op 05-12-2007 14:39 ]

[Verwijderd]

Ik denk niet dat je snelheidprobleem door je kabels komt. Als je FreeBSD gebruikt kun je de ruwe snelheid controleren:
dd if=/dev/ad4 of=/dev/null bs=1m count=1000

Vervang ad4 voor één van je RAID-disks, partitie enzo hoeft niet. Nadat dd klaar is geeft hij aan hoeveel bytes per seconde hij haalde. Dat zou rond de 70MB/s moeten zijn bij moderne disks.

[Shuriken]

Verwijderd schreef op woensdag 05 december 2007 @ 14:22:
Wat voor controller is die Dell Perc 5/i precies? Die zijn altijd rebranded afaik.

Samsung F1 zit rond de 6W idle, WD GP rond de 4W en ik meen dat Hitachi's nieuwe 1TB schijf ook 4W idle had. Zie hier:
http://techreport.com/discussions.x/13434

Ja klopt het is een LSI Megaraid Adapter 8 poorts ( megaraid_sas driver voor linux).

[Verwijderd]

Misschien leuk als je een vergelijking kunt doen tussen geom_raid5 en die controller? Kan ik je mee helpen om dat goed te testen, mits je dat goed vindt natuurlijk.

[Shuriken]

Verwijderd schreef op woensdag 05 december 2007 @ 18:00:
Misschien leuk als je een vergelijking kunt doen tussen geom_raid5 en die controller? Kan ik je mee helpen om dat goed te testen, mits je dat goed vindt natuurlijk.

Sure...als ik maar credits krijg op je blog

Nee serieus, ik heb em al in mn Freenas doosje zitten (A8N-VM CSM). Dus heb alleen binary Bonnie++ nodig.

[ Voor 13% gewijzigd door Shuriken op 05-12-2007 21:34 ]

[Verwijderd]

Shuriken schreef op woensdag 05 december 2007 @ 21:33:
Sure...als ik maar credits krijg op je blog

Dat is geen probleem.
Maar ik had er eigenlijk nog niet aan gedacht om het op mijn site te zetten hoor.

Nee serieus, ik heb em al in mn Freenas doosje zitten (A8N-VM CSM). Dus heb alleen binary Bonnie++ nodig.

Oke, dan heb je wel een aangepaste binary nodig, die een rustperiode inlast tussen alle afzonderlijke tests, anders krijg je ten onrechte lagere resultaten. Conclusie: je mag bonnie-resultaten van een niet-gepatchde bonnie dus niet tussen geom_raid5 en iets anders vergelijken. Wel mits je hem patcht.

De aangepaste binary stuur ik je binnenkort een DMetje.

[_eXistenZ_]

Voor de mensen die het interresant mochten vinden, hier mijn custom behuizing in aanbouw voor men NAS

[ Voor 20% gewijzigd door _eXistenZ_ op 06-12-2007 21:35 ]

[Paul]

Verwijderd schreef op woensdag 05 december 2007 @ 15:52:
Ik denk niet dat je snelheidprobleem door je kabels komt. Als je FreeBSD gebruikt kun je de ruwe snelheid controleren:
dd if=/dev/ad4 of=/dev/null bs=1m count=1000

Vervang ad4 voor één van je RAID-disks, partitie enzo hoeft niet. Nadat dd klaar is geeft hij aan hoeveel bytes per seconde hij haalde. Dat zou rond de 70MB/s moeten zijn bij moderne disks.

Gebruikte commando's (reboot na iedere test)
dd if=$DEVICE of=/dev/null bs=1M count=10240
dd of=/dev/zero of=$FILE bs=1M count=10240

Areca - 8x Maxtor 300GB in RAID5	419 MB/s
Areca - 8x Samsung 500GB in RAID5	366 MB/s
LVM met beide arrays	201 MB/S
XFS op LVM - read	306 MB/s
XFS op LVM - write	78 MB/s

Intel e4310 oid, 2gb ram, Areca 16p PCI-X in PCI-X (133/64)slot. Wat ik erg vreemd vind is de lage score voor de LVM direct benaderen (ongeveer de helft van een array, een kwart als LVM ze parallel zou aanspreken, en lager dan wanneer ik op het filesystem test) en de lage score voor schrijven. Die laatste zou volgens de review toch richting 250 MB/S moeten kunnen.

Omdat ik met Samba echter vaak slechts 30MB/s haal zit ik te zoeken waar dat aan kan liggen.

[Dekaasboer]

De nas komt er nu aan. Met freenas denk ik dan. Ik zat alleen nog met een paar issues.

Op het netwerk wordt gebruik gemaakt van photoshop. Deze moet op alle 3 de pc's kunnen draaien. Er is slechts 1 licentie beschikbaar. Is het mogelijk om alle 3 de pc's 1 installatie op de nas te laten benaderen en hoe werkt dat?

[_eXistenZ_]

Wat heb je zelf al gevonden? Bovendien is dit niet het goede topic.

[ Voor 41% gewijzigd door _eXistenZ_ op 07-12-2007 14:10 ]

[juba]

hier weer een verse freenasgebruiker. Sinds vorige week draait mijn nieuwe servertje ook freenas en een fraaie graid5. Echt een top stukje software, eenvoudige installatie en een stabiele server omgeving (voor zover ik er nu al iets over kan zeggen).

wat specs:
sempron 3600+ op 2ghz
2x 512 ram
jetway mobo met 6x sata
geen videokaart ook niet onboard...
1gb ssd ide unit voor freenas
5x 500gb seagate sata in raid5
intel pro 1000 nic
antec earthwatts 380 watt voeding (80 plus)

het systeem zit in een sharkoon rebel 9 case (goedkope mid tower met 9x 5,25" bays) de schijven zitten allemaal in een bay tussen 2 koelribben, dus lekker ruim en koel.
De case heeft maar 1x 12cm fan die met een home-made duct de cpu en nforce chipset koelt. de lucht gaat voor langs de schijven erin en achter er uit, de temps zien er zeer gunstig uit (cpu 24 graden en de schijven na 3 uur schrijven 30 graden).
De 2TB RAID5 nas, alles nieuw (plus redelijk stil en zuinig) heeft ongeveer 800 euro gekost.

de installatie ging niet helemaal vlekkeloos daar de setup niet van mijn sata cdrom kon lezen... (waarschijnlijk een bios settings probleem) maar dat is uiteindelijk opgelost met een usb cdrom. verder werkte het in een paar uur helemaal perfect. hij zit nu voor de helft vol en ik ben zeker te spreken over de snelheid! het stroomverbruik zal ik binnenkort meten.

waar ik nu nog mee zit is de gebruikersrechten. momenteel kunnen alle gebruikers op mijn netwerk bestanden maken en verwijderen... het is uiteindelijk het plan dat alles read only is op een upload dir na ofzo. tot nu toe heb ik alleen nog niet echt kunnen uitvogelen hoe ik de verschillende gebruikers verschillende rechten mee kan geven. (wachten op 0.7 is de enige optie? daar in deze versie het wel mogelijk zou moeten zijn)

[Verwijderd]

Verwijderd schreef op woensdag 18 juli 2007 @ 21:44:
[...]

Yep will do. Zodra hij 'beta' quality is zal ik jullie een linkje geven voor feedback.

@enlightenment: Heb de posts al een tijdje niet meer gezien. Is er ooit nog een draft/verhaal geschreven zoals je ooit van plan was om te schrijven?

[P5ycho]

het is tijd om mijn freebsd bakje onder handen te nemen. ik heb wat ruimtegebrek op /usr, en neem /var dan ook meteen maar mee met de resize. ik heb een kleine step by step guide geschreven met de geplande operatie:

      Name    Status  Components
mirror/gm0  COMPLETE  ad4
                      ad6
Filesystem            Size    Used   Avail Capacity  Mounted on  wanted resize:
/dev/mirror/gm0s1a    496M     61M    395M    13%    /
/dev/mirror/gm0s1d    3.9G    595M    3.0G    16%    /var        4G -> 25G
/dev/mirror/gm0s1e    496M    504K    456M     0%    /tmp
/dev/mirror/gm0s1f    2.9G    2.3G    370M    86%    /usr        3G -> 15G
/dev/mirror/gm0s1g    441G    200G    206G    49%    /data	 donate to /var, /usr

procedure:
$gmirror remove gm0 /dev/ad6 (break mirror, effectively creating a backup drive if i understood correctly)
disconnect ad6 from server

boot gparted (has ufs move and copy support)
delete /data slice
(single user mode?)
move /usr, /tmp away from /var so /var can grow to 25G and /usr to 15G
growfs -s 31457280 /dev/ad4s1f #( (1073741824*15)/512=sectors)
growfs -s 52428800 /dev/ad4s1d
move /tmp back next to grown /var, and /usr next to that
newfs ad4s1g /data using sysinstall (i'm lazy)

reinsert ad6, mount /ad6s1g as /mnt/data
copy data to ad4s1g /data.

$ gmirror insert gm0 /dev/ad6

fuckup scenario:
if things go bad, remove mirrordata from ad4, reconnect ad6, create new gm0, insert ad4, resync, back to old situation.

Is dit een beetje te doen? op- of aanmerkingen?

sidenotes:
ik kan geen user experiences vinden wat betreft gparted icm ufs.
Ik heb nog maar 2x in single user mode geboot, 1x vanwege een rc.conf typo, en 1x voor een move van 6.2 release naar 6-stable. Zijn er nog dingen waar ik rekening mee moet houden? bijv. kan ik wel bij growfs?
ik kan weinig vergelijkbare scenario's vinden van andere gebruikers. De meesten komen neer op: gebruik symlinks naar een andere partitie, of fresh install. heb nu al m'n home en ccache gesymlink'd en als ik /usr/src nodig heb kan ik m'n portstree eerst lopen verwijderen. dit moet dus opgelost worden.

[Verwijderd]

@P5ycho: Poeh zo'n operatie heb ik nog nooit geprobeerd. Wat dit betreft zou ZFS een uitkomst zijn voor je.
Met ZFS kun je namelijk real-time ruimte verdelen zoals gewenst (storage pool).

Ik zelf gebruik inderdaad symlinks, zodat b.v. mijn /usr/ports op een RAID-array staat, of /usr/src en /usr/obj die bij hercompileren van FreeBSD kernel/userland nogal groot kunnen worden. Kijk anders eens waarom er 2,3GB gebruikt wordt op je systeempartitie?

Verwijderd schreef op dinsdag 11 december 2007 @ 14:05:
@enlightenment: Heb de posts al een tijdje niet meer gezien. Is er ooit nog een draft/verhaal geschreven zoals je ooit van plan was om te schrijven?

Zoals wel vaker komt er vanalles tussen mijn plannen, een goed artikel kost ook veel tijd, wat ik eigenlijk niet heb.
Wel wilde ik mijn geom_raid5 artikel voor oud-en-nieuw lanceren, ik hoop dat dat gaat lukken. Ik heb nu (sinds kort) weer een testsysteem tot mijn beschikking en ben aan het kijken hoe ik het beste kan benchmarken, dat kost zeker wel 2 weken, waarna het echte benchmarken pas kan beginnen. Het zal krapjes worden, maar ik ben nu wel plan het echt af te maken.

Daarna volgen de andere artikelen, zie ook mijn plannen voor de toekomst:
http://www.fluffles.net/benchmarkproject

[P5ycho]

ik wacht met smart op zfs, maar zfs vraagt veel system recources en is nog veel te experimental. het belooft wel veel goeds voor de toekomst.
ik heb zo'n 325 ports geinstalleerd, vandaar de grote /usr i guess.
Ik zal eens een mailinglist proberen voor een 2nd opinion...

[ Voor 50% gewijzigd door P5ycho op 14-12-2007 16:24 ]

[PASware]

Verwijderd schreef op dinsdag 04 december 2007 @ 13:27:
*knip*

Is het niet handiger om een nieuwe cpu en moederbord te halen? Die wat energiezuiniger zijn. Zal nog goedkoper ook zijn als je een moederbordje koopt met een onboard gbit NIC en RAID mogelijkheden. Voorbeeldje met prijzen van Azerty.nl:

Soort:	Merk/type:	Prijs:
CPU	AMD Sempron,Boxed, LE-1100, 1.9ghz	€ 32,37
Mobo	MSI K9AGM3-F	€ 43,40
Mem	Kingston 1024mb PC4200 DDR2	€ 17.34
	TOTAAL:	€ 93.11

Goedkoper dan oplossing die jij aangaf, en je verbruik zal lager zijn en het systeen is wat sneller. Ik kan niet met 100% zekerheid zeggen of de onboard NIC van het MSI mobo wel 20MB/s aankan. Desnoods kun je een aparte 1gbit NIC kopen. Kost een kleine 20 euro

[Shuriken]

Eerste benchmark met mn nieuwe set: 3 x Samsung F1 750GB geomraid5

code:

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
         4096 72525 61.5 120395 32.6 51389 12.1 57515 59.6 126125 17.3 246.0  1.1

[heuveltje]

Licht offtopic misschien, maar ik heb een probleem met spontaan wegvallende schijven.
Die zich na een reboot weer netjes aanmelden.

Nu vermoed ik dat dit een stroomprobleem is.
Alhoewel ik niet denk dat het aan mijn huidige 450W voeding ligt, ben ik al een nieuwe 600+W aan het uitzoeken met oog op een toekomstige cpu upgrade.

Maar ik denk zelf dat het aan de power bekabeling ligt. Die nu word nu verzorgd door 4 splitters en 8 extra "opklik sata power connectors".
Zijn er degelijke "1molex naar 4sata connectors" of weet iemand sata connectors die je kunt solderen ? (en als iemand ze kent met de staggered spinnup kabel bereikbaar, dan is dat echt geweldig)
Of hoe lossen jullie dat op ?

Dit zijn trouwens de oude specs van mijn server. er zitten nu 14 hd's in waarvan 4 500GB's

[ Voor 4% gewijzigd door heuveltje op 14-12-2007 11:53 ]

[Verwijderd]

Shuriken schreef op vrijdag 14 december 2007 @ 09:48:
Eerste benchmark met mn nieuwe set: 3 x Samsung F1 750GB geomraid5

code:

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
         4096 72525 61.5 120395 32.6 51389 12.1 57515 59.6 126125 17.3 246.0  1.1

120MB/s write en 126MB/s read dus. De writes zijn heel goed; effectief kun je namelijk maar twee schijven voor de throughput gebruiken. De reads vallen tegen, waarschijnlijk omdat je conservatieve read-ahead gebruikt. Probeer eens het volgende:

sysctl vfs.read_max=128

En test dan eens overnieuw, benieuwd of je dan een hogere read krijgt.

Leuke vergelijking, hier is Linux 2.6.22 met md RAID5 array met 6 disks op ext2:

code:

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
shadow       12000M 75842  86 125082  10 67510  12 82168  94 257467  28 323.1   1

125MB/s write is stukken lager dan geom_raid5 (TNG) haalt (met 8 disks zo'n 350MB/s (UFS 32k) tot 450MB/s (raw). De reads zijn wel goed daarintegen, maar dat is ook het makkelijke werk.

[Verwijderd]

heuveltje schreef op vrijdag 14 december 2007 @ 11:52:
Licht offtopic misschien, maar ik heb een probleem met spontaan wegvallende schijven.
Die zich na een reboot weer netjes aanmelden.
Nu vermoed ik dat dit een stroomprobleem is.

Heb je je voltagelijnen +5V en +12V gechecked? Die moeten binnen 5 tot 10% binnen spec draaien en mogen vooral niet te snel fluctueren. Ik kan me voorstellen dat een hardeschijf het niet leuk vindt om eerst 4.8V te krijgen en een milliseconde later 5.2V, ook al zijn beide binnen 5% spec. Test vooral als je de schijven aan het gebruiken bent, het liefst met een continu monitor die de voltages in grafiek laat zien. Als je met meerdere voedingen dit probleem hebt zou het namelijk nog aan de scherpe fluctaties kunnen liggen qua voltagelijnen.

Mocht het echt een electrisch probleem zijn, denk ik dat je beter op het electronica forum kunt vragen, die hebben daar vast veel meer verstand van.

Maar ik denk zelf dat het aan de power bekabeling ligt. Die nu word nu verzorgd door 4 splitters en 8 extra "opklik sata power connectors".

Hoor je je schijven misschien downspinnen? Dat heb ik ook een tijdje gehad met één defecte splitter maar ik kon het downspinnen van de schijven toch vrij goed horen. Nog even vinger op de pols?

[Shuriken]

Verwijderd schreef op zaterdag 15 december 2007 @ 01:45:
[...]

120MB/s write en 126MB/s read dus. De writes zijn heel goed; effectief kun je namelijk maar twee schijven voor de throughput gebruiken. De reads vallen tegen, waarschijnlijk omdat je conservatieve read-ahead gebruikt. Probeer eens het volgende:

sysctl vfs.read_max=128

En test dan eens overnieuw, benieuwd of je dan een hogere read krijgt.

Leuke vergelijking, hier is Linux 2.6.22 met md RAID5 array met 6 disks op ext2:

Hier met vfs.read_max=128

code:

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
         4096 64153 54.5 118949 31.7 51170 12.2 74180 86.4 168420 34.1 242.3  1.1

Hier onder linux 2.6.22 ext3 (resyncing!)

code:

       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
         4G 30595  80 78197  29 49233  15 40900  90 175951  27 177.3   0

De boel is nog aan het rebuilden, dus ik verwacht straks een betere bench te hebben.

De echte vergelijking komt als ik mn SAS-naar-SATA kabel binnen heb. Dan zal ik een benchmarkje draaien op mn Dell PERC 5/i (LSI 8408E)

[Verwijderd]

168MB/s, al beter maar nog niet ten volle benut, welke newfs instellingen heb je gebruikt, welke geom_raid5 versie gebruik je (classic, TNG of PP) en welke instellingen zijn actief voor geom_raid5? Zie met sysctl kern.geom.raid5. Ik denk dat je resultaten nog iets hoger kunnen.

[Shuriken]

Verwijderd schreef op zaterdag 15 december 2007 @ 17:45:
168MB/s, al beter maar nog niet ten volle benut, welke newfs instellingen heb je gebruikt, welke geom_raid5 versie gebruik je (classic, TNG of PP) en welke instellingen zijn actief voor geom_raid5? Zie met sysctl kern.geom.raid5. Ik denk dat je resultaten nog iets hoger kunnen.

Tja, gewoon standaard Freenas instellingen. Maar goed ik ga nu eerst even wat Linux FS proberen. Kijken wat dat voor effect heeft.

Ok, testje met Linux 2.6.22 MD raid 5 (chucksize 64k)

Ext3:

code:

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
Intel-PC         4G 32720  84 80179  31 50328  15 41607  90 173705  24 254.2   0

JFS

code:

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
Intel-PC         4G 37171  85 96167  15 55021  13 41789  88 176552  21 268.9   0

XFS

code:

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
Intel-PC         4G 38162  89 101209  16 49730  13 42124  92 156092  21 286.2   0

[ Voor 50% gewijzigd door Shuriken op 15-12-2007 20:10 ]

[Verwijderd]

FreeNAS gebruikt een oudere versie van geom_raid5 (classic) je kunt wel modules wisselen trouwens door geom_raid5 binary bestanden te vervangen. Dan kun je ook de nieuwere PP versie draaien.

BTW, met bonnie++ kun je het beste de -f parameter gebruiken, dus zoiets als:

bonnie -d /test/ -s 12000M -u root -f

Hiermee test je het filesystem op /test met een testgrootte van 12GB, de -f parameter slaat de Per Char testen over, zodat je minder benchmark contaminatie krijgt, omdat bonnie geen rustperiode inlast. Bij zowel linux md-raid5 als geom_raid5 zul je daarbij waarschijnlijk iets hogere Block write zien.

[InterRubke]

1. hoe belangrijk is de geometry instelling onder fdisk ?
ik krijg tijdens het bouwen (16%) van de raid array dma errors, en het lijkt alsof hij verder wil gaan dan de schijf aankan, gebruikte schijven : 4x samsung T166 500G

ik heb in het bios alles op auto staan, als ik de gegevens van het bios gebruik in fdisk, krijg ik een error en gebruikt fdisk toch z'n eigen instellingen. maakt de instelling in het bios nog wat uit ? (Large, LBA..)

2. Als ik freebsd wil booten van een usb stick krijg ik BTX halted.. met een register dump, werkt schijnbaar niet met BTX, of kun je nog dingen wijzigen in bios/btx zodat het wel kan werken.. ik werk zolang met een apparte disk.

[Verwijderd]

1. de sysinstall installer van FreeBSD klaagt altijd over een onjuiste geometry, dat maakt niets uit de waardes die het kiest zijn prima. Er bestaat in feite geen geometry; dat is allemaal uit de historie van low-level disks. Tegenwoordig emuleren hardeschijven zo'n geometry.

DMA errors is echter heel wat anders, paste de berichten hier eens?

2. FreeBSD wil niet altijd booten van USB, met de melding 'slice not found' ofzoiets. Als jij een ander probleem hebt zou je een screenshot kunnen maken.

[InterRubke]

Verwijderd schreef op zondag 16 december 2007 @ 13:44:
1. de sysinstall installer van FreeBSD klaagt altijd over een onjuiste geometry, dat maakt niets uit de waardes die het kiest zijn prima. Er bestaat in feite geen geometry; dat is allemaal uit de historie van low-level disks. Tegenwoordig emuleren hardeschijven zo'n geometry.

DMA errors is echter heel wat anders, paste de berichten hier eens?

oke, vond het ook al vreemd dat ik de geometry uit het bios moest overnemen
zo was even uitzoeken hoe ik als root met putty kon inloggen, dacht dan copier ik de melding, nu komen de error meldingen niet in de ssh aan

ik zal het even overtypen:

ad10: TIMEOUT - READ_DMA retrying (1 retry left) LBA=158735616
en dan nog
GEOM_RAID5: bigfoot: 0xe6801bb4: cmdR off-1 len131072 err:5/5 c49

en tzt komt dan
GEOM_RAID5: bigfoot: ad10(2): pre-remove disk due to errors

klinkt ook niet goed moet ik zeggen, kan natuurlijk een defecte (nieuwe) hd zijn, maar ik heb er al een uitgehaald omdat ik dacht dat het een hardware probleem was.. kan ik op een of andere manier controleren of een schijf 100% werkt ?

als je nog meer info wilt hoor ik het graag
alvast bedankt voor de hulp.. ik heb handig gebruikt gemaakt van de tutorial door rkrol en jou

hier nog een list van de raid5

nas# graid5 status bigfoot
         Name         Status  Components
raid5/bigfoot  DEGRADED CALM  ad10
                              ad3
                              ad2
                              ad1 (81272635392 / 16% (p:0))
nas# graid5 list bigfoot
Geom name: bigfoot
State: DEGRADED CALM
Status: Total=4, Online=3
Type: AUTOMATIC
Pending: (wqp 0 // 0)
Stripesize: 131072
MemUse: 0 (msl 0)
Newest: 3
ID: 669080774
Providers:
1. Name: raid5/bigfoot
   Mediasize: 1500319973376 (1.4T)
   Sectorsize: 512
   Mode: r0w0e0
Consumers:
1. Name: ad10
   Mediasize: 500107862016 (466G)
   Sectorsize: 512
   Mode: r1w1e1
   DiskNo: 2
   Error: Yes
2. Name: ad3
   Mediasize: 500107862016 (466G)
   Sectorsize: 512
   Mode: r1w1e1
   DiskNo: 1
   Error: No
3. Name: ad2
   Mediasize: 500107862016 (466G)
   Sectorsize: 512
   Mode: r1w1e1
   DiskNo: 0
   Error: No
4. Name: ad1
   Mediasize: 500106780160 (466G)
   Sectorsize: 512
   Mode: r1w1e1
   Synchronized: 81272635392 / 16% (p:0)
   DiskNo: 3
   Error: No

2. FreeBSD wil niet altijd booten van USB, met de melding 'slice not found' ofzoiets. Als jij een ander probleem hebt zou je een screenshot kunnen maken.

zullen we een andere keer doen

[ Voor 29% gewijzigd door InterRubke op 16-12-2007 15:05 ]

[Verwijderd]

Lijkt inderdaad op hardwareproblemen van je ad10 disk. Hoor je je schijven misschien downspinnen ofzo?

Controleer de disk eens direct:
dd if=/dev/ad10 of=/dev/null bs=1m

Dat was de leestest, alle sectors op de schijf. Daarna een schrijftest:
dd if=/dev/zero of=/dev/ad10 bs=1m

Waarschuwing: een schrijftest vernietigt dus wel effectief alle data op je RAID5 array, ik neem aan dat je er nog geen bestanden op hebt staan. De geom_raid5 module mag niet geladen zijn. Of je doet eerst "graid5 remove bigfoot ad10" (en voor ad1/ad2/ad3). Daarna een "graid5 clear ad1" (en daarna voor ad2 en ad3 en ad10) en je RAID5 config is vernietigt en de disks zijn vrij te gebruiken.

Je bent dan vrij de disks te gebruiken voor schrijfacties (anders krijg je een permission denied omdat de disk een write-lock heeft.

[ Voor 3% gewijzigd door Verwijderd op 16-12-2007 14:59 ]

[InterRubke]

disktest loopt nu.. ad10 heeft inderdaad een read failure.. ga hem eens met een samsug tool testen

wat ik niet snap is als ik reboot dat ik geen status meer van array kan opvragen
lijkt of hij de definitie niet opslaat.. of gebeurd dit pas als hij 100% heeft bereikt ?
moet elke keer weer graid5 label... doen

zal trouwens na de testen eens een build doen zonder die ad10, kan ik ook het een en ander uitsluiten.
rebuild met de overgebleven schijven ziet er nu goed uit 13%

[ Voor 17% gewijzigd door InterRubke op 16-12-2007 16:42 ]

[Verwijderd]

InterRubke schreef op zondag 16 december 2007 @ 15:19:
disktest loopt nu.. ad10 heeft inderdaad een read failure.. ga hem eens met een samsug tool testen

Als je kunt verifiëren dat het op hetzelfde moment (sector) gebeurt, dan kun je er vrij zeker van zijn dat het aan de schijf ligt. Die HDD utilities die een lange test uitvoeren, repareren soms de schade door een sector te swappen en rapporteren dan dat de schijf 100% in orde is.

wat ik niet snap is als ik reboot dat ik geen status meer van array kan opvragen
lijkt of hij de definitie niet opslaat.. of gebeurd dit pas als hij 100% heeft bereikt ?
moet elke keer weer graid5 label... doen

Dit is zeer ernstig en moet je zeker onderzoeken. Wat voor controller gebruik je voor alle 4 de disks? Draait die controller in IDE mode of in RAID mode? Is de geom_raid5 module wel geladen? Zie "kldstat" of kijk naar "cat /var/log/messages | grep -i raid5" output of je ziet dat hij is opgestart.

Als je zo'n Silicon Image Fake RAID controller hebt dan moet je partities gebruiken om te voorkomen dat je de laatste sector van de schijf overschrijft. Instructies heb ik voor je, mocht die nodig blijken.

[ Voor 6% gewijzigd door Verwijderd op 16-12-2007 17:34 ]

[InterRubke]

Verwijderd schreef op zondag 16 december 2007 @ 17:31:
[...]

Als je kunt verifiëren dat het op hetzelfde moment (sector) gebeurt, dan kun je er vrij zeker van zijn dat het aan de schijf ligt. Die HDD utilities die een lange test uitvoeren, repareren soms de schade door een sector te swappen en rapporteren dan dat de schijf 100% in orde is.

oke doe ik voorlopig nog ff niet
met de ad10 eruit, en een rebuilt struikelt ie verderop weer.. weer een read error op een andere disk, ik denk dat er kwa configuratie/bios toch iets niet correct is ingesteld.
ik heb alle disks op LBA mode gezet en ik heb fdisk opnieuw gedaan, maar ook nu weer READ_DMA48 error.. vreemd

lijkt erop of alle hd's surface errors hebben.. beetje transport schade

kldstat laat alleen, kernel en acpi.ko zien.. beetje weinig denk ik

Dit is zeer ernstig en moet je zeker onderzoeken. Wat voor controller gebruik je voor alle 4 de disks? Draait die controller in IDE mode of in RAID mode? Is de geom_raid5 module wel geladen? Zie "kldstat" of kijk naar "cat /var/log/messages | grep -i raid5" output of je ziet dat hij is opgestart.

Als je zo'n Silicon Image Fake RAID controller hebt dan moet je partities gebruiken om te voorkomen dat je de laatste sector van de schijf overschrijft. Instructies heb ik voor je, mocht die nodig blijken.

het is een onboard Intel ICH9R controller (Gigabyte plankje) die in IDE mode staat.

kan het filesystem (165/UFS) ook nog voor problemen zorgen ?

[ Voor 10% gewijzigd door InterRubke op 18-12-2007 22:57 ]

[P5ycho]

Goed, mijn schijven zijn opnieuw ingedeeld. Het was een hobbelige weg, maar alles is gelukt. Klein verslag voor degenen die hetzelfde willen ondernemen:

Boot naar single user mode

# gmirror remove gm0 /dev/ad6
# shutdown -p now

Disconnect /dev/ad6, vervang met 250GB spare schijf voor dumps
Boot naar single user mode
[/cmd]# mount /dev/ad6s1d /mnt/dump
# dump -0a -f /mnt/dump/dump.var /var
# dump -0a -f /mnt/dump/dump.usr /usr[/cmd]
sla oude slicelayout op:

# bsdlabel /dev/mirror/gm0s1 > /savedlabel
# cat savedlabel 
# /dev/mirror/gm0s1:
8 partitions:
#        size   offset    fstype   [fsize bsize bps/cpg]
  a:  1048576        0    4.2BSD        0     0     0 
  b:  4194304  1048576      swap                    
  c: 976768002        0    unused        0     0         # "raw" part, don't edit
  d:  8388608  5242880    4.2BSD        0     0     0 
  e:  1048576 13631488    4.2BSD        0     0     0 
  f:  6291456 14680064    4.2BSD        0     0     0 
  g: 955796482 20971520    4.2BSD        0     0     0 

edit schijflayout:

# cp /savedlabel /newlabel
# nano /newlabel
# cat /newlabel
# /dev/mirror/gm0s1:
8 partitions:
#        size   offset    fstype   [fsize bsize bps/cpg]
  a:  1048576        0    4.2BSD        0     0     0 
  b:  4194304  1048576      swap                    
  c: 976768002        0    unused        0     0         # "raw" part, don't edit
  d:  52428800  5242880    4.2BSD        0     0     0 
  e:  1048576 57671680    4.2BSD        0     0     0 
  f:  31457280 58720256    4.2BSD        0     0     0 
  g: 886590466 90177536    4.2BSD        0     0     0

#growfs -s 52428800 /dev/mirror/gm0s1d
# newfs -O2 -U /dev/mirror/gm0s1e
# newfs -O2 -U /dev/mirror/gm0s1f
# newfs -O2 -U /dev/mirror/gm0s1g
# mount -a
# cd /var
# restore -rf /mnt/dump/dump.var
# cd /usr
# restore -rf /mnt/dump/dump.usr
# fsck

Swap spare disk met origineel

# mount -r /dev/ad6s1g /mnt/dataold
# cp -R /mnt/dataold/ /data
# fsck
# gmirror insert gm0 /dev/ad6

en het eindresultaat:

p5ycho@tonatiuh ~ $ df
Filesystem            Size    Used   Avail Capacity  Mounted on
/dev/mirror/gm0s1a    496M     61M    395M    13%    /
devfs                 1.0K    1.0K      0B   100%    /dev
/dev/mirror/gm0s1d     24G    494M     22G     2%    /var
/dev/mirror/gm0s1e    496M     16K    456M     0%    /var/tmp
/dev/mirror/gm0s1f     15G    2.3G     11G    17%    /usr
/dev/mirror/gm0s1g    409G    206G    171G    55%    /data
total                 449G    209G    204G    51%  

edit: kut, ben vergeten een cp -Rp /mnt/dataold/ /data te doen, nu kan ik lekker mn permissions gaan fixen

[Q]

Doet freenas / FreeBSD ook aan WOL? (Wake on Lan?)
edit: ja dit zou moeten werken volgens http://www.fluffles.net/forum/topic/32 mits de hardware dit ondersteund.

Ik ben een tijdje bezig geweest met een nas, maar dat wat laten liggen. Ik wil er toch wat mee gaan doen.

Ik heb ook een Mac Mini die lekker stil en zuinig is, maar niet zo handig als betrouwbare (raid) filestorage. Die kan mooi wel als download-bak dienst blijven doen. De mini kan ik trouwens via WOL wekken, erg handig. Voor de lange-termijn opslag kan dan een nieuw in te richten NAS-doosje dienst doen. Mijn idee is om dat NAS-doosje niet 24/7 aan te laten staan, maar automatisch naar sleep-mode of zelfs uit te laten gaan en alleen in te schakelen bij noodzaak. Of is dat niet zo'n slim idee?

vraag:
--------
RocketRAID 2300 --> kan 4x sata drive aan via pcie 1x slot. Doel is om software raid via het os te doen en deze kaart als veredelde 'domme' sata-controller te gebruiken. Ziet bsd/linux de poorten dan gewoon direct of moet je alsnog drivers laden? Mijn doel is om 4x nieuwe disks op de build-in sata controller van het mobo te stoppen en 3 overige 'oude' disks aan de rocketraid.

[ Voor 27% gewijzigd door Q op 21-12-2007 00:35 ]

[Verwijderd]

Als je energiezuinig wilt, kijk dan naar een VIA EPIA oplossing in combinatie met hardeschijven die downspinnen als ze niet worden gebruikt. Zelf heb ik zo'n setup met FreeBSD7. Je hebt uiteraard wel af en toe een delay van 8-10sec maar dat is de afweging tussen comfort en energieverbruik.

FreeBSD zal je controller zien, je zult wel 4 arrays moeten maken (single disk of JBOD of RAID0) en krijgt dan da0 da1 da2 en da3. Die schakel je dan in software raid (gebruik geen partities bij voorkeur).

[Q]

Ah perfect, bedankt Enlightenment. Als ik er voor kies om het systeem niet altijd aan te laten staan maakt energie-zuinigheid me iets minder uit. Idle 50-60 watt vind ik dan prima. Ik wil naast 4x nieuwe disks ook nog 3 oude disks aansluiten.

De meeste bordjes hebben maar 4 aansluitingen en hooguit 1x pcie 1x of 2x pci. Ik dacht nog om dan 2x ultracheap pci - sata kaartjes te kopen, maar google zegt mij dat dit een drama kan worden ivm de sil 3132 chipset. Een goedkope non-raid 4ports sata controller pcie die niet af wordt gekraakt door bds/linux mensen is moeilijk te vinden.

[ Voor 80% gewijzigd door Q op 21-12-2007 11:28 ]

[Verwijderd]

SiI-3132 is een PCI-express controller, niet PCI! Je hebt wel 3112 en 3114 en wellicht nog andere PCI chips van Silicon Image. Zelf vind ik JMicron JMB363 beter dan die SiI-3132 chip, maar ik heb ze beide en ze werken prima met FreeBSD7.

Bij JMicron hoef je geen RAID-array aan te maken (non-RAID mode), Silicon Image doet dat wel en flipt op random data in de laatste sector, waar Silicon Image zijn array-informatie opslaat. Om dit te omzeilen moet je partities maken op de schijven en de laatste sector niet gebruiken. Dat heb ik gedaan en werkt al een aantal maandjes hier 24/7.

Ik raad dus uiteraard wel aan dat je voor PCI-express gaat ipv PCI, maar als het echt niet anders kan dan zou je misschien naar Adaptec of XFX Revo64 controllers kunnen kijken.

[oehoe]

Enlightenment schreef onder andere op maandag 24 december 2007 @ 00:06:*knipje*...of XFX Revo64 controllers kunnen kijken.

Hier nog een lurker van dit topic. Ik heb de bovengenoemde controller ooit eens in een opwelling gekocht, maar ik dacht ik dit topic ergens te hebben gelezen dat deze niet bruikbaar is met FreeNAS, klopt dat? Ik ben nu even in de war

[Verwijderd]

Zou wel moeten werken aangezien die Revo64 gewoon als normale IDE-schijf gezien wordt, er zijn ook geen drivers nodig. Maar ik heb zelf geen ervaring met die kaart, dus wellicht dat iemand anders zijn of haar ervaringen kan delen. Of google eens als je interesse hebt in de kaart.

Let wel: mogelijk moet je een RAID-array maken van die Revo64, en kun je het dus niet voor software RAID gebruiken. Bovendien draait het op PCI ipv PCI-express.

[ Voor 22% gewijzigd door Verwijderd op 24-12-2007 13:09 ]