Het grote DIY RAID NAS topic deel 3

[Toon-VA]

FireDrunk schreef op vrijdag 17 mei 2013 @ 14:04:
Die melding komt omdat MSI/MSI-X niet goed werkt. Je moet even je /boot/loader.conf wijzigen en de volgende regels toevoegen:

hw.pci.enable_msix="0"
hw.pci.enable_msi="0"

Ik probeer deze regels code toe te voegen maar wanneer ik ze probeer op te slaan krijg ik de melding dat het een "Read-only File System" is.

De methode die ik toegepast heb is de volgende:

• FreeNAS opstarten zonder PCI kaart toegevoegd
• Optie 9 "Shell" gekozen
• cd /boot
• nano loader.conf
• 2 lijnen code toegevoegd en proberen op te slaan met "ctrl O"
• Error boodshap

Doe ik nog iets fout of is er nog een andere manier om deze lijntjes toe te voegen?

[Patatjemet]

Ondertussen de kabels van mijn server(tje) geprobeerd te fatsoeneren, 2 x 8 gb toegevoegd na 3 passes met memtest86+ en de processor koeler & case fans vervangen (zie inventaris). Hij draait stabiel, stil en bevalt overall zeer goed. Ik hoop hem nu in de meterkast te kunnen gooien en er de aankomende paar jaar niet aan te hoeven komen (2 v/d 6.5 terabyte in gebruik op het moment).

[ Voor 196% gewijzigd door Patatjemet op 17-05-2013 18:16 ]

[FireDrunk]

@Toon-VA, er is geloof ik een optie in de webinterface om loader opties toe te voegen.

[GNML]

Verwijderd schreef op donderdag 16 mei 2013 @ 21:20:
Nou nee, want nu test je de RAM van je controller, en niet de disks. Probeer de test size zo hoog mogelijk in te stellen (8GB?) maar eigenlijk is dat ook niet voldoende. Maar dan krijg je als het goed is al wel iets meer echte scores.

Alignment van 32KiB is overigens prima; alle veelvouden van 4K zijn in principe prima. Alignment van 1K is niet prima, tenzij je 1024K (dus 1,048,576 ofwel 2048 sectoren) bedoelt.

Crystaldiskmark gaat tot 4gb, dat is nog steeds niet genoeg (4gb cache) alleen atto deed eerst ook maar 20mb/s die doet nu ook normaal (195 mb/s lezen en 189mb/s schrijven.).

Welke test zou ik naast as ssd kunnen gebruiken?

[Phuncz]

Patatjemet schreef op vrijdag 17 mei 2013 @ 17:11:
Ondertussen de kabels van mijn server(tje) geprobeerd te fatsoeneren, 2 x 8 gb toegevoegd na 3 passes met memtest86+ en de processor koeler & case fans vervangen (zie inventaris). Hij draait stabiel, stil en bevalt overall zeer goed. Ik hoop hem nu in de meterkast te kunnen gooien en er de aankomende paar jaar niet aan te hoeven komen (2 v/d 6.5 terabyte in gebruik op het moment).

[afbeelding]

[afbeelding]

Nette setup ! Een mooie en interessante build om zo toch een hele berg schijven te kunnen testen zonder er een bak van een behuizing voor te moeten nemen.

[GioStyle]

@Patatjemet:

Ben je die processor nu passief aan het koelen? Kan je dan niet beter die voeding andersom plaatsen, zodat je airflow creeërt en tegelijk je processor koelt?

[Patatjemet]

Phuncz thanks!

GioStyle, idd passief gekoeld. De reden dat ik het zo heb gedaan omdat ik niet de "hitte" van de voeding in de case wil. Op de voorkant van de case zitten 2 120 pwm mm fans die in principe de disks, ram, mb en processor koelen. De streef temperatuur voor de processor in het BIOS staat nu nog op 45 c, maar dat kan misschien zelfs wel iets hoger. Op het moment zitten de fans op ~1000 rpm in het BIOS zichtbaar (max 1300). Aan de achterkant voel ik een licht briesje, dus er gaat lucht door de gehele case heen.

Helaas kan ik ivm het kabel management de voeding niet zo een twee drie kan omdraaien om het te proberen. Misschien heb ik volgende week even tijd, dan zal ik je suggestie proberen! (%@&#*€& - dacht hem net voor een tijd niet meer aan te hoeven raken )

[ Voor 44% gewijzigd door Patatjemet op 17-05-2013 18:40 ]

[analog_]

fonsoy schreef op vrijdag 17 mei 2013 @ 14:29:
Is inderdaad een bekend probleem bij alle ZFS systemen die gevirtualiseerd worden.
Ik ben ook benieuwd of je last krijgt van een interrupt storm. In dat geval moet je het aantal vCores op 1 zetten. Dan nog is het systeem als het goed is performant genoeg.

Het valt wel te hopen dat de fout vroeg of laat wordt opgelost, maar wat dat betreft zijn we overgeleverd aan de gratie van de ontwikkelaars

Dit zou ik zo niet posten, je spreekt over alle en kan bijzonder misleidend zijn voor nieuwe gebruikers in dit topic. Wat je bedoelt is de FreeBSD familie in combinatie met ESXi (5.1 enkel?) en m1015 (mogelijk ook andere van de mpt_sas2 stamboom).

@fan discussie: wat is beter? twee fans serieel of twee parallel. Vermoedelijk teveel factoren.

[ Voor 6% gewijzigd door analog_ op 17-05-2013 19:15 ]

[GioStyle]

Patatjemet schreef op vrijdag 17 mei 2013 @ 18:35:
Phuncz thanks!

GioStyle, idd passief gekoeld. De reden dat ik het zo heb gedaan omdat ik niet de "hitte" van de voeding in de case wil. Op de voorkant van de case zitten 2 120 pwm mm fans die in principe de disks, ram, mb en processor koelen. De streef temperatuur voor de processor in het BIOS staat nu nog op 45 c, maar dat kan misschien zelfs wel iets hoger. Op het moment zitten de fans op ~1000 rpm in het BIOS zichtbaar (max 1300). Aan de achterkant voel ik een licht briesje, dus er gaat lucht door de gehele case heen.

Helaas kan ik ivm het kabel management de voeding niet zo een twee drie kan omdraaien om het te proberen. Misschien heb ik volgende week even tijd, dan zal ik je suggestie proberen! (%@&#*€& - dacht hem net voor een tijd niet meer aan te hoeven raken )

Als de temperaturen okay zijn, dan zou ik het lekker zo laten hoor. Maar de ventilator van de voeding zuigt lucht aan. Als je hem dus omdraait zuigt ie lucht van de cpu-koeler door de voeding heen en zo uit de case.

[Phuncz]

Doet elke voeding dat niet met de fan aan de binnenkant van de behuizing ? Mijn vorige case (Silverstone SG02F) had ik ook geen fan op de heatsink, mijn voeding (die er juist boven zat) trok de lucht van binnenin de kast naar buiten, en andere fans haalde frisse lucht van buiten naar binnen.

[ Voor 4% gewijzigd door Phuncz op 17-05-2013 20:26 ]

[HyperBart]

analog_ schreef op vrijdag 17 mei 2013 @ 18:59:
[...]

Dit zou ik zo niet posten, je spreekt over alle en kan bijzonder misleidend zijn voor nieuwe gebruikers in dit topic. Wat je bedoelt is de FreeBSD familie in combinatie met ESXi (5.1 enkel?) en m1015 (mogelijk ook andere van de mpt_sas2 stamboom).

@fan discussie: wat is beter? twee fans serieel of twee parallel. Vermoedelijk teveel factoren.

Ik had interrupt storms, ik ben er ondertussen in geslaagd om een ZFSguru machine op ESXi 5.1u1 te draaien met 4 vCPU's...

De truc is als volgt: installeren met 1 vCPU, genoeg RAM geven, daarna naar 4 vCPU's gaan, daarna VMXNET3 en daarna de M1015. Draait nu prima hier...

[Toon-VA]

analog_ schreef op vrijdag 17 mei 2013 @ 18:59:
[...]

Dit zou ik zo niet posten, je spreekt over alle en kan bijzonder misleidend zijn voor nieuwe gebruikers in dit topic. Wat je bedoelt is de FreeBSD familie in combinatie met ESXi (5.1 enkel?) en m1015 (mogelijk ook andere van de mpt_sas2 stamboom).

@fan discussie: wat is beter? twee fans serieel of twee parallel. Vermoedelijk teveel factoren.

Momenteel heeft mijn FreeNAS virtuele machine maar 1 CPU toegekend dus zou ik normaal gezien hiervan geen last mogen krijgen. Bij het kiezen van mijn hardware was er gezegd dat ik zelfs met een simpelere CPU genoeg kracht zou hebben voor al mijn taken uit te voeren op de NAS.

Dus voorlopig zie ik het nut er nog niet van in om meerde CPU cores toe te kennen aan mijn machine. Mocht ik nu later ondervinden dat dit wel beter is voor mijn performantie dan kan ik alsnog core's toevoegen alleen moet ik hier dan nog wat meer informatie inwinnen over het probleem dat je vermeld.


Ondertussen heb ik ene manier gevonden om mijn loader.conf file aan te passen. Ik past hier nog even de commands zo hebben toekomstige personen deze ook zonder tussenkomst van google ;-)

In de shell:

• mount -rw /
• cd /boot
• nano loader.conf
• Voeg de lijnen code toe
• hw.pci.enable_msix="0"
• hw.pci.enable_msi="0"
• ctrl + o
• ctrl + x
• reboot

De harde schijven komen nu mooi tevoorschijn binnen FreeNAS en ik heb ze meteen in een ZFS Raid-Z2 opstelling gestoken. Morgen ga ik dan maar eens bedenken hoe ik deze opslag kan presenteren aan mijn windows en osx.

Ik had ook nog een vraag over het geheugengebruik, ik had ergens gelezen dat ZFS best 1GB RAM moet hebben per 1TB aan DATA. Nu wou ik vragen of ik deze 1TB moet bekijken in de ZFS datastore of puur op mijn harde schijven?

Want momenteel heb ik 16GB Ram toegekend aan mijn FreeNAS met 10.7 TiB in Raid-Z2. De formule gerekend zoals hierboven zou ik dus 10GB Ram moeten hebben plus het OS zelf en dan kom ik met mijn 16GB ruimschoots toe.

Maar als het puur op hardeschijf niveau wordt bekeken zou ik 3TB x6 + OS iets van een 20GB ram moeten geven aan FreeNAS. Niet dat dit een probleem is want er zit 32GB ram in mijn bakje maar ik wou gewoon weten wat het beste is voor mijn setup en zijn performantie?

[Dennisik]

Simpelweg testen.

Als je raid-z2 array volledig gebuild is met 6x3TB, probeer eens de performance met 8GB, 16GB of 20GB.
Gewoon wat dd commands draaien met vooral zeer grote files, minimaal 2x ram geheugen.

Geheugen gebruik hangt er ook vanaf wat voor functies je binnen ZFS gebruikt. Zou ook eens met de performance van ZFS spellen voordat er 20TB aan data opstaat. Je kan soms zeer grote stappen maken.

[ Voor 32% gewijzigd door Dennisik op 18-05-2013 00:22 ]

[fonsoy]

HyperBart schreef op vrijdag 17 mei 2013 @ 21:03:
[...]

Ik had interrupt storms, ik ben er ondertussen in geslaagd om een ZFSguru machine op ESXi 5.1u1 te draaien met 4 vCPU's...

De truc is als volgt: installeren met 1 vCPU, genoeg RAM geven, daarna naar 4 vCPU's gaan, daarna VMXNET3 en daarna de M1015. Draait nu prima hier...

Kijk aan!!

Leuk project voor een regenachtig weekendje. Bedankt! Dit ga ik zeker proberen

[ihre]

Zelf heb ik ook een DIY NAS bij elkaar gebeund (had nog wat hardware liggen), op basis van Ubuntu 12.04 amd64, en ik virtualiseer met KVM.

#	Product	Prijs	Subtotaal
1	Intel Pentium G860 Boxed	€ 54,95	€ 54,95
1	ASRock B75 Pro3-M	€ 56,90	€ 56,90
1	Hitachi Deskstar 7K250 HDT722525DLA3, 250GB	€ 0,-	€ 0,-
1	Samsung Spinpoint F3 HD103SJ, 1TB	€ 0,-	€ 0,-
1	Western Digital Red WD20EFRX, 2TB	€ 94,96	€ 94,96
1	Fractal Design Core 1000	€ 28,19	€ 28,19
1	Kingston ValueRAM KVR1333D3N9/4G	€ 29,50	€ 29,50
1	Seasonic S12II 380W	€ 55,-	€ 55,-
Bekijk collectie Importeer producten		Totaal	€ 319,50

Naast CouchPotato/Sabnzb/Sickbeard/Torrents draai ik ook BackupPC en Cacti om alles een beetje in de gaten te kunnen houden.

Ik zoek alleen nog een paar leuke toepassingen, waar ik de NAS voor zou kunnen gebruiken.

[FireDrunk]

Fileserver?

[ihre]

Op dit moment wordt alles via Samba geshared, met OpenVPN ook over WAN beschikbaar. Mijn enige probleem is eigenlijk dat alleen mijn BackupPC partitie in RAID1 draait, de rest is niet redundant Ik ga in ieder geval de documentatie van ZFS on Linux eens doornemen.

/edit

Dat is blijkaar niet erg moeilijk, en ZFS on Linux schijnt sinds sinds v0.6.1 Production Ready te zijn. _bron

Om het te testen heb ik een nieuwe VM aangemaakt, met in totaal 4 hdd's van verschillende grootte. Ik heb gewoon Ubuntu 12.04 amd64 geinstalleerd op de 1e hdd, en van de 3 overige hdds een ZFS pool gemaakt.
De hdds voor ZFS zijn 4, 8 en 16GB groot.

code:

apt-get install python-software-properties
add-apt-repository ppa:zfs-native/stable
apt-get update
apt-get install ubuntu-zfs
zpool create test raidz sdb sdc sdd -f
zpool list

NAME   SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
test  11.9G   177K  11.9G     0%  1.00x  ONLINE  -

zpool destroy -f test
zpool create test sdb sdc sdd -f
zpool list

NAME   SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
test  27.8G   138K  27.8G     0%  1.00x  ONLINE  -

Nu nog een manier bedenken hoe ik ~3TB data over kan zetten zonder externe schijf. Het staat nu in een LVM, maar het lijkt me geen goed idee om de Volume Groups te exporteren, om ze dan bovenop ZFS weer te importeren

[ Voor 68% gewijzigd door ihre op 19-05-2013 16:09 ]

[Verwijderd]

Hallo allemaal,

Ik ben op dit moment bezig met een oude (4 jaar) IBM x3650 server om te bouwen tot een iscsi NAS.

Ik had nooit gedacht dat het zo'n frustrerende bezigheid zou worden. Ik heb via marktplaats een IBM M1115 die is omgeflashed naar een LSI 9211 8i aangeschaft, omdat de geintegreerde 8k-l controller hickups gaf met iSCSI/ FreeNAS/ZFS.

De hickups zijn weg, maar tot mijn frustratie krijg ik bij het opstarten van Freenas probe timedout errors:

mpssas_alloc_tm freezing simq
CAM status: Command timeout
SMID xx abort enz. enz.

Nu las ik ergens dat dit zou kunnen komen door de firmware van de controller; de persoon waar ik hem van gekocht heb heeft hem voor mij op de nieuwste v16 firmware geflashed.
Hier stond dat de LSI 9211 8i bij voorkeur op de v13 firmware zou moeten draaien, omdat de MPS driver in Freenas 8.3.1 /Freebsd 8 de nieuwere firmware niet goed ondersteund.

Kan iemand dit bevestigen?

Tot overmaat van ramp weet ik weinig tot niks van Linux/FreeBSD...

Ik heb geprobeerd de controller terug te flashen naar v13, maar dat wil maar niet lukken. Ik heb geprobeerd:

-vanuit windows: no lsi controller found
-dos boot stick: sas2flash start op pc1 niet op, pc2/server boot niet van de stick, en pc3 start niet op met de controllerkaart erin.
-vanuit freenas/bsd heb ik met veel moeite de usb stick kunnen mounten, maar als ik er naar toe ga, en de sas2flash utility voor freebsd probeer te starten geeft hij mij een melding dat hij dat dit programma niet bekend is. Wellicht doe ik iets fout....

Hellup!

Elke hulp met flashen of het oplossen van de probe timeout errors is welkom!

groetjes, Paul

[Verwijderd]

@PaulDune: gebruik een moderne versie van BSD is de meest gemakkelijke oplossing. NAS4Free en ZFSguru bieden out of the box ondersteuning voor FreeBSD9+. Bij voorkeur FreeBSD 9.1.

[Verwijderd]

@CiPHER,

Ik heb nu NAS4FREE, laatste versie geinstalleerd; zelfde errors...
Vreemde is dat alles wél functioneert; en best redelijk. Ik haal iets van 60-70MB write en 70-80MB read sustained over 1 enkele Gbit lijn. (6x 500GB Hitachi Deskstar HDS725050kla360)

Ik zou het probleem echter graag oplossen, alsvorens de machine als shared storage voor een VMware lab/test cluster in te zetten. Ik heb binnenkort cursus, en had het graag goed draaien....

[ Voor 26% gewijzigd door Verwijderd op 19-05-2013 17:19 ]

[Verwijderd]

Welke errors heb je het dan over? Je zegt dat hij wel functioneert; wat is het probleem dan precies? Command errors kunnen normaal zijn afhankelijk van de devices die je erop zet. Dat is verder geen fout van de controller. Er zijn wel veel bugs/problemen/incompatibilties met LSI controllers met name met gevirtualiseerde omgevingen. Maar dan dien je meer context te geven.

[Verwijderd]

Bij het starten van freenas gaat hij op een gegeven moment 1 voor 1 alle disken proben; bij elke disk krijgt hij een timeout en geeft het na enkele malen proberen op.

Na het proben, dat wel 15 minuten of langer kan duren door de fouten gaat hij door en functioneerd dan vreemd genoeg goed...

[Verwijderd]

Je zult toch de exacte meldingen moeten geven, pas dan kan ik er wat mee. De bekende bugs hebben zeer specifieke foutmeldingen. Verder zou je ook de SMART van elke disk in pastebin kunnen zetten. smartctl -s on -A /dev/da0 en dat voor alle disks. (hoofdletter -A, niet -a)

[Verwijderd]

Ik zou graag die reflash vanuit freebsd proberen,

Iemand die kan helpen hiermee? Ik heb een usb stick gemount met hierop de sas2flash en bios en fw v13.

[Verwijderd]

Ik ga de exacte foutmelingen straks overtikken.... Misschien wordt het dan duidelijker...

[Verwijderd]

OK daar komt ie:

mps0: mpssas_scsiio_timeout checking sc 0xffffff8001501000 cm 0xffffff800151e690
(probe14:mps0:0:14:0): INQUIRY.CDB:12 0 0 0 24 0 length 36 SMID 130 command timeout
cm 0xffffff800151e690 ccb 0xffffffe00179d7000
mps0: mpssas_alloc_tm freezing simq
mps0: timedout cm 0xffffff800151e690 allocated tm 0xffffff8001514148
run_interrupt_driven_hooks: still waiting after 60 seconds for xpt_config
(probe14:mps0:0:14:0): INQUIRY.CDB:12 0 0 0 24 0 length 36 SMID 130 SMID 130 completed
timedout cm 0xffffff800151e690 ccb 0xffffffe00179d7000 during recovery ioc 8048 scsi 0 state c xfer 0
(noperiph:mps0:0:0:14:0):SMID 1 abort TaskMID 130 status 0x4a code 0x0 count 1
(noperiph:mps0:0:0:14:0):SMID 1 finished recovery after aborting TaskMID 130
mps0: mpssas_free_tm releasing simq
(probe14:mps0:0:14:0): INQUIRY.CDB:12 0 0 0 24 0
(probe14:mps0:0:14:0): CAM status: Command timeout
(probe14:mps0:0:14:0): Retrying command

Hierna begint het circus weer van voorafaan; TaskMID en SMID worden steeds opgehoogd.

op het einde van 1 disk fout komt de error:

(probe14:mps0:0:14:0): Error 5, Retries exhausted

Ik hoop dat het jullie wat zegt, want ik kom niet verder dan dat het een probing error lijkt...

[Verwijderd]

En welke disks hangen er aan je controller? Wat als je de disk op 0:14 eraf haalt, zijn die meldingen dan weg? Kun je het beste uittesten met maar één disk aangesloten, en dan even wisselen met andere disks. Als het slechts één disk die moeilijk doet, kun je de SMART raadplegen. Sowieso lijkt me dat een goed startpunt.

Over dat flashen... de sas2flash utility is volgens mij een DOS-utility? Je kunt niet zomaar binaries van een ander operating system draaien. Als het een linux binary is, moet je ook eerst linux binary compatiblity installeren en dan lijkt mee en Ubuntu livecd een stuk makkelijker. Maar persoonlijk zou ik niet flashen als het verder goed werkt. De probe error hoeft helemaal niet de schuld te zijn van je controller. Check de SMART!

[Verwijderd]

Sorry CiPHER, en alvast heel hartelijk bedankt voor je moeite,
Helaas weet ik heel weinig van FreeBSD en linux in het bijzonder, maar ben wel redelijk goed met hardware. Ik ben al jaren Microsoft mcse'er en ben altijd uit de buurt van de 'nux OSen gebleven, maar nu moet ik wel ;-) (misschien bevalt het wel haha)

Begrijp ik het goed: is dat MPS0:0:14:0 een bepaalde device op de SCSI bus?
Want dan lijkt het idd steeds de zelfde die hij opnieuw probeert, en niet zoals ik (vanwege de oplopende SMID) aannam steeds een andere disk.

Hoe kan ik het beste vaststellen wat/welke op 0:14 zit?

[Verwijderd]

Hmmm met camcontrol devlist krijg ik een lijst van de harddisken; device 14 zit er niet bij.

Het zal toch niet de SAS expander op de backplane zijn hé?

Hij geeft bij NAS4FREE bij disk management een device "IBM-ESXS VSC7160 1.03" status missing (/dev/ses0)

[FireDrunk]

ses0 is dat niet SAS Expander Switch0?

[Verwijderd]

Wellicht; maar zou dat MPS0:0:14:0 kunnen zijn?

de harddisken melden zich als volgt:

camcontrol devlist

ATA HDS725050KLA360 AH0A at scbus0 target 8 lun0 (pass0,da0)

tot en met

ATA HDS725050KLA360 AH0A at scbus0 target 13 liun0 (pass5,da5)

De USB en de CDrom zitten op resp scbus 2 en 4; de expander staat er niet bij...

[ Voor 14% gewijzigd door Verwijderd op 19-05-2013 22:58 ]

[Verwijderd]

Je hebt ook een CD/DVD/optical (ofwel:ATAPI) device op de controller zitten? Koppel die eens af. En wat bedoel je met USB precies? Kun je een volledig overzicht geven van wat je nu precies draait? Want dat je ook nog een expander draait is belangrijke extra informatie.

[Verwijderd]

Het systeem in een notedop:

IBM x3650 7979

NAS4FREE -> vanaf usb stick (embedded install)

6x 500GB Hitachi HDS725050KLA360 in de hot pluggable slots aan de voorzijde van de server.

De SAS/SATA controller is een M1115 omgeflashed naar SAS9211 8i v16

Hij zit met een mini SAS- mini SAS (SFF) kabel aangesloten van channel0 naar de backplane van de harddisken; op deze backplane zit naar ik aanneem de expander; (in de controller zijn config scherm ziet hij hem als vitesse VSC7160)
Ik ga ervan uit dat de expander nodig was om 6 disken op 1 channel te zetten.

De CD rom zit op de IDE bus. De USB bootstick (duh) in een USB poort..;-)

Bij het commando "camcontrol devlist" laat hij alle HDD's zien (zie vorige post), de cdrom en de USB stick. Maar niet de expander...

Bij disks|management in NAS4free staan ook alle disks als online, behalve de expander, die staat missing. Kan het zijn dat freebsd deze abusievelijk als storage device ziet? En er dan op gaat querien?

[FireDrunk]

Ja dat kan best, terwijl een expander eigenlijk niet veel doet. Wel vaag, want FreeBSD zou wel slim genoeg moeten zijn om dat dan niet te doen...

[Verwijderd]

Weet iemand een FreeBSD commando om de channels uit te lezen?
Zodat ik zeker kan weten wat MPS0:0:14:0 is?

[FireDrunk]

Je kan het even proberen met 'mptutil'

[Verwijderd]

Helaas... mptutil staat niet op NAS4free, of ik kan het niet vinden.

Ik heb echter een "hardware" manier gevonden om het vast te stellen.

Net geboot met alle disken eruit, maar de sas kabel (en dus de backplane/expander) erin.

errors op MPS0:0:14:0 kwamen nog altijd voor....

Daarna ook de SAS kabel eruit; en weer reboot. (controller uiteraard wel nog in de server.

MPS0:0:14:0 erros waren weg; even nog testen of ze na een warme reboot ook weg blijven...

[Verwijderd]

Yes; MPS0:0:14:0 is inderdaad de expander/backplane; fouten blijven weg.


Volgende vraag; hoe kan ik de query/probe uitzetten (als uberhaupt mogelijk)?

[Verwijderd]

De controller moet toch een keer gaan kijken wat voor disks eraan hangen. Dus dat is niet mogelijk afaik. De officiële LSI driver doet de probes ook serieel ipv parallel, dus één voor één.

Unlike the current mps(4) driver, it probes sequentially. If you have a lot of drives in your system, it will take a while to probe them all.

http://lists.freebsd.org/.../2012-January/031358.html

[Verwijderd]

Vreemd; bij een koude boot nu ziet hij de expander wel; ik heb inmiddels FreeNAS weer opnieuw geinstalleerd. Als ik nu in freenas een camcontrol devlist commando geef, ziet hij inderdaad op MPS0:0:14:0 -> target 14 de expander.

Als het bij een koude boot wel altijd goed gaat, ben ik dik tevreden...

[Diamond4ever]

Met het risico nogal leek over te komen wil ik even hier om hulp vragen.

ik heb in mijn server een areca 1880i met 8x WD 2TB schijven in raid-6 draaien. een paar dagen geleden kwam ik erachter dat de raid array al bijna een maand degraded is (nergens geen melding van gezien, geen idee waarom, ander probleem misschien). en 20min geleden zie ik ineens dat er een 2de schijf failed is.

de server draaid op windows en als ik met de archttp (vanuit OS de controller enz beheren) op de controller kijk staat er na een reboot bij beide schijven "free" ipv failed, en kan ik met deze 2 schijven een nieuwe raid array maken . heeft de controller nou 2 schijven eruit geschopt? als er nu nog een schijf uitvalt, ben ik dan mijn data kwijt?

als ik bij de schijven zelf kijk zie ik de smart status van beide schijven.. die zijn gewoon nog goed. niet perfect, schijven zijn al een paar jaar oud, maar de status is nog gewoon goed.. nog lang niet bijna dood. is het nog wel veilig om deze schijven in de raid array te gebruiken?

ik heb in de RAID FAQ gelezen dat bij broken arrays (zelfde als degraded?) met nog goeie schijven je de boel kan redden door nogmaals exact dezelfde raid array in te stellen... maar als ik dat doe dan wordt de boel toch leeg gemaakt en ben ik mijn data toch kwijt? Want hij gaat dan opnieuw initializen toch? of is dit bij raid6 anders? dit is namelijk mijn eerst raid6 array.

ik zit hier in lichte paniek vandaar dat mijn post misschien een beetje vaag is.. sorry daarvoor. gaat om nogal wat data die niet zomaar even te backuppen is naar wat anders. help?

[Verwijderd]

ik heb in mijn server een areca 1880i met 8x WD 2TB schijven in raid-6 draaien.

Je bent je ervan bewust dat dit een heel groot risico is? Je controller kan niet overweg met lange timeouts, dus elke bad sector zal betekenen dat je een disk 'failure' hebt. Dat betekent vrijwel zeker dat je er gedonder mee gaat krijgen vroeg of laat.

als ik bij de schijven zelf kijk zie ik de smart status van beide schijven.. die zijn gewoon nog goed

'goed' is niet iets wat je met SMART kunt associëren. Je kunt wel 0 bad sectors hebben of slechts 15 kabelfouten. Je moet zelf SMART interpreteren. Voor zover ik weet geeft Areca geen correcte SMART-waarden weer, dus in feite is SMART unsupported op een Areca controller. Je krijgt alleen genormaliseerde waarden te zien. Pas bij tienduizenden bad sectors zal hij een SMART failure aangeven. In zo'n geval is SMART nutteloos. Je moet de echte data kunnen zien. De raw value.

ik zit hier in lichte paniek

Verkeerd geconfigureerde RAID-array en ook nog zonder backup, maar wél belangrijke gegevens? Ja dan zou ik ook in paniek raken. Maar wel een goede les voor je IMO.

Je enige oplossing is: backuppen. En snel. En vooral niet kutten met instellingen voor zolang je toegang tot de array hebt. Koop nieuwe disks en ga kopiëren. Het is goed mogelijk dat je tijdens het backuppen nog een disk gaat missen door een bad sector; de kans daarop is vrij groot. In dat geval is de array failed en ontoegankelijk. Dat betekent niet dat je data definitief weg is. Wel dat je héél voorzichtig moet zijn wil je je data nog terugzien. Wat jij wilt doen met opnieuw initialiseren is héél gevaarlijk. Ga in elk geval niet aan de kabels/volgorde prutsen; dan kun je zwaaien naar je data.

Nu je array double degraded is maar nog wel toegankelijk zou ik zeggen: red wat er te redden valt. Als je geen ruimte hebt om naartoe te kopiëren betekent dat nieuwe disks kopen. Die kun je vervolgens gebruiken voor een ZFS fileserver, omdat je nu eindelijk je les geleerd hebt en nu je data serieus wilt gaan beschermen. Of is dat een verkeerde aanname?

[Diamond4ever]

nou het is gelukkig geen belangrijke data... het is vooral VEEL data.

ZFS gaat em niet worden want ik gebruik de server (is niet echt server...) ook voor andere zaken zoals HTPC(ook bluray) en gamen met emulators op mijn TV. Ik ben ook niet zo heel bekend met linux om dat daar allemaal op te gaan doen, en bluray gaat voor zover ik weet helemaal niet op linux. voorheen had ik de boel altijd in raid-0 maar met zoveel schijven en data leek me dat geen goed plan dus dacht raid-6 is in ieder geval nog iets veiliger...

maar hoezo een verkeerd geconfigureerde raid-array eigenlijk? hoe had ik het wel moeten doen (zonder ZFS) dan?

[FireDrunk]

Backups maken, backups maken, en... Backups maken...

On a more serious note:
TLER schijven kopen, en een battery backup unit hebben (of write cache en disk write cache uit zetten).

[Diamond4ever]

backup maken is voor mij nou ook weer niet ZO belangrijk dat ik hier ff 16 TB als backup ga draaien. Er staat zoiezo alleen maar HT spul op zoals series en films enz. die kan ik wel weer opnieuw krijgen.

TLER schijven zijn WD red schijven, die heb ik 5 draaien. met 3 oudere WD's die het niet hebben denk ik dan (uiteraard zijn de 2 failed schijven de oudere). De data erop is gelukkig nog niet zoveel dat ik het niet kan backuppen maar het kost wel alle ruimte die ik verder nog heb, inclusief 3 externe schijven. Verder niet echt bekend met TLER maar zoals ik het lees hoef ik dit niet aan te zetten toch?

ik had voor ik de 2de fail zag al een nieuwe wd red besteld. helaas is mijn geld nu op. maar dan ga ik de 3 oudere schijven uit de raid array halen. maar wat is dan het beste om te doen voor nu? geen raid6 meer? helemaal geen raid meer? ik snap dat een file server met ZFS het beste is maar daar heb ik helaas de hardware niet voor, dus wat raden jullie aan om te doen? Ik wil namelijk wel de HT spullen op 1 plek bij elkaar houden.

[BartNL]

Diamond4ever schreef op woensdag 22 mei 2013 @ 23:02:help?

in feite hoeft er niet heel veel aan de hand te zijn. Ligt er een beetje aan of je weet welke schijf al langere tijd niet meer meedoet en of je na uitval laatste schijf daar nog dat op gezet hebt.
Stel dat je dat weet kun je via areca menu "RESCUE" dan reboot en "SIGNAT" ( en eventueel LeVeL2ReScUe) commando's een schijf weer in de raid set krijgen.
In feite lukt dat altijd alleen moet je dat niet willen met een schijf die al langere tijd niet mee heeft gedaan in je raidset. Je schrijft met deze commando's de RAID info naar alle schijven waardoor de raidset denkt dat de schijven ook bij de raidset horen. Wanneer een schijf totaal niet klopt met de raidset krijg je hierdoor juist veel problemen (de data klopt dan niet met datacorruptie tot gevolg) zoals ik ooit mocht ervaren toe ik de verkeerde schijf herstelde

[Diamond4ever]

even een update dan maar. Heb bijna alle data kunnen backuppen. 1 bestand lukte niet en de controller gaf daarop nogal wat read errors. Dit was natuurlijk op de 3de schijf van hetzelfde type als de 2 failed schijven. Ik ga ze er dus alle 3 uithalen.

Ik zou graag wel nog even weten wat ik nu het beste kan doen. een raid5 of 6 maken met 8 WD red schijven? of moet ik toch wat anders gaan doen?

[thof]

Jammer dat ZFS RAIDZ/RAIDZ2 in plaats van Raid5/Raid6 geen optie is. Je komt in jouw geval dan aan een apparte machine of een All-in-one setup... Je zou voor een Raid5 kunnen gaan van 6 diskenen de andere 2 gebruiken om een deel van de data te back-uppen? Raid6 met 8 disken lijkt mij ook een prima oplossing, raid5 voor 8 disken lijkt mij een beetje krap. Ben hier geen expert in, dus wat vinden anderen?

[Dennisik]

Als het even kan ZFS met raid-z2 uiteraard. Maar in deze situatie is raid 6 prima, zou alleen je monitoring stukken beter regelen.

[FireDrunk]

Een backup lijkt mij wenselijker dan welke vorm van raid dan ook...

[DYX]

Persoonlijk ben ik gegaan voor Raid6. Het geeft je net die ene disk extra zekerheid. Voorheen had ik ook WD Green 2TB disks in op mijn Areca 1222. Dit is lang goedgegaan, maar na 2 jaar gaven deze ook timeouts. Uiteindelijk ben overgegaan op Hitachi disks en zit een beetje te wachten tot Toshiba met 4TB 5400rpm disks uit gaat komen

[webfreakz.nl]

Wat is er beter aan Toshiba disks (behalve de 5400 rpm) ?

[DYX]

De Toshiba disks, zijn eigenlijk gewoon de oude Hitachi disks. De eerste paar batches identificeerde zich ook gewoon letterlijk als Hitachi. Deze staan/stonden altijd bekend dat ze goed met hardware raidcontrollers overweg konden.

[Toon-VA]

Ik ben hier terug met enkel vragen ivm met mijn ESXI server en FreeNas.

Na wat te hebben gelezen op internet heb ik eindelijk LACP werkende gekregen met 2 NIC's op mijn gevirtualiseerde NAS.

Nu heb ik wat getest met grote bestanden te schrijven (10GB) naar de NAS met verschillende pc's tegelijkertijd maar ik kom een "probleem" tegen.

Momenteel heb ik 1 groot ZFS volume en daarop 2 datastore's voor backups van windows en osx (dit zijn voorlopig ook mijn 2 test folders).


Binnen freeNAS heb ik dan 2 share's aangemaakt via CIF en AFP met een gebruiker en wachtwoord voor de toegang.

Als ik nu begin te schrijven naar de NAS kom ik op snelheden tussen de 40-50 MB/s wat ik zeker niet slecht vind maar het probleem doet zich voor bij meerdere schrijfacties tegelijkertijd.

• 1 Computer (windows) 40-50 MB/s
• 2 Computers (windows en osx) 40MB/s
• 3 Computers (2x windows en 1x osx) 30-35MB/s

Het probleem doet zich voor bij 3 computers op het winows platform, de computer die het eerst start met zijn actie behoud zijn snelheid van 30MB/s net als de OSX laptop.

De 2de windows computer start met 35MB/s en zakt dan telkens langzaam af in stapjes van 0,5 tot 0,2 MB/s tot een snelheid van 1-2MB/s. En deze blijft tot het schrijven is voltooid, maar 10GB schrijven aan 1-2 MB/s is echt wel tergend traag dus annuleer ik telkens de schrijfactie.


Iemand hier een verklaring voor? Het maakt niet uit hoeveel keer ik het ook probeer, het blijft mislukken

[Shamalamadindon]

Mensen.

Ik krijg net een (misschien) leuk DIY idee. Van die Acer laptops met beige binnenkant hebben voor de hdd's een backplane met 1x SAS om 2x SATA aan te sluiten.

Het DIY idee is dan om er een stuk of vier van deze dingen bij elkaar te sprokelen.

http://mail.google.com/ma...86778112-local0&safe=1&zw

[FireDrunk]

Toon-VA schreef op vrijdag 24 mei 2013 @ 14:11:
Ik ben hier terug met enkel vragen ivm met mijn ESXI server en FreeNas.

Na wat te hebben gelezen op internet heb ik eindelijk LACP werkende gekregen met 2 NIC's op mijn gevirtualiseerde NAS.

Nu heb ik wat getest met grote bestanden te schrijven (10GB) naar de NAS met verschillende pc's tegelijkertijd maar ik kom een "probleem" tegen.

Momenteel heb ik 1 groot ZFS volume en daarop 2 datastore's voor backups van windows en osx (dit zijn voorlopig ook mijn 2 test folders).


Binnen freeNAS heb ik dan 2 share's aangemaakt via CIF en AFP met een gebruiker en wachtwoord voor de toegang.

Als ik nu begin te schrijven naar de NAS kom ik op snelheden tussen de 40-50 MB/s wat ik zeker niet slecht vind maar het probleem doet zich voor bij meerdere schrijfacties tegelijkertijd.

• 1 Computer (windows) 40-50 MB/s
• 2 Computers (windows en osx) 40MB/s
• 3 Computers (2x windows en 1x osx) 30-35MB/s

Het probleem doet zich voor bij 3 computers op het winows platform, de computer die het eerst start met zijn actie behoud zijn snelheid van 30MB/s net als de OSX laptop.

De 2de windows computer start met 35MB/s en zakt dan telkens langzaam af in stapjes van 0,5 tot 0,2 MB/s tot een snelheid van 1-2MB/s. En deze blijft tot het schrijven is voltooid, maar 10GB schrijven aan 1-2 MB/s is echt wel tergend traag dus annuleer ik telkens de schrijfactie.


Iemand hier een verklaring voor? Het maakt niet uit hoeveel keer ik het ook probeer, het blijft mislukken

Zijn al die waardes per systeem, of totalen? Dus bij 2 clients doe je totaal 30MB/s of doe je per client 30MB/s...?

Is nogal een verschil.

Leo1010 schreef op vrijdag 24 mei 2013 @ 14:26:
Mensen.

Ik krijg net een (misschien) leuk DIY idee. Van die Acer laptops met beige binnenkant hebben voor de hdd's een backplane met 1x SAS om 2x SATA aan te sluiten.

Het DIY idee is dan om er een stuk of vier van deze dingen bij elkaar te sprokelen.

http://mail.google.com/ma...86778112-local0&safe=1&zw

Een attachment uit je gmail linken, lijkt me geen goed plan...

Maar je bedoelt zoiets?
http://dx.com/p/sas-to-dual-sata-adapter-27652

[ Voor 16% gewijzigd door FireDrunk op 24-05-2013 15:04 ]

[Toon-VA]

FireDrunk schreef op vrijdag 24 mei 2013 @ 15:02:
[...]


Zijn al die waardes per systeem, of totalen? Dus bij 2 clients doe je totaal 30MB/s of doe je per client 30MB/s...?

Is nogal een verschil.


[...]

De waarden zijn per client en niet in totaal (dan zou ik er niet tevreden mee zijn )

[FireDrunk]

Vaag probleem, je klinkt alsof de OSX client de Windows client 'wegdrukt'... Maar dat lijkt me raar..

[Toon-VA]

Ja het is wanneer er al 2 clients (1 windows en 1 osx) aan het schrijven zijn naar de nas met een mooie snelheid van +- 40mb/s.

Als er dan nog een derde client bijkomt, een windows machine, dan loopt het stroef. De snelheid blijft gewoon zakken tot een luttele 1 a 2 mb/s. Deze trekt ook niet meer op nadat de andere client's gedaan hebben met hun taak.

Ik heb het op verschillende systemen getest maar het gebeurt telkens opnieuw, alleen dat het soms iets langer duurt maar uiteindelijk is het eindresultaat hetzelfde

[FireDrunk]

Samba getuned?

[Toon-VA]

Samba heb ik nog niet tegengekomen binnen FreeNAS, dus ik veronderstel niet dat ik hier aan geprutst heb.

Ik heb enkel een gedeelde map aangemaakt via CIF shares en een AFP share voor de osx machines

[FireDrunk]

CIF of CIFS?

[Toon-VA]

CIFS shares, mijn excuses

[FireDrunk]

CIFS == Samba (Op Linux en BSD that is...)

[ Voor 52% gewijzigd door FireDrunk op 24-05-2013 15:31 ]

[Toon-VA]

Ah, dat weten we dan ook alweer, bedankt.

Maar neen, ik heb niet in deze instellingen geprutst. De share is aangemaakt met de basisinstellingen en je moet een gebruikersnaam en wachtoord ingeven om er op te kunnen schrijven en lezen.

Ik weet ook niet of het aan de NAS en zijn instellingen ligt, de LACP interface of gewoon het netwerk zelf.

[FireDrunk]

Samba valt redelijk te tunen.

smb.conf

socket options = IPTOS_LOWDELAY TCP_NODELAY SO_SNDBUF=65536 SO_RCVBUF=65536

Niet alle opties zijn even hard nodig, google even of ze in jouw situatie helpen.

[Shamalamadindon]

FireDrunk schreef op vrijdag 24 mei 2013 @ 15:02:
Maar je bedoelt zoiets?
http://dx.com/p/sas-to-dual-sata-adapter-27652

Inderdaad alleen is die een beetje onhandig.

[ Voor 19% gewijzigd door Shamalamadindon op 24-05-2013 15:43 ]

[FireDrunk]

1 SAS verbinding ondersteund niet per definitie 2 SATA devices. Er zijn Dual port SAS devices, dat is iets anders.

Jij dacht ik kan 16 schijven op een M1015 aansluiten?

[Shamalamadindon]

FireDrunk schreef op vrijdag 24 mei 2013 @ 15:50:
1 SAS verbinding ondersteund niet per definitie 2 SATA devices. Er zijn Dual port SAS devices, dat is iets anders.

Jij dacht ik kan 16 schijven op een M1015 aansluiten?

Niet perse een M1015.

Maar het idee was eigenlijk een el cheapo nas van 2de hands onderdelen

[FireDrunk]

Wat zou je dan 2e hands willen gebruiken? Een SAS controller?

[Shamalamadindon]

Nu je dat zegt... daar gaat het idd fout met mijn idee.

[ Voor 96% gewijzigd door Shamalamadindon op 24-05-2013 16:12 ]

[FireDrunk]

Sorry to crush your dreams

[Pantagruel]

FireDrunk schreef op vrijdag 24 mei 2013 @ 16:14:
Sorry to crush your dreams

Meer dan 8 drives aan een M1015 kan wel, middels een expander. Jammer genoeg is dat niet echt een 'el-cheapo' optie te noemen (HP SAS expander) want de expander alleen is slechts 20 a 30 euro goedkoper dan 2 stuks M1015 controllers.

[ Voor 14% gewijzigd door Pantagruel op 24-05-2013 19:06 ]

[BartNL]

Pantagruel schreef op vrijdag 24 mei 2013 @ 19:04:
[...]Meer dan 8 drives aan een M1015 kan wel, middels een expander. Jammer genoeg is dat niet echt een 'el-cheapo' optie te noemen (HP SAS expander) want de expander alleen is slechts 20 a 30 euro goedkoper dan 2 stuks M1015 controllers.

ter nuancering van je eenzijdige vergelijk, aan zo'n HP SAS expander kun je 32 schijven hangen dus wanneer dat je doel is moet je een M1015+HP SAS expander qua prijs vergelijken met 4x M1015. Daarbij is een moederbord dat de M1015 plus expander ondersteund goedkoper dan een moederbord dat 4x M1015 ondersteund. Performance is met 2x een M1015 natuurlijk wel beter maar de vraag is of je dat nodig hebt / kunt benutten.

[Verwijderd]

Maar expanders kun je beter niet nemen. Liever iets meer geld voor meerdere échte controllers. Stuk minder problemen op compatibiliteit en performancegebied. Ik ben zelf absoluut geen voorstander van Expanders of port multipliers. Genoeg probleemthreads gezien erover, voornamelijk in combinatie met ZFS. Bij anderen werkt het wel goed, maar als je voor de keuze staat; een paar tientjes extra voor meerdere échte controllers zonder poespas is misschien wel een goede afweging om het op safe te spelen.

[Goudduif]

momenteel heb ik het volgende draaien:

1ESXi server-->32Gb boot van af usb
1 SDD 160GB 1 VM 8GB voor Nexenta Nas, 20 GB cache (Toegewezen aan de NAS) 1VM windows 7
4 2TB 64mb 7200 HDD's via Raw Device Mapping aan Nexenta toegewezen. 1 Disk 2Mirror's +de 20GB cache vanaf de SDD.

Nu heb ik de volgende vragen,

1 ik krijg een foutmelding van mijn disk-check op sd0 dat is mijn cdrom die niet geconnecteerd staat. Wie kan mij vertellen hoe ik de cd-rom uit de config verwijdert, zodat ik deze foutmelding niet meer ontvangt?

2 Vandaag zag ik een aanbieding voor wat betreft Seagate 3.5 inch hard disk drive 3.0TB / 64MB Buffer / SATA 6GB/s / 7200RPM / (Model: Barracuda 7200.12 ) hdd's

Als ik een IBM serveRaid M1015 in combinatie met bovengenoemde disken aanschaft, gaat me dit ook daadwerkelijk een aanzienlijke diskperformance verbetering geven? En is het dan aan te raden om weer een disk met twee maal een mirror, of kan ik beter een ... tal? disken kopen om een grote ZFS raid te creëren, wat is voor wat betreft snelheid, en veiligheid het meest raadzame?

3 Word de IBM serveRaid M1015 standaard afgeleverd met of zonder sas kabel, en indien zonder welk dien ik dan aan te schaffen?

[jacovn]

3) De goedkoopste aanbieder van de m1015 levert de kaart zonder kabels. Wellicht dat anderen wel kabels leveren, maar dt denk ik niet wat je hebt wel of geen backplane in je systeem etc.

[HyperBart]

Pantagruel schreef op vrijdag 24 mei 2013 @ 19:04:
[...]


Meer dan 8 drives aan een M1015 kan wel, middels een expander. Jammer genoeg is dat niet echt een 'el-cheapo' optie te noemen (HP SAS expander) want de expander alleen is slechts 20 a 30 euro goedkoper dan 2 stuks M1015 controllers.

Gaan we nu eens allemaal ophouden met die brakke HP SAS expanders altijd vooruit te schuiven en in plaats daarvan eens met een deftige SAS expander te beginnen?

Ik heb daar ooit eens met FireDrunk over zitten te buurten toen ik aan het denken was om een storage pod/enclosure te bouwen en die extern op te koppelen aan een server en daar kwam toen uit dat die HP heel wat problemen kon veroorzaken maar dat de Intel expander daar geen last van had (details bij FD).

Als hij dit leest zal hij er wel wat over zeggen, ja toch he, FireDrunk?

[W.Zijlstra.]

Zo, ik heb inmiddels Freenas 8.3.1 draaiend

Ik heb een HP N40L, met 4x 3 TB WD Schijven en 1x 2 TB Samsung F2 (backups schijf)

Booten vanaf een usb stick - 8 GB Geheugen en RAID-Z draaien met 4 schijven. So far so good

Ik haal ongeveer 40-45 mb/sec, en dat is wel in de lijn der verwachtingen van software raid, toch?

Op dit moment werk ik aan een DHCP server in FreeNAS omdat ik graag PXEBoot vanaf m'n server (ik kom van OpenMediaVault en dat werkte prima).

Nou heb ik via deze link isc-dhcpd geinstalleerd.

Nou loop ik tegen een probleem aan wanneer ik de dhcp server probeer te starten. Ik heb netjes een config file gemaakt naar voorbeeld, en de juiste regels in /etc/rc.conf toegevoegd.



Hè..? Ik heb het toch echt in /etc/rc.conf gezet.

Zie aldaar :



Wat doe ik fout?

EDIT: Wat doe ik fout : DHCP moet je in de Jail installeren, niet in freenas zelf

[ Voor 4% gewijzigd door W.Zijlstra. op 25-05-2013 18:11 ]

[W.Zijlstra.]

Goudduif schreef op vrijdag 24 mei 2013 @ 23:17:
momenteel heb ik het volgende draaien:

1ESXi server-->32Gb boot van af usb
4 2TB 64mb 7200 HDD's via Raw Device Mapping aan Nexenta toegewezen. 1 Disk 2Mirror's +de 20GB cache vanaf de SDD.

Ik kom van ESXi af, en heb uiteindelijk ESXi maar de deur gewezen omdat ik via Raw Device Mapping geen 3 TB schijven kon toevoegen (datastores >2 TB = problemen). Aldaar kwam ik een aantal dingen tegen.

Op het forum van FreeNAS word met klém Raw Device Mapping in FreeNAS afgeraden. Het word niet ondersteund en er treden flinke complicaties op wanneer een van de schijven stuk gaat.

Zou het dus even checken nog !

[BartNL]

HyperBart schreef op zaterdag 25 mei 2013 @ 15:53:
[...]Gaan we nu eens allemaal ophouden met die brakke HP SAS expanders altijd vooruit te schuiven en in plaats daarvan eens met een deftige SAS expander te beginnen?

Ik zie wel voordeel van de molex maar ook nadeel van 6 i.p.v. 8 SAS poorten op de HP expander. Op een Areca werken de HP SAS expanders probleemloos en zie ik als enige nadeel dat ze PCI-E slot powered zijn.
Tegenwoordig zijn er wel meer zinvolle alternatieven. Persoonlijk zou ik nu een Chenbro CK23601 overwegen die lijkt de voordelen van de HP en Intel expanders te combineren

[ Voor 20% gewijzigd door BartNL op 25-05-2013 19:44 ]

[W.Zijlstra.]

W.Zijlstra. schreef op zaterdag 25 mei 2013 @ 16:43:
Wat doe ik fout?

EDIT: Wat doe ik fout : DHCP moet je in de Jail installeren, niet in freenas zelf

Hm, heb dezelfde foutmelding als ik hem in een jail draai

[Verwijderd]

Is er hier toevallig iemand die zijn zfs (freebsd) fileserver gebruikt als onderdeel van AD? Ik ben namelijk aan het kijken hoe ik alle voordelen van de beveiliging van ZFS kan integreren in een AD-based netwerk.

Een makkelijk alternatief zou natuurlijk iSCSI zijn, maar dan heb ik helaas niet meer alle voordelen van ZFS.

[Dennisik]

Verwijderd schreef op zaterdag 25 mei 2013 @ 20:32:
Is er hier toevallig iemand die zijn zfs (freebsd) fileserver gebruikt als onderdeel van AD? Ik ben namelijk aan het kijken hoe ik alle voordelen van de beveiliging van ZFS kan integreren in een AD-based netwerk.

Een makkelijk alternatief zou natuurlijk iSCSI zijn, maar dan heb ik helaas niet meer alle voordelen van ZFS.

Dik gedrukte begrijp ik niet echt.

iSCSI is een netwerk protocol, ZFS een filesystem.
Met Freenas kan je ZFS gebruiken en je data aanbieden via iSCSI.

http://doc.freenas.org/index.php/ISCSI

Je kan ook nog kijken naar NFS ipv iSCSI

[Verwijderd]

iSCSI volume in webinterface aanmaken -> een server 2012 als iSCSI initiator gebruiken -> die met AD managen. Dat bedoel ik. Op die manier heb ik verder geen verstand nodig van unix file-hierachiën en kerberos-authenicatie op non-windows servers. Deze kennis is namelijk nog aan de magere kant bij mij.

[Goudduif]

W.Zijlstra. schreef op zaterdag 25 mei 2013 @ 16:46:
[...]


Ik kom van ESXi af, en heb uiteindelijk ESXi maar de deur gewezen omdat ik via Raw Device Mapping geen 3 TB schijven kon toevoegen (datastores >2 TB = problemen). Aldaar kwam ik een aantal dingen tegen.

Op het forum van FreeNAS word met klém Raw Device Mapping in FreeNAS afgeraden. Het word niet ondersteund en er treden flinke complicaties op wanneer een van de schijven stuk gaat.

Zou het dus even checken nog !

even voor de duidelijkheid, ik draai zelf momenteel met NEXENTA

Oke, daarom overweeg ik om de IBM M1015 te kopen, maar dan blijft de vraag kan ik dan volstaan met vier Seagate 3.5 inch hard disk drive 3.0TB / 64MB Buffer / SATA 6GB/s / 7200RPM / (Model: Barracuda 7200.12 ) disken die ik via twee mirror's als een disk configureert.

Of kan ik beter een .... aantal WD RED 3TB disken kopen.

Ik hoor graag van jullie welke configuratie jullie voor jezelf zouden samenstellen.

[ Voor 3% gewijzigd door Goudduif op 25-05-2013 21:50 ]

[analog_]

Verwijderd schreef op zaterdag 25 mei 2013 @ 20:32:
Is er hier toevallig iemand die zijn zfs (freebsd) fileserver gebruikt als onderdeel van AD? Ik ben namelijk aan het kijken hoe ik alle voordelen van de beveiliging van ZFS kan integreren in een AD-based netwerk.

Een makkelijk alternatief zou natuurlijk iSCSI zijn, maar dan heb ik helaas niet meer alle voordelen van ZFS.

NexentaStor heeft AD integratie via web, nog niet getest maar je kan het geheel beheren met je Windows MMC ding, je krijgt beschiking over EACL, je groupen/SIDs propageren dan ook netjes door (itt. workgroup mode met lokale ldap/passwd) zodat deze ook leesbaar zijn op de client (share permissions).

Zodra ik een IB switch heb schakel ik terug naar NexentaStor, in mijn ogen het meest volwassen ZFS product (oa. dtrace, comstar).

[ Voor 14% gewijzigd door analog_ op 25-05-2013 22:34 ]

[webfreakz.nl]

W.Zijlstra. schreef op zaterdag 25 mei 2013 @ 20:29:
[...]


Hm, heb dezelfde foutmelding als ik hem in een jail draai

Heb je binnen de jail ook een rc.conf?

[Verwijderd]

@Goudduif: Seagate 7200.14 raad ik af; deze maken regelmatig geluidjes en zijn minder zuinig dan de WD Green (EARX) of WD Red (Green en Red zijn fysiek gelijk, behalve de firmware en garantie). De Green moet je headparking nog wel tunen, de Reds hebben dit standaard uitgeschakeld. Maar 20 of 30 minuten timer is prima en wenselijk naar mijn mening.

@webfreakz.nl: zijn probleem is al opgelost. Het betrof een probleem in de /etc/rc.conf waarbij er spaties waren gebruikt. Dit kun je ook zien in zijn screenshot. De vrij primitieve parsers voor /etc/rc.conf kunnen hier niet goed mee overweg. De rc.conf editen is sowieso best gevaarlijk, als je typefoutjes maakt kan dit je bootproblemen opleveren.

[webfreakz.nl]

Wauw, zojuist even gezocht naar de uitleg over headparking en vond het volgende WD KB artikel:

http://wdc.custhelp.com/a...zQwMC9zaWQvNmwxX1ZJRGs%3D

MUST READ: Western Digital is unable to provide support for the Unix/Linux operating systems outside of jumper configurations (for EIDE hard drives) and physical installation support.

[Verwijderd]

analog_ schreef op zaterdag 25 mei 2013 @ 22:21:
[...] ik terug naar NexentaStor, in mijn ogen het meest volwassen ZFS product (oa. dtrace, comstar).

Één probleem: Mijn built heeft 48TB netto. De gratis versie van nexentastor heeft een max van 18TB.

[Phulakontarhos]

Ik zou graag een raid 10 opstellen met 4 disken van 2T.
Ik heb momenteel een ASUS P8Z77I-Deluxe moederbord die maar 4 sata aansluitingen heeft, dus dacht ik van een SATA raid controller kaart aan te schaffen en die 4 disks hier op aan te sluiten in RAID 10.

Als SATA controller kaartje kwam ik onder andere de Highpoint RocketRaid 2300 tegen, maar ik kwam te weten dat dit eigenlijk een controller kaartje is die software RAID uitvoert.

Ik zou willen weten welke harde schijven ik nu het beste kan aanschaffen, namelijk Western Digital red's of green's..

In een ander topic kwam ik volgende info tegen: Deze schijven (WD red's) nooit gebruiken in samenwerking met desktop aansluiting of een controller die geen ondersteuning heeft voor TLER, de kans op data corruptie over tijd is hoger.
Nu kan ik nergens info vinden of die Highpoint RocketRaids TLER al dan niet ondersteunen...

Op diverse forums vind je nogal tegenstrijdige informatie, op sommige worden WD red's aangeraden te gebruiken in iedere RAID combo (of het kan zeker geen kwaad deze aan te schaffen). Op ander forums wordt het afgeraden WD green te gebruiken.
Bijvoorbeeld op het support forum van HighPoint: "We can’t provide support for this issue. We suggest that you contact WD support for detail information on why not to use Green desktop classified HDD's in RAID applications."

Weet iemand of de Highpoint Rocketraid kaarten (zoals de RR 2300) TLER ondersteunen?
Of wat gebruik je beter in combinatie met Rocketraid kaarten? WD red of green?

[analog_]

Bespaar jezelf ellende en vergeet die rocketraid troep, het is slecht ondersteund op niet-windows, traag en waarom het merk uberhaupt nog bestaat is mij een raadsel. Als je toch maar raid10 wilt doen kan je beter een ibm m1015 halen en die gebruiken, heb je nog wat extra poorten en mocht je ooit meer willen dan raid0/1/10 kan je doorgroeien naar echte software raid oplossingen.

Of je slaat hardware raid meteen over en gebruikt de onboard poorten van je moederbord in combinatie met software raid. Ik mis je OS/opstelling om er meer over te zeggen.

[ Voor 24% gewijzigd door analog_ op 27-05-2013 02:07 ]

[Dualdude]

Ik heb een half jaar geleden een Rocketraid 2720SGL gekocht en moet zeggen dat ik er tot nu toe uitermate tevreden over ben. Ik heb er 8x een 2TB WD Green (EZRX) aan hangen in RAID-5. OS is Server 2008 R2 en met crystal diskmark haal ik 750mb/sec lezen en 350mb/sec schrijven.

[FireDrunk]

Voor Windows is het goedkoop en functioneel, voor elk ander OS is het waardeloos. HighPoint roemt zich vanwege waardeloze Linux support.

[Phulakontarhos]

Ik zou dit alles graag willen laten draaien op Windows 7.
Is die ibm m1015 een controller die effectief hardware raid ondersteund of is dit er ook een die eigenlijk software raid doet? Aan de prijs te zien gok ik op software...?

Ik heb 4 SATA poorten op mijn moederbord, dus ik heb er niet genoeg want er moet nog een SSD en een andere 3,5" aangesloten worden.

Gebruik ik in beide gevallen (RAID via SATA controller (die in feite software raid doet) en RAID via moederbord) dan beter geen WD red's?

[FireDrunk]

"Eigenlijk" Software RAID is veel gezegd. Er bestaat nog een niveau tussen, dat heet Hardware Assisted RAID om het zo maar even te noemen... Het lijkt een beetje op de RAID engines die op moederborden zitten. Die leunen veelal je gewone CPU, zo ook volgens mij die M1015. Veel eigen power heeft het ding niet, en ik vraag me af of hij zelf alle berekeningen doet...

Zeker weten doe ik het niet, wel weet ik dat de M1015 een stuk minder intelligent is dan zijn grotere broertjes met een deftige SoC.

Ik denk niet dat het veel uitmaakt voor thuisgebruik, neem de kaart die het beste past bij jouw budget en eisen, en voor de rest zal het allemaal snel genoeg zijn om bijvoorbeeld gigabit vol te trekken...

[jacovn]

Je hebt op een M1015 toch een soort key nodig om de raid modes te kunnen gebruiken.
Ik heb er ooit 1 op een m1015 gekregen (zal wel een vergissing zijn geweest)

[Phulakontarhos]

Ok prima, maar ik stel mij ook vooral vragen in verband met aanschaf schijven omdat je zoveel berichten leest in verband met de red versie of green versie van Western Digital.

Hoe zit het dan met het oorspronkelijk probleem dat greens beter niet gebruikt worden omdat ze uit het array kunnen gedropt worden tijdens een bad sector en omdat de error detection te lang zou duren?
Kan dit dan genegeerd worden in software RAID toepassingen of die Hardware Assisted RAID via die IBM M1015 kaart?

En WD red wordt afgeraden in RAID die niet volledig via een Hardware controller verloopt, wat IBM M1015 (of Highpoint RR) in feite niet is... ?

[FireDrunk]

In de M1015 kan je deze timeouts instellen tot 60 seconden. In hele, hele, hele uitzonderlijke gevallen doet een disk er letterlijk meer dan 60 seconden over om een sector te recoveren, maar of je dat wil.

Een WD Red heeft een strak afgestelde TLER (Time Limited Error Recovery), een Green een veel langere (of zelfs geen limiet).

In een RAID engine wil je niet dat het oneindig duurt, want als je controller dat best vindt, hangt je array gewoon een lange tijd. Je wil een gezond gemiddelde, waarin de schijf niet super snel opgeeft, en je controller niet te snel de disk uit de array mikt.

Reds hebben in mijn ogen zo'n goed gemiddelde, en Greens zijn wat luier afgesteld (beter voor desktop omgevingen). Als je zelf die timeout waardes insteld op een M1015, kan je in mijn ogen op zich wel Green's gebruiken, MAAR let wel op dat die soms headparking problemen hebben.

Red's zijn wat dat betreft minder problematisch, maar daar heb je een iets (een paar procent gok ik) meer kans op dataverlies omdat een schijf te snel opgeeft...

Ik vind het eerlijk gezegd een lastige keuze, Green's zou ik niet doen op een M1015 omdat het een beetje een el-cheapo oplossing is, maar Red's zijn het geld eigenlijk niet waard op een simpele controller als een M1015...

Als je voor een iets deftigere controller zou gaan, zou ik Red's adviseren. Als je goedkoop wil doen, kan je best de Green's pakken, maar maak goede backups, en zorg dat headparking uit staat.