Het grote ZFS topic

[maratropa]

Maar dat blijft dan toch hetzelfde als 4 sata ssd's op de intel moederbord controller aansluiten? Als je poorten te kort komt is het wel een leuk ding trouwens. Maar het wordt pas echt zinvol als je makkelijk wat pci-e 4x SSD's via zo'n kaart direct op je pci-e bus kan aansluiten. Helaas is het hele pci-e ssd verhaal nog wat onduidelijk qua formfactors en verkrijgbaarheid etc.

Dus bijv. een plextor M6e of samsung XP941 hierin:

[ Voor 5% gewijzigd door maratropa op 12-12-2013 11:29 ]

[Dadona]

Die vier M500 mSATA modules heb je al liggen?

[FireDrunk]

Klopt, dat is nog beter inderdaad, maar die native PCIe SSD's zijn takkeduur en hebben geen Power Caps.

Mijn idee was om 4* M500 120GB op dat ding te prikken, en die zijn daarmee mooi geschikt voor ZFS ZIL.

4 stuks m500 aan 1 pool koppelen zou ook een mooie performance op moeten leveren.

@Dadona, nee heb er 1, wil er drie bijkopen.

[Dadona]

Dan is 'omdat het kan' naar mijn idee de enige reden om het te proberen. Of je moet de m500 kaartjes in RAIDZ zetten en opnemen in je pool.

Anders lijkt het mij juist de manier om ellende op te zoeken. Meer kaartjes, een extra controller, ... Waarom het geld niet in een grote m500 steken? Scheelt een slot en extra punten van mogelijke ellende met de SSDs.

[FireDrunk]

Een grotere SSD is niet sneller in synced writes. Dat is nou juist de grap. Meer SSD's levert zeer waarschijnlijk een betere performance op dan 1 grotere.

[Dadona]

Ik zou dit toch eens langs de SSD gurus laten gaan. De 'zeer waarschijnlijk' gaat er bij mij niet in. Volgens mij win je juist met de stap naar de 240GB variant nog heel wat.

[HyperBart]

Het had eerder te maken met dat 4 x een SSD 4 x een synced write kan afhandelen, terwijl bij 1 SSD er maar eentje tegelijk kan gedaan worden. Toch?

[FireDrunk]

Bij een echte Synced Write kan er maar 1 kanaal binnen de SSD gebruikt worden, of je nou een 120 of 240GB SSD hebt. Als je meerdere SSD's hebt, kan ZFS meerdere SSD's verschillende synced writes af laten handelen waardoor het totaal sneller wordt.

Edit:
http://www.nexentastor.org/boards/5/topics/6179

Hier staat weer dat ZFS de ZIL niet striped...


En hier staat weer wat anders:
http://thr3ads.net/zfs-di...ple-SLOG-devices-per-pool

Ik heb het zelf een keer getest onder VirtualBox, en ik zag duidelijk meerdere MB's op al de ZIL disks... Of dat accuraat is weet ik niet

[ Voor 44% gewijzigd door FireDrunk op 12-12-2013 11:47 ]

[mux]

Erg cool (meer SSDs = altijd goed volgens mux) maar zoals Dadona al zei... ik ruik weinig voordeel en vooral een hoop kopzorgen

[FireDrunk]

Want? (ranten zonder reden is natuurlijk nutteloos he )

[HyperBart]

FD, ben je ondertussen niet beter af met een FusionIO kaartje?

[FireDrunk]

Als jij betaald (En die hebben geen power caps volgens mij...)

[ Voor 55% gewijzigd door FireDrunk op 12-12-2013 12:04 ]

[FireDrunk]

Bingo:

https://blogs.oracle.com/brendan/entry/slog_screenshots

Expectations

While the Logzillas can greatly improve performance, it's important to understand which workloads this is for and how well they work, to help set realistic expectations. Here's a summary:

Logzillas do not help every write workload; they are for synchronous write workloads, as described earlier.
Our current Logzilla devices for the Sun Storage 7000 family deliver as high as 100 Mbytes/sec each (less with small I/O sizes), and as high as 10,000 IOPS (less with big I/O sizes).
A heavy multi threaded workload on a single Logzilla device can queue I/O, increasing latency. Use multiple Logzilla devices to serve I/O concurrently.

Als er iemand verstand van heeft, is het Brendan

[]Byte[]

FireDrunk schreef op donderdag 12 december 2013 @ 10:36:
* FireDrunk heeft een stout idee:

Jij brengt mij weer op stoute ideeën...
Ik heb helaas geen PCIe x4 slots meer vrij.
Heb vier PCIe x16 slots die allemaal vol zitten. Heb geloof ik nog wel twee x1 slots over.
* ]Byte[ dacht dat EVGA wel een stuk of 7 of 8 PCIe x16 slots had...

[update]
FD, heb je deze ook gezien?

code:

RAID-niveau          RAID 0, 10, RAID 1 (2x2)

Ik mag hopen dat ie ook gewoon PT doet.

[ Voor 14% gewijzigd door ]Byte[ op 12-12-2013 12:47 ]

[FireDrunk]

pricewatch: MSI Big Bang XPower II X79



(Maar dan heb je nog 3x x1 , beetje zonde)

[ Voor 15% gewijzigd door FireDrunk op 12-12-2013 12:53 ]

[]Byte[]

* ]Byte[ moet een paar oogkleppen opzetten voor ie weer HW gaan kopen...
Gelukkig is al weer weg.

[ Voor 18% gewijzigd door ]Byte[ op 12-12-2013 13:06 ]

[Bigs]

]Byte\[ schreef op donderdag 12 december 2013 @ 12:26:
[...]

Jij brengt mij weer op stoute ideeën...
Ik heb helaas geen PCIe x4 slots meer vrij.
Heb vier PCIe x16 slots die allemaal vol zitten. Heb geloof ik nog wel twee x1 slots over.
* ]Byte[ dacht dat EVGA wel een stuk of 7 of 8 PCIe x16 slots had...

[update]
FD, heb je deze ook gezien?

code:

RAID-niveau          RAID 0, 10, RAID 1 (2x2)

Ik mag hopen dat ie ook gewoon PT doet.

In de documentatie staat dat hij ook passthrough doet.

[maratropa]

Deze zijn ook net uit, nog wel redelijk duur alleen.. (ik hoorde fusion io)

http://io-switch.com/store/

[ Voor 11% gewijzigd door maratropa op 12-12-2013 13:39 ]

[FireDrunk]

Ik vind de specs eerlijk gezegd een beetje tegenvallen... 75000 iops bij 4k writes QD=32...
Dat doet een 840Pro ook...

[maratropa]

Ja idd.. (had ik nog niet gezien) Maar het princiepe is natuurlijk wel mooi, pci-e direct op de bus. Maar het is in princiepe gewoon zo'n converter kaartje met een bootable plextor pci-e ssd. Binnenkort vast veel cheaper zelf te klussen

[]Byte[]

Een vraag waarop ik nu niet echt een duidelijk antwoord kan vinden...
Heeft het überhaupt zin om SLOG / L2ARC op een SSD-pool te zetten? (voor de gemiddelde huis-tuin-en-keuken-thuisgebruiker)
Bij extreem zware loads, voor zover ik uit de blog van Brendan opmaak, wel.
Maar dan heb je wel heel zware loads nodig.

[FireDrunk]

Je maakt niet een hele pool en zet daar je SLOG op, je voegt meerdere losse SSD's toe als individuele SLOG's aan je pool

There's a difference

[]Byte[]

Je hebt gelijk...
Ik zal mijn vraag anders formuleren: (zoals ik 'm bedoelde...)
Heeft het überhaupt zin om SLOG / L2ARC voor een SSD-pool te maken?

[FireDrunk]

Dat ligt aan de synced write snelheid van je SSD pool. Als die lager is dan die van een SLOG, kan je beter een slog gebruiken. Je synced writes worden immers sneller afgehandeld.

Voorbeeldje, een SSD pool van 4 * 840 Pro zal langzamere Synced Writes doen dan een Intel DC3700 SSD.

Het toevoegen van een Intel DC3700 zal zeer waarschijnlijk voor performance winst zorgen.

[Verwijderd]

Morgen een vrije dag, dus ben ik na het avondeten aan het sleutelen gegaan om mijn componenten in te bouwen en aan te sluiten. Zo eerst ga ik even memtest86 draaien om het geheugen te checken. Daarna ga ik mijn eerste stappen met FreeNAS zetten en proberen het syteem te configureren.

Misschien een domme vraag tussendoor, maar stel dat ik na het configureren met een bootable linux usb-stick zou booten. Zou dat kwaad kunnen?
Zouden de ZFS schijven daardoor van slag raken of blijven die onaangeroerd zolang ze niet worden gemount?
Of de vraag iets algemener: Hoe gaan andere besturingsystemen om met een aangemaakte ZFS pool?

[Verwijderd]

Shit, kom er net achter dat ik eigenlijk de verkeerde processor heb gekocht. De celeron heeft geen aes-ni, waardoor de encryptie niet hardwarmatig kan worden afgehandeld. Daardoor heb je voor een enkele schijf 20% performance verlies en dat loopt verder op per extra schijf aldus de FreeNAS handleiding:
http://doc.freenas.org/index.php/Volumes#Encryption

[FireDrunk]

Waarom wil je Encryption? Kan je niet beter voor je belangrijke data een ZVOL maken en via iSCSI exporteren naar je Windows of Mac client en daar iets van TrueCrypt op doen?

[A1AD]

FireDrunk schreef op vrijdag 13 december 2013 @ 07:28:
Waarom wil je Encryption?

Ik heb vooral encryption aanstaan voor diefstal. Ook al schat ik de kans klein in dat iemand een boefje iets met een zfs pool kan doen.

[ Voor 3% gewijzigd door A1AD op 13-12-2013 08:14 ]

[FireDrunk]

Dan blijft mijn idee toch redelijk te doen? Je video's boeien toch niet? En je pr0n collectie al helemaal niet

[Verwijderd]

FireDrunk schreef op vrijdag 13 december 2013 @ 07:28:
Waarom wil je Encryption? Kan je niet beter voor je belangrijke data een ZVOL maken en via iSCSI exporteren naar je Windows of Mac client en daar iets van TrueCrypt op doen?

Zoals A1AD al aangaf ging het mij o.a. om fysieke diefstal. Ook harde schijven die je weg doet hoef je niet speciaal te vernietigen om te voorkomen dat data eventueel in verkeerde handen valt.

Het gaat dan om dingen zoals financiele gegevens i.e. belastingaangiftes / internetbankieren / verzekering / etc. en overige werk gerelateerde zaken.
iSCSI heeft enkele nadelen, want het zou mij beperken tot één enkele machine, maar misschien is dat wel een acceptabele trade-off.

[ Voor 5% gewijzigd door Verwijderd op 13-12-2013 10:17 ]

[FireDrunk]

Waarom? Je kan iSCSI op meerdere machines mounten? Je kan in je server het aantal sessies op 1 forceren, dan kan er maar 1 client tegelijk inloggen..

Buiten dat, je kan ook gewoon een file gebruiken voor truecrypt en die op SMB zetten. Dan kan je het door het hele huis heen doen. Maakt allemaal niets uit.

[Q]

Dan laat je de encryptie ook nog eens afhandelen door je computer, zodat je NAS geen performance hit krijgt.

Ik draai zelf wat disks via iSCSI gekoppeld aan mijn Mac Mini met een 89$ iscsi initiator. Vervolgens kan ik gewoon native filevault encryptie van de mac op die volumes toepassen, dus al mijn data van mijn mac is encrypted en ik haal nog steeds 100+ MB/s.

[Verwijderd]

FireDrunk schreef op vrijdag 13 december 2013 @ 10:18:
Waarom? Je kan iSCSI op meerdere machines mounten? Je kan in je server het aantal sessies op 1 forceren, dan kan er maar 1 client tegelijk inloggen..

Ik meende dat ik in de FreeNAS handleiding had gelezen dat iSCSI maar door één systeem kon worden gebruikt. Je zou het dus wel op meerdere machines kunnen mounten, maar dan moet je waarschijnlijk oppassen dat je het op twee systemen tegelijkertijd mount.
Het forceren van max 1 sessie is dan idd wel verstandig denk ik.

[matty___]

Verwijderd schreef op vrijdag 13 december 2013 @ 12:43:
[...]

Ik meende dat ik in de FreeNAS handleiding had gelezen dat iSCSI maar door één systeem kon worden gebruikt. Je zou het dus wel op meerdere machines kunnen mounten, maar dan moet je waarschijnlijk oppassen dat je het op twee systemen tegelijkertijd mount.
Het forceren van max 1 sessie is dan idd wel verstandig denk ik.

Zowieso lijkt het mij raar dat je dezelfde iscsi volume door 10 windows machines kunt laten mounten. Er is niets geregeld met locking van bestanden etc.

[FireDrunk]

Dat kan prima, alleen moet je dan eigenlijk cluster services installeren iSCSI is er op gemaakt om door meerdere systemen tegelijk gemount te worden. NTFS juist niet.

Maar in het geval van TrueCrypt lijkt een file via SMB mij veel makkelijker.

[]Byte[]

Ik wou al zeggen...
Ik heb twee ESX-dozen naar dezelfde iSCSI-volumes staan trekken.
Ze moeten onderling wel van elkaar weten wie aan welk bestand gaat plukken.
CS is dan 1 van de mogelijkheden.
Maar zoals FD al zei.... SMB lijkt mij ook de juiste oplossing hier.
Moet je natuurlijk niet de TC-volume op een andere PC gemount laten staan.

[FireDrunk]

Yay, FC Kaartjes zijn binnen (Emulex LPE110002)

Nu maar hopen dat ik het hele geval een keer aan de praat krijg met mijn LSI FC kaartjes

[Verwijderd]

Net de eerste proeg gedraaid met SMB shares voor de verschillende gebruikers. De snelheid met 2,6 megabyte / seconde viel erg tegen.
Zal vast iets verkeerd hebben gedaan, maar ik ben er nog niet achter wat de oorzaak zou kunnen zijn.

update:
Heb hem nu op 9,7 megabyte / seconde en ik zit nu tegen de max van mijn 100mbit switch aan vermoedelijk. Gigabitswitch wordt morgen verwacht ...

[ Voor 25% gewijzigd door Verwijderd op 13-12-2013 14:52 ]

[Q]

FireDrunk schreef op vrijdag 13 december 2013 @ 13:40:
Yay, FC Kaartjes zijn binnen (Emulex LPE110002)

Nu maar hopen dat ik het hele geval een keer aan de praat krijg met mijn LSI FC kaartjes

Gaaf, wat is je huidige setup nu, heb je een link naar een post of staat dat in het 10+ TB topic?

[A1AD]

Verwijderd schreef op vrijdag 13 december 2013 @ 10:08:
[...]

Zoals A1AD al aangaf ging het mij o.a. om fysieke diefstal. Ook harde schijven die je weg doet hoef je niet speciaal te vernietigen om te voorkomen dat data eventueel in verkeerde handen valt.

Het gaat dan om dingen zoals financiele gegevens i.e. belastingaangiftes / internetbankieren / verzekering / etc. en overige werk gerelateerde zaken.
iSCSI heeft enkele nadelen, want het zou mij beperken tot één enkele machine, maar misschien is dat wel een acceptabele trade-off.

Koop snel een i3. TC is single user only en al helemaal niet leuk als je, ik noem maar iets, dlna wil doen op je nas.

Na boot je pool ontgrendelen. Ipv elke keer TC te starten en je pwd in te moeten typen.

[]Byte[]

FireDrunk schreef op vrijdag 13 december 2013 @ 13:40:
Yay, FC Kaartjes zijn binnen (Emulex LPE110002)

gaaf kaartje trouwens.
8 Gb trunk bouwen?

Ik ben nog wat benchmarking aan het doen met bonnie++ op beide pools, ook met de -b (sync writes voor zover ik het goed begrepen heb), maar heb nog niet veel vergelijkingsmateriaal om te kunnen zeggen of het "goed is" of "op punten verbeterd kan worden".
De kleurtjes geven wel een indicatie.... maar hoe groen is groen, en wanneer is rood "zorgwekkend"?

[FireDrunk]

Dat hoop ik ooit wel ja... 2x LSI Quad FC in mijn NAS en dan 4 cluster nodes met elk 2 x 4Gb

[FREAKJAM]

Normaal kondigt CiPHER nieuwe ZFSGuru versies aan, maar zag toevallig net een nieuwe versie.

System image: 10.0-001 available
A new system image based on FreeBSD 10.0-RC1 is available and it tagged as 10.0-001.

This system image has updated configuration files and is compiled to enable:

• OFED Infiniband networking
• Device polling (enable polling with: ifconfig re0 polling)
• AltQ traffic shaping

Hopelijk komt beta9 met de nieuwe gui snel. Op deze manier heb ik toch een klein beetje geluk straks ondanks de pech met mijn moederbord, waardoor ik op dit moment mijn server nog niet kan bouwen.

[Verwijderd]

Ach verdomd, meestal ben ik de eerste.

Maar inderdaad, 10.0-001 is er! RC1 dus een paar dagen oud. De grafische server is gecompiled met KMS support en ondersteuning voor de nieuwe AMD Radeon KMS drivers (radeonkms.ko) en ook experimentele GALLIUM3D-ondersteuning, tot nu toe het laatste wat FreeBSD te bieden heeft op grafisch vlak. Daar is de laatste tijd veel voortgang geboekt, zie deze pagina voor updates: https://wiki.freebsd.org/Graphics

Beta9 moet nog het één en ander aan gebeuren, maar het moeilijkste hebben we zeker gehad. De nieuwe Samba-support is geweldig. Drag en drop is zeker een coole feature voor ZFSguru. Ik kan nu al zeggen dat er een nieuwe 'Access' pagina is gekomen tussen 'Files' en 'Services'. Daar vind je toegang tot SMB/CIFS (Samba), NFS, iSCSI en SSH.

[ Voor 17% gewijzigd door Verwijderd op 14-12-2013 01:44 ]

[Verwijderd]

Oké, ik heb na heel wat kloten de configuratie nu redelijk op orde denk ik. Diverse standaardinstellingen van Freenas heb ik aangepast. (Ik vond het bijvoorbeeld raar dat alle gebruikers met sh toegang standaard lees en uitvoer rechten krijgen in de home-dir van de overige gebruikers)

Ik wilde proberen om een scriptje te maken met het 'chflags uimmutable filename' commando, om zo bestanden te beveiligen tegen per ongeluk wijzigen en verwijderen. Dit wilde ik dan automatisch na de init laten draaien op enkele specifieke directories.

Het lijkt hier echter helemaal niet te werken. Ik heb van alles geprobeerd met rechten, maar ik krijg steevast de melding: 'chflags: filename.ext: operation not supported'.

Waar zou dit aan kunnen liggen? Wordt het misschien niet ondersteund door ZFS of FreeNas?
Ik snap het niet, want ik heb het in de documentatie wel zien staan, dus zou het moeten werken.

[Verwijderd]

# een file 'immutable' maken
chflags schg filename
# alle immutable flags verwijderen van een directory
chflags -R noschg directory

[d1ng]

De uchg (user immutable) is nog niet supported op zfs.

schg (system immutable) werkt verder prima

[Verwijderd]

Verwijderd schreef op zaterdag 14 december 2013 @ 01:57:
# een file 'immutable' maken
chflags schg filename
# alle immutable flags verwijderen van een directory
chflags -R noschg directory

Je hebt gelijk, zo werkt het wel.

Ik probeerde de user variant met uchg, maar dat werkt dus niet. De system immutable flag werkt dus wel, maar kan alleen door de super-user gezet worden. (wheel group is niet voldoende)
De user immutable flag kan dus niet door de super-user worden gezet. Ook niet als de user zelf eigenaar van die files is en su is geworden.

Blij dat dit opgehelderd is, maar toch ook wel een beetje vreemd.

Maar goed, nu ik het scriptje af kan maken vraag ik me het volgende af. Stel dat er straks snapshots worden gemaakt van files die de immutable vlag hebben. Zou dat dan problemen kunnen geven wanneer er een snapshot wordt terug gezet?

d1ng schreef op zaterdag 14 december 2013 @ 02:08:
De uchg (user immutable) is nog niet supported op zfs.

schg (system immutable) werkt verder prima

Dan is dat nu helemaal duidelijk. :-)

Op zich zijn die flags een hele fijne toevoeging naast de standaard rechten. Vraag me alleen af of het geen problemen gaat geven i.c.m. het maken (en eventueel terugzetten) van de snapshots.

[ Voor 34% gewijzigd door Verwijderd op 14-12-2013 02:20 . Reden: aangepast, omdat d1ng tussentijds nog had gereageerd ]

[d1ng]

Het is niet zo vreemd maar 'bekend'. Zie ook http://www.freebsd.org/cgi/query-pr.cgi?pr=174315

Bij een rollback worden die schg flags overigens netjes teruggezet, zoals op het moment van snapshot.

[Verwijderd]

Maar wat gebeurd er in een situatie wanneer een file met schg flag veranderd is t.o.v. de versie die in het snapshot zit dat wordt teruggezet.

Faalt dan de rollback in zijn geheel?
Wordt de rollback dan deels uitgevoerd en blijven de bestanden met schg flag ongewijzigd?
Of ... wordt bij een rollback de schg flag dan genegeerd, zodat er toch een volledige rollback kan worden uitgevoerd?

Een file met schg zou in principe niet veranderen zou je kunnen zeggen, maar er zijn natuurlijk wel situaties waar een file gewijzigd is, voordat er een schg flag aan toegekend is. Als er dan een snapshot is gemaakt voor de wijziging en de rollback wordt toegepast na de wijziging en ook nadat de schg flag is toegekend ...

Bijvoorbeeld:
Van het bestand foo.bar wordt een snapshot (voor het gemak X genoemd) gemaakt. Later wordt het bestand foo.bar nog door iemand gewijzigd. Pas na de wijziging wordt de schg flag op foo.bar gezet.
Wanneer nu een rollback plaats zou vinden naar snapshot X, dan heb je dus ergens een contradictie. (volledige rollback of partiele rollback of geen rollback mogelijk)
Nou ja, misschien geen contradictie, want er zijn natuurlijk prioriteitsregels, maar ik vraag me wel af hoe dat wordt opgelost.

[d1ng]

Screenshot zegt soms meer dan 1000 woorden

[ Voor 11% gewijzigd door d1ng op 14-12-2013 03:34 . Reden: duidelijkere screenshot gepost ]

[Verwijderd]

Bedankt voor de goede uitleg! Het inderdaad heel duidelijk zo.

Conclusie is dus dat een rollback prioriteit heeft en geen rekening houdt met de imutabale flags.

Dan kan ik dus in principe de immutable flag zetten, zonder het systeem in de war te schoppen. Het lijkt me handig om dit door een scriptje te laten doen aan het eind van het booten. Dan worden alle nieuwe files er zijn bijgekomen sinds de vorige boot en in de aangewezen directory staan van de immutable flag voorzien.

Daarnaast is het nog zaak om een goed snapshot beleid op te stellen. Daar ben ik nog niet helemaal over uit. Dit zou je met scheduling kunnen instellen, maar ik wil eigenlijk ook niet het systeem te vaak onnodig uit de slaapstand halen.
De snapshots zouden eenmaal daags kunnen worden gemaakt op een bepaald tijdstip. Het zou echter kunnen voorkomen dat het systeem dan is uitgeschakeld, dus wordt er dan geen snapshot gemaakt. Zou het misschien handig zijn om het daarom ook handmatig te doen aan het eind van de bootfase, zodat je zeker bent dat er bij een nieuwe start een snapshot is gemaakt?
Als je het script draait als onderdeel van de afsluitprocedure loop je misschien het risico dat deze niet wordt uitgevoerd als bijvoorbeeld het systeem een harde reset krijgt na een vastloper of stroomuitval o.i.d.

p.s.
Wat voor windowmanager of screen-achtige heb je gebruikt in je screenshot?

[FireDrunk]

Gebruik de tool zfs-snapshot-mgmt uit ports tree

[DXaroth]

Mijn plannen voor een upgrade van mn opslag systeem komen eindelijk dichterbij:

http://www.silverstonetek...oduct.php?pid=483&area=en

Als ik het goed lees is deze maar 30cm diep; wat dus precies past in mn 35-cm-diepe-rack ... nu nog een bijpassend 1u systeempje zoeken (veel van de SuperMicros die passen in het rack zijn allemaal Atom-based; zit meer te kijken naar iets met wat meer performance), en een goede kaart om het te koppelen...

[edit] iets als deze

[ Voor 10% gewijzigd door DXaroth op 14-12-2013 16:28 ]

[d1ng]

Verwijderd schreef op zaterdag 14 december 2013 @ 14:46:
p.s.
Wat voor windowmanager of screen-achtige heb je gebruikt in je screenshot?

Ik maak gebruik van Openbox als Windowmanager. Maar hetgeen wat je bovenin in de screenshot ziet zijn zeg maar tabbladen die je kan configureren met de 'tabbed' extensie van x11/rxvt-unicode. Werkt erg fijn, nieuw tabblad is snel open met SHIFT - down toets, en switchen tussen tabbladen met SHIFT - links/rechts.

[HyperBart]

DXaroth schreef op zaterdag 14 december 2013 @ 16:24:
Mijn plannen voor een upgrade van mn opslag systeem komen eindelijk dichterbij:

http://www.silverstonetek...oduct.php?pid=483&area=en

Als ik het goed lees is deze maar 30cm diep; wat dus precies past in mn 35-cm-diepe-rack ... nu nog een bijpassend 1u systeempje zoeken (veel van de SuperMicros die passen in het rack zijn allemaal Atom-based; zit meer te kijken naar iets met wat meer performance), en een goede kaart om het te koppelen...

[edit] iets als deze

Als ik het goed heb heeft FireDrunk nog altijd zijn server te koop staan, en dat is exact de kast die jij wilt.

[Verwijderd]

Ben nu knap chagerijnig, want ik had alles netjes afgewerkt en FreeNas helemaal ingesteld en nu kan ik overnieuw beginnen.

De eerder genoemde tegenvallende transfer rate van ongeveer 9,6 megabyte per seconde werd niet opgelost met een nieuwe gigabit switch. Na veel proberen kwam ik er achter dat de Realtek rtl8111e NIC slechts op 100mbit stond ingesteld.
Logisch dat je dan geen gigabit snelheden kunt halen, dus heb ik deze handmatig proberen in te stellen op 1000gbit. Dit heb ik geprobeerd door de nic re0 aan de interfaces toe te voegen met de volgende toevoeging in options: 'media: Ethernet autoselect (1000baseT <full-duplex>)'

Dat werkte dus niet en dus viel de netwerkverbinding weg. Ook na een reset werd deze niet hersteld, dus geprobeerd om van de console in te loggen om zo de wijziging ongedaan te maken. Het resetten van de re0 en het draaien van dhcp lukten echter niet, dus heb ik een complete reset naar default instellingen gedaan, waardoor ik nu al mijn werk kwijt ben.

De instellingen gemaakt in de FreeNas webgui-configuratie zijn allemaal verdwenen en in default waarden veranderd. De volumes en dus data zijn echter ook weg!

Configuratie doe ik wel opnieuw, maar is mijn data nu echt ook verdwenen?

update:
Volgens mij heb ik de data weer terug ...

Het probleem van de 100mbit connectie blijft echter:

code:

~]# ifconfig                                                    
re0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500       
        nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>                    
        [b]media: Ethernet autoselect (100baseTX <full-duplex>)[/b]                    
        status: active

[ Voor 58% gewijzigd door Verwijderd op 15-12-2013 14:48 ]

[syl765]

Als je pool op andere schijven staat dan het os, dan is de data er nog.
Ik ken FreeNAS niet, maar even snel googlelen gaf mij dit.

http://doc.freenas.org/index.php/Volumes

Maak GEEN nieuwe pool aan als je data je lief is..
Laat die schijven dus met rust en creeer geen nieuwe pool.

Over die re kaart, kan die wel gigabit aan?

Gr
Johan

[Verwijderd]

@yohanman: je kunt even een ZFSguru 10.0 test installatie doen en daarvan booten om te kijken of 10.0-RC1 ook jouw re-probleem heeft. Zo ja, dan zou ik overwegen een Intel Pro/1000 CT kaartje te kopen, voor het geld hoef je het niet te laten.

[Verwijderd]

syl765 schreef op zaterdag 14 december 2013 @ 20:57:
Als je pool op andere schijven staat dan het os, dan is de data er nog.
Ik ken FreeNAS niet, maar even snel googlelen gaf mij dit.

http://doc.freenas.org/index.php/Volumes

Maak GEEN nieuwe pool aan als je data je lief is..
Laat die schijven dus met rust en creeer geen nieuwe pool.

Dat is de documentatie waar ik mij grotendeels door heb laten leiden gedurende het installeren en configureren inderdaad.
Ik was even bang dat de data weg was en durfde geen import aan, daarom heb ik eerst een config-file backup teruggezet en toen had ik de volumes, en data sets terug.

Over die re kaart, kan die wel gigabit aan?

Volgens de specificaties van het moederbord wel ... (ASRock B75 Pro3-M)

Verwijderd schreef op zaterdag 14 december 2013 @ 21:02:
@yohanman: je kunt even een ZFSguru 10.0 test installatie doen en daarvan booten om te kijken of 10.0-RC1 ook jouw re-probleem heeft. Zo ja, dan zou ik overwegen een Intel Pro/1000 CT kaartje te kopen, voor het geld hoef je het niet te laten.

Goede tip, dat ga ik zo gelijk proberen. Misschien bevalt ZFSguru wel zo goed at ik er bij blijf!
Het draaien van ZFSguru heeft geen gevolgen voor mijn huidige volumes en data-sets toch?

[Verwijderd]

Heeft geen negatieve gevolgen nee. Je kunt je volume importeren op de Pools pagina, pas dan wordt hij zichtbaar. Tot die tijd natuurlijk de disks niet gaan formatteren, want als de pool niet is geimporteerd lukt dat gewoon. Zodra je pool geimporteerd is zijn de disks 'locked'.

Activeren van feature flags, zoals LZ4-compressie inschakelen, kun je ook beter niet doen omdat dit je pool versie upgrade naar v5000. Ik weet niet hoe ver FreeNAS is, maar niet alle dists ondersteunen dit!

Dus kortom, doe geen gekke dingen en dan blijft ZFSguru ook van je data af.

[]Byte[]

@yohanman

Heb je al eens een nieuwe kabel geprobeerd?
Als daar ergens een slecht contact zit kan ik mij voorstellen dat de NIC hardnekkig op 100 Mbit blijft hangen.
Bij Gbit speed worden nl alle vier de aderparen gebruikt.
Als er maar 1 mist van de buitenste aderparen, zal ie niet verder dan 100 Mbit gaan.

[Verwijderd]

Oei, dus lz4 compressie kun je beter ook van af blijven? Dit had ik tijdens het configureren van FreeNas wel ingesteld, omdat dit werd aanbevolen.

Misschien kan ik dan toch beter de schijven maar opnieuw gaan indelen en dan zonder lz4 laten werken, zodat dit later geen problemen geeft bij eventuele migratie.

Ben nu ZFSguru aan het downloaden en heb in de tussentijd maar even een linux live distro geprobeerd. Die pakt de NIC waar het moederbord mee uitgerust is ook als een 100mbit.
Dan lijkt het probleem mij nu eigenlijk al duidelijk. Er is geen goede driver voor de Realtec NIC op het moederbord.

Op de website van realtec heb ik wel een recentere driver gevonden, maar die is voor FreeBSD 7.x en 8.x en FreeNas is op 9.x gebaseerd.

[Verwijderd]

]Byte\[ schreef op zaterdag 14 december 2013 @ 21:29:
@yohanman

Heb je al eens een nieuwe kabel geprobeerd?
Als daar ergens een slecht contact zit kan ik mij voorstellen dat de NIC hardnekkig op 100 Mbit blijft hangen.
Bij Gbit speed worden nl alle vier de aderparen gebruikt.
Als er maar 1 mist van de buitenste aderparen, zal ie niet verder dan 100 Mbit gaan.

De kabels zijn goede kwalitet Cat6 kabels. Mijn laptop deed overigens ook gewoon 1000mbit op dezelfde kabel toen ik aan het zoeken was waar het probleem zat.

Ik vrees dat het echt de NIC op het moederbord is. Waarschijnlijk is CiPHER zijn tip nog wel het best, een Intel PCI-e kaartje kopen.

[]Byte[]

Verwijderd schreef op zaterdag 14 december 2013 @ 21:44:
[...]
Waarschijnlijk is CiPHER zijn tip nog wel het best, een Intel PCI-e kaartje kopen.

Intel kaartjes? Helemaal mee eens!
Maar een andere kabel is vaak net ff sneller en makkelijker (/goedkoper)
Realtek is wat dat betreft altijd al bagger geweest.
Zijn het niet de de drivers bagger zijn, is het wel dat de snelheid bagger is.
Wat dat betreft zweer ik bij Intel kaarten.

[Verwijderd]

Zelf gebruikte ik in het verleden zowel 3com als Intel netwerkkaarten en dat werkte altijd goed, dus mijn ervaringen zijn wat dat betreft ook positief.

De onboard NIC werkt echter toch wel op 1000mbit heb ik ontdekt. ]Byte[ had toch gelijk wat betreft de kabel. Het is heel vreemd, want het is een goede kwaliteit Lucent gigaspeed kabel. Ik was er echt van overtuigd dat het dus niet aan de kabel kon liggen. De laptop draaide wel netjes 1000mbit op die kabel. Toch heb ik een andere kabel ingeplugd om er zeker van te zijn en tot mijn grote verbazing kon de Realtek NIC daar wel een carrier op ontvangen.
Kortom, ik voel me best wel een beetje dom. Wat een gedoe om zoiets knulligs.

Er werden overigens transfersnelheden van 41 megabyte per seconde gehaald bij het schrijven naar een SMB share op de NAS. Niet heel spectaculair vergeleken de 60mb/s van de Synologies, maar al wel een hele verbetering.

[]Byte[]

Verwijderd schreef op zondag 15 december 2013 @ 01:55:
Kortom, ik voel me best wel een beetje dom. Wat een gedoe om zoiets knulligs.

Dat is nergens voor nodig.
Je had het tenslotte al eens eerder getest met je laptop.
100 Mbit gebruikt alleen de middelste 4 pinnen op de RJ45 plug. GbE heeft ze alle 8 nodig.
Maar ik weet hoe nauwkeurig goede GbE kabels luisteren.
Een klant van een vriend van mij had eens door een bedrijf gecertificeerde CAT6 bekabeling aan laten leggen in hun pand.
En na een langere tijd was er een server die niet meer op GbE wilde komen. Ook niet met andere kaarten of op andere poorten op de switch.
Alles binnenste buiten getrokken en na lang zoeken toch de oorzaak gevonden.
Oorzaak... Ze hadden een RJ45-plug gebruikt voor een massieve kern op een kabel met soepele kern (of net andersom)
Zoiets verzin je toch niet als je een storing wil zoeken.
Connectoren er afgeknipt en nieuwe er op geknepen, en alles was weer goed.

[]Byte[]

FireDrunk,
Kan je ons nog wel laten weten of het gelukt is met je FC LSI <=> Emulex-kaarten?
Ik ben wel heel benieuwd. (ik verwacht er op zich niet zo'n probleem mee...)

[FireDrunk]

]Byte\[ schreef op zondag 15 december 2013 @ 08:52:
FireDrunk,
Kan je ons nog wel laten weten of het gelukt is met je FC LSI <=> Emulex-kaarten?
Ik ben wel heel benieuwd. (ik verwacht er op zich niet zo'n probleem mee...)

Gister een poosje zitten stoeien, maar het lijkt makkelijker dan dat het is
Het framework wat je moet gebruiken onder FreeBSD heet CAM, maar de Target optie moet je los in je kernel compilen (device ctl / targ). Zodra ik dat doe, en ik installeer deze nieuwe kernel, krijg ik een kernel panic bij boot...

Het kan goed zijn dat er sinds 10.0 (of 11.0 want dat draai ik nu) iets gewijzigd is, waardoor de handleidingen voor het maken van een FC target niet meer gelden... Ik moet dus nog even verder speulen

[]Byte[]

Ik zie hier mogelijkheden om het in de kernel van ZFSguru gelijk mee te compileren...
CiPHER......!!!

[FireDrunk]

Hoho, niet te snel van stapel lopen, het moet eerst werken

Hmm, zojuist ctl en targ weer uitgezet en de kernel opnieuw gecompiled en geinstalleerd.
En met de LSI kaart er in panict de boel nog steeds... Fijn...

We komen dichterbij

[root@NAS ~]# ctladm port -l
Port Online Type     Name         pp vp WWNN               WWPN
0    YES    IOCTL    CTL ioctl    0  0  0                  0
1    YES    INTERNAL CTL internal 0  0  0                  0
2    YES    ISCSI    iscsi        0  0  0                  0
3    YES    INTERNAL ctl2cam      0  0  0x5000000dff4c8300 0x5000000dff4c8304
4    YES    FC       mpt0         0  0  0                  0
5    YES    FC       mpt1         1  0  0                  0
6    YES    FC       mpt2         2  0  0                  0
7    YES    FC       mpt3         3  0  0                  0

Nu nog een WWN instellen...

[ Voor 116% gewijzigd door FireDrunk op 15-12-2013 13:04 ]

[ikkeenjij36]

Beste allemaal ook ik ben alweer tijdje enthiosiast gebruiker van zfsguru,ik doe er geen heel spannende dingen mee want wordt voornamenlijk gebruikt als media server met sabnzbd sb en couchpotato enz.
Nu wordt er geboot vanaf een raidz2 met 6x2Tb wd schijven.
Na het forum doorgelezen te hebben(alles )las ik verschillende keren dat het ook zo kan:

Je boot dus van de RAID-Z2. Wat je veel beter kunt doen is de disks zo partitioneren dat je een gedeelte vrijhoudt voor een aparte pool om van te booten. Als je een SSD hebt is dat nog beter, dan kun je daar ZFSguru op installeren in een partitie, volgende partitie L2ARC cache voor je pool en volgende partitie misschien SLOG.
qoute van cipher.
Nu wil ik dit ook voor elkaar krijgen daar ik nog een ssd (ocz vertex3) schijfje erin heb zitten.
Wie kan mij duidelijk aangeven hoe ik dit voor elkaar kan krijgen eventueel via dm of zo iets?
En raak ik dan al mijn data kwijt?
Waar komen de services op te draaien dan?
En ga ik dan bijvoorbeeld met sabnzbd ruimte tekort krijgen met grotere bestanden downloaden?
Ook zou ik graag backups maken van mijn ander apparaten via zfs guru maar ik heb geen idee hoe ik dat nu weer voor elkaar moet krijgen.
Als ik het hier niet mag vragen dan excuses maar op het zfs forum is er op het moment weinig hulp/ondersteuning voor deze zaken.
Alvast bedankt voor jullie hulp/antwoorden.

Ook even een bencmark gedaan en wou jullie even laten kijken of dit een beetje nette prestatie is:
ZFSguru 0.2.0-beta8 (9.2-001) pool benchmark
Pool : OPSLAG (10.9T, 6% full)
Test size : 64 GiB
normal read : 259 MB/s
normal write : 272 MB/s
I/O bandwidth : 3 GB/s

[ Voor 9% gewijzigd door ikkeenjij36 op 15-12-2013 13:19 ]

[Borromini]

Ik meende begrepen te hebben dat je voor dat soort doeleinden (logs en cache) echt wel een top of the shelf SSD nodig hebt, zoals bv. een Intel. Maar ik kan me vergissen.

[FireDrunk]

Voor ZIL/SLOG heb je een goede SSD nodig met powercaps, voor L2ARC in principe niet *MAAR* de SSD die voor L2ARC gebruikt word kan erg hard slijten! Omdat deze veel sequentiele writes moet verwerken kan een relatief goedkope SSD snel door zijn write cycles heen zijn.

Een 'oude' SSD die je toch niet gebruikt kan je dus prima inzetten. Als hij daadwerkelijk stuk gaat, merk je alleen maar een performance drop, maar je pool draait gewoon door.

@ikkeenjij36, wat begrijp je niet aan partitioneren? Services worden in een filesystem opgeslagen op je root pool. Als je dus partities maakt en daar je rootpool van maakt zullen je services daar op komen.

[ Voor 18% gewijzigd door FireDrunk op 15-12-2013 13:54 ]

[ikkeenjij36]

@firedunk partitioneren begrijp ik zoals het in win ging.
Maar nu ik dus zfsguru heb draaien zou ik niet weten hoe ik die nu zou moeten partitioneren.
Maar nu staat mijn root pool ook op die raidz2 pool.
Betekent dat ik dus van 0 af zou moeten beginnen?
En dus alle data kwijt raak?
Met andere woorden nu zie ik door de bomen het welbekende bos niet meer.

[FireDrunk]

Moeilijke weg:
SSD insteken, partitioneren, ZFS send en receive gebruiken om de zfsguru data van je pool naar de SSD te verplaatsen.

Makkelijke weg:
Alles loskoppelen, SSD inpluggen, ZFSguru opnieuw installeren, disks inprikken, BIOS instellen om van je SSD te booten, oude pool importeren, oude ZFSguru installatie van je pool verwijderen (zonder verlies van data).

[Afwezig]

Heb net een paar dagen terug de hele boel besteld, zal nog wel even duren voor het binnen is, maar toch maar even wachten op ZFSGuru beta9 op FBSD10.0 release dan Ben erg benieuwd!

[FireDrunk]

_{[sarcastic-mode]
Dan kun je lang wachten waarschijnlijk
[/sarcastic-mode]}

[ikkeenjij36]

FireDrunk schreef op zondag 15 december 2013 @ 14:06:
Moeilijke weg:
SSD insteken, partitioneren, ZFS send en receive gebruiken om de zfsguru data van je pool naar de SSD te verplaatsen.

Makkelijke weg:
Alles loskoppelen, SSD inpluggen, ZFSguru opnieuw installeren, disks inprikken, BIOS instellen om van je SSD te booten, oude pool importeren, oude ZFSguru installatie van je pool verwijderen (zonder verlies van data).

Okee en hoe precies verwijder ik mijn instalatie uit de oude pool dan?
Viade webgui?
Of via cli?
Bedankt voor de hulp zover.

[FireDrunk]

Je kan het hele filesystem verwijderen (/rootpool/zfsguru). Je bent dan wel al je instellingen kwijt van die installatie uiteraard.

---

Over mijn FC perikelen: Het lijkt er op dat ik op een bug in CAM / CTL gestuit ben. Het WWNN / WWPN van de LSI kaarten word niet fatsoenlijk overgenomen in CTL waardoor de kaart weigert in TARGET mode te gaan draaien. Ik heb een mailtje gestuurd naar de maker van de CTL laag in FreeBSD.

Nu dus even afwachten.

[ Voor 92% gewijzigd door FireDrunk op 15-12-2013 16:01 ]

[ikkeenjij36]

Is er misschien hier ook iemand die een sleep/wakeup script heeft en hoe ik die/dat moet instellen?

[FireDrunk]

Sleep en wakeup van wat? Sleep is kwestie van een crontab entry maken naar /sbin/poweroff

Wakeup moet je in je BIOS doen.

[RudolfR]

Sinds kort heb ik steeds vaker last van een degraded/faulted/offline pool in mijn onder ESXi 5 gevirtualiseerde ZFSGuru.
Dit lijkt te worden veroorzaakt door AHCI timeouts.
(RudolfR in "Het grote ZFS topic")

Destijds werd geopperd dat dit kon komen doordat de schijven druk waren
(Kompaan in "Het grote ZFS topic")
of dat 't een brakke controller is
(Compizfox in "Het grote ZFS topic")
Gek genoeg krijg ik de pool meestal wel weer up na een power cycle van de host en kan ik de pool resilveren zonder al te veel problemen.

Ik ben geneigd m'n schijven te verdenken omdat 't Samsung M8's zijn, die al aardig wat load cycles hebben gemaakt. (in ongeveer 1,5 jaar)


Heb inmiddels een nieuwe set drives besteld, maar zou ook graag de controller (en andere dingen) uitsluiten als oorzaak van dit probleem. Als ik het 'FreeBSD AHCI Timeout' google krijg ik veel resultaten, met verschillende oplossingen: AHCI uitschakelen, nieuwe kabels, nieuw bord, maar vaak gaat het over oudere versies van FreeBSD, 7 of 8.

Deze is van 9 (http://freebsd.1045724.n5...FS-AIO-NCQ-td5780453.html)

Hoe pak ik dit aan, suggesties?

[A1AD]

RudolfR schreef op maandag 16 december 2013 @ 08:10:
Hoe pak ik dit aan, suggesties?

Maak jij toevallig gebruik van ZFS replication? Het kan allemaal heel toevallig zijn maar ik heb net hetzelfde voorgehad toen mijn backup nas waar de replication naar werd gezonden een tijdje offline was.

Ik zeg het nogmaals, het kan heel toevallig zijn maar sinds de backup nas terug online is (of de replication tasks waren verwijderd, disabled was niet voldoende) had ik hier geen last meer van.

De timeouts werden zelfs zo erg dat ik geen transfer meer kon doen over samba.

Ik heb nog niet geprobeerd om bevenstaande te repliceren of verder te onderzoeken.

[FireDrunk]

Als ik het goed begrijp gebruik je dus de Virtuele AHCI controller en maak je gebruik van RDM? Of heb je een AHCI controller doorgegeven via VT-d?

[RudolfR]

Ik maak geen gebruik van ZFS Replication.

Het gaat om dit (VT-d compatible) bord: pricewatch: MSI B75MA-P45
met een HBA op basis van sil3112 voor de datastore.

De onboard controller is doorgegeven aan de ZFSGuru VM.

[FireDrunk]

Je zou APM eens op full performance kunnen zetten (254 dacht ik uit mijn hoofd, 255 is uit dacht ik).
Misschien gaan de schijven in een bepaalde vorm van standby en reageren ze te langzaam richting je OS waardoor je timeouts krijgt.

Je kan ook kunstmatig de timeouts oprekken, maar dat zou in mijn ogen een last resort zijn.

Edit:

Nog een artikeltje gevonden:

http://freebsd.1045724.n5...FS-AIO-NCQ-td5780453.html

I notice your disks are connecting at SATA 3.x, which rings bells. We had
a very similar issue on a new Supermicro machine here and after much
testing we proved to our satisfaction that the problem was the HW.

Essentially the combination of SATA 3 speeds the midplane / backplane
degraded the connection between the MB and HDD enough to cause
the disks to randomly drop when under load.

If we connected the disks directly to the MB with SATA cables the
problem went away. In the end we had midplanes changed from an
AHCI pass-through to active LSI controller.

So if you have any sort of midplane / backplane connecting your disks
try connecting them direct to the MB / controller via known SATA 3.x
compliant cables and see if that stops the drops.

Another test you can do is to force the disks to connect at SATA 2.x
this also fixed it in our case, but wasn't something we wanted to
put into production hence the controller swap.

To force SATA 2 speeds you can use the following in /boot/loader.conf
where 'X' is disk identifier e.g. for ada0 X = 0:-
hint.ahcich.X.sata_rev=2

[ Voor 66% gewijzigd door FireDrunk op 16-12-2013 10:34 ]

[RudolfR]

Die tip heb ik al eerder gekregen omdat die Samsung M8 drives zo aggressief downspinnen/head parken waardoor m'n load cycle count hard op liep.

Dus heb ik onderstaande script draaien, APM zou al op 254 gezet moeten worden bij iedere boot.
Verwijderd in "Het grote ZFS topic"
Dat heeft ook een tijd lang probleemloos gedraaid.

Kunstmatig de timeouts oprekken lijkt me inderdaad geen goede oplossing. Maar misschien kan het nuttig zijn als ik nog een kopie wil trekken van de gegevens op de pool? Is dat een eenvoudige configuratieoptie?

Heeft het zin om andere kabels te proberen? 't Lijkt redelijk willekeurig 1 of 2 van de 3 schijven te zijn nl.

Is het een goed idee om met die 3 nieuwe schijven de controller (en misschien ook de kabels) te testen zodat ik die kan uitsluiten? Tips om de pool dan stevig te stressen o.i.d?

[Mystic Spirit]

Ik zou zeker nieuwe kabels proberen. Kabels falen vaker dan je zou verwachten. Ik begin standaard bij het vervangen van kabels bij onduidelijke problemen. Het is altijd een geringe investering en je wilt niet weten hoe vaak het mij alweer een werkend systeem op heeft geleverd. Zeker SATA kabels zijn behoorlijk gevoelig.

[]Byte[]

Heeft er iemand hier toevallig al ervaring met IB op ZFSguru?
Wat zijn de richtprijzen ongeveer van een (2e, 3e, ... hands) IB-HBA?
Ik zie nu prijzen van 40 euro een een enkel-poorts 10 Gb (Qlogic) HBA.
(en 80 euro voor een 20 Gb dual-port)
Zijn dit nu echt gangbare prijzen? (vindt ze wel extreem laag)

[FireDrunk]

Ja hoor, IB kaartjes zijn niet zo duur. De allergoedkoopste IB kaartjes hebben alleen geen Subnet Manager ingebouwd, waardoor dit door software afgehandeld moet worden, en dat kan wat trager zijn geloof ik dan in hardware.

Ik dacht dat Pantagruel IB had? Misschien weet hij er meer van.
Driver support voor IB zit iig in ZFSguru ingebakken, installatie van software moet je zelf doen.

En die prijzen kloppen wel, ik heb zelf een setje mellanox kaartjes voor 100 euro verkocht inc kabel.

[Verwijderd]

ikkeenjij36 schreef op zondag 15 december 2013 @ 17:51:
Is er misschien hier ook iemand die een sleep/wakeup script heeft en hoe ik die/dat moet instellen?

Toevallig ben ik bezig met een scriptje die zoiets gaat doen. Het doel is om het systeem helemaal uit te schakelen na bijvoorbeeld twee uren niet meer te zijn gebruikt.
Dit wil ik graag, omdat ik wil voorkomen dat het systeem per ongeluk wordt vergeten en zodoende onnodig misschien dagen aan staat zonder dat het nodig is.
Ik weet op dit moment echter nog niet precies hoeveel hij in rust verbruikt, met energiebesparende features, zoals de C-states enabled. Misschien is het dan wel helemaal niet nodig om uit te schakelen.

Ander puntje is dat ik nog niet heb besloten op welke criteria ik het systeem wil laten uitschakelen. Moet het na een bepaalde inactiviteit uitschakelen of wil ik het systeem pas uit laten schakelen wanneer andere systemen allemaal offline zijn bijvoorbeeld?

Het opstarten is vrij gemakkelijk, dit kan met wake on lan of als het op gezette tijden moet kun je het inderdaad in het bios instellen zoals FireDunk al aangaf.

FireDrunk schreef op zondag 15 december 2013 @ 19:18:
Sleep en wakeup van wat? Sleep is kwestie van een crontab entry maken naar /sbin/poweroff

Handig om te onthouden. Ik had de shutdown of halt commando's in gedachten om aan te roepen van uit het scriptje.

[Pantagruel]

]Byte\[ schreef op maandag 16 december 2013 @ 12:16:
Heeft er iemand hier toevallig al ervaring met IB op ZFSguru?
Wat zijn de richtprijzen ongeveer van een (2e, 3e, ... hands) IB-HBA?
Ik zie nu prijzen van 40 euro een een enkel-poorts 10 Gb (Qlogic) HBA.
(en 80 euro voor een 20 Gb dual-port)
Zijn dit nu echt gangbare prijzen? (vindt ze wel extreem laag)

FireDrunk schreef op maandag 16 december 2013 @ 13:27:
Ja hoor, IB kaartjes zijn niet zo duur. De allergoedkoopste IB kaartjes hebben alleen geen Subnet Manager ingebouwd, waardoor dit door software afgehandeld moet worden, en dat kan wat trager zijn geloof ik dan in hardware.

Ik dacht dat Pantagruel IB had? Misschien weet hij er meer van.
Driver support voor IB zit iig in ZFSguru ingebakken, installatie van software moet je zelf doen.

En die prijzen kloppen wel, ik heb zelf een setje mellanox kaartjes voor 100 euro verkocht inc kabel.

IB kaartjes zijn niet echt duur, rondom de €50,- op e-bay voor een 10 Gb kaartje (Mellanox, Voltaire) is heel gewoon.
Een subnet manager kun je software matig afhandelen (opensm) en zit doorgaans bij de windows drivers (althans bij de mellanox MHEA-28XTC waarme ik gespeeld heb) en/of standaard in linux/*bsd/solaris derivaten. Dit is voldoende voor een 1 op 1 verbinding tussen pc's. Meer fancy setups kom je aan een IB switch en dan kun je er voor kiezen om een switch met hardware de subnet manager aan te schaffen.
Ik heb persoonlijk geen snelheids verschillen gezien (gemeten is een groot woord) tussen de software subnet manager en een IB netwerk via een IB switch met subnet manager (Flextronics ib switch)

IB onder ZFSguru (FreeBSD 9x) werkt tot op zekere hoogte. Verbinding maken en een netperf/hperf run maken werkt zonder al te veel problemen (zie hier) dus de hardware ondersteunig is er. Jammer genoeg viel de transfer over smb tegen wat waarschijnlijk te wijten valt aan het gebrek van MPIO ondersteuning onder Windows 7. Windows 8 heb ik tot op heden nog nooit getest, die 'wand tegeltjes'interface kan/kon me niet bekoren. iSCSI (via IPoIB) wilde destijds niet echt werken. De Win 7 pc wilde het iSCSI target wel zien maar wilde niet verbinden en de log flooding legde de hele server plat .

Uiteindelijk heb ik de boel al weer een tijdje werkend onder linux (posting en screenies van het voorbereidende werk mbv RAM disks zijn binnen tweakers wel te vinden (of op t ZFSguru forum).
ZFS on Linux (Ubuntu + ZoL) werkt prima, jammer genoeg geen fancy beheer oppervlakte a la ZFSguru), maar wel een werkend srp-target op een ZFS storage pool en zo'n 300 a 400 MB/sec heen en weer tussen de pc en de data server.

[FireDrunk]

Windows 8 heeft wel MPIO (zelf gezien ) mocht je toch nog de stap eens willen wagen

[]Byte[]

Pantagruel schreef op maandag 16 december 2013 @ 15:39:
[...]
IB kaartjes zijn niet echt duur, rondom de €50,- op e-bay voor een 10 Gb kaartje (Mellanox, Voltaire) is heel gewoon.

In dit geval zag ik Qlogic-kaartjes voor 40 euro.
Ik heb gisteren eerst in mijn ESX-doos mijn FC-kaartje ingebouwd.
Ik ga eerst maar eens zien dat ik mijn FC-kaartjes aan de gang krijg op mijn ZFSguru-doosje.

[FireDrunk]

Op Ebay kan je voor een habbekrats ook FC kopen

(Hoewel ik dat nog fatsoenlijk aan de praat moet krijgen... )

[Pantagruel]

FireDrunk schreef op maandag 16 december 2013 @ 15:43:
Windows 8 heeft wel MPIO (zelf gezien ) mocht je toch nog de stap eens willen wagen

Is/was me bekend, rest enkel de vraag of SMB onder FreeBSD al zo ver is dat het ook aan MPIO/multipath doet.

Ivm een recente verhuizing zit het gros van de 'spielerei' in de opslag en gaat het er voorlopig dus niet van komen. Als het er dan van komt is de Win 8.2. patch tegen die tijd wellicht beschikbaar en hebben we weer 'ouderwets' de start knop links onder in de hoek liggen.

[FireDrunk]

SMB multipathing is pas met SMB 3.0. In Windows 8 zit alleen iSCSI multipathing

[Pantagruel]

FireDrunk schreef op maandag 16 december 2013 @ 15:59:
SMB multipathing is pas met SMB 3.0. In Windows 8 zit alleen iSCSI multipathing

Dan schiet ik er weinig mee op aangezien de huidige SRP setup net zo goed werkt.

MPIO SMB zou handig zijn, ik zelf snel toegang tot de data en de rest van de 'stervelingen' via het 'lamme'Gbit netwerk

[ Voor 18% gewijzigd door Pantagruel op 16-12-2013 16:03 ]

[FireDrunk]

Ik snap niet zo goed waarom je multipathing nodig hebt op IB... Dat is toch maar 1 verbinding?