Uh, wat? Hoe kan je md devices hebben met RAIDZ, mis ik iets?

Even niets...


  • Ultimation
  • Registratie: Februari 2010
  • Laatst online: 19-09 13:56

Ultimation

Het is als Appels en peren

Highpoint RocketRAID controller waar de devices als legacy zijn geconfigureerd. Anders zou ik het ook niet weten?

MacBook Pro 2023 [14-inch, M2 Pro, 32GB RAM, 512GB]

Zijn er hier mensen die hun ervaringen even willen delen met een RAIDZ-array van om en bij de 15TB en de correlatie met de grootte van hun RAM-geheugen, en dan met name 8GB vs 16GB?

Ik had graag mijn N40L klaar gemaakt voor ZFS (uitgezonderd de disken). Het probleem is dat 16GB ECC UDIMM geheugen in 2 latjes van 8GB ieder nog redelijk prijzig is... 8GB in 2 x 4GB is al een heel stuk betaalbaarder...

Ik zou het zelf kunnen testen, ware het niet dat ik geen disks heb van die grootte, het RAM-geheugen zou ik eventueel kunnen stelen van mijn ESXi...

  • Ultimation
  • Registratie: Februari 2010
  • Laatst online: 19-09 13:56

Ultimation

Het is als Appels en peren

Ik heb een Highpoint RocketRAID controller 3520, waar alle devices aanzitten. Deze controller ondersteund alleen traditionele RAID. Om de harddisks gewoon 'door te geven' moeten deze als legacy geconfigureerd worden op de controller. Anders moeten ze worden opgenomen in een RAID array.

Nu heb ik de controller via passtrough aan de nas4free VM aageboden en via de nas4free 2 ZFS pools aangemaakt, 1x RAIDZ en 1x mirror. Voor ik ze in een pool zetten geformeerd om klaar te maken voor ZFS.

Is dat gek?

MacBook Pro 2023 [14-inch, M2 Pro, 32GB RAM, 512GB]

Dat verklaart nog steeds niet waarom het MD devices zijn...

(en verstandig is het volgens mij ook niet, want legacy is niet zo legacy als je hoopt...)

[ Voor 44% gewijzigd door FireDrunk op 30-08-2012 11:58 ]

Even niets...


  • Ultimation
  • Registratie: Februari 2010
  • Laatst online: 19-09 13:56

Ultimation

Het is als Appels en peren

Uit de RocketRAID 3520 manual:
Legacy disk
Disks attached to the RocketRAID 3520 that contain valid partition tables will be
identified as legacy disks. A legacy disk attached to the RocketRAID 3520 can be
accessed by the operating system, but cannot be used to create RAID arrays. A
legacy disk must be initialized before assigning it to an array.

MacBook Pro 2023 [14-inch, M2 Pro, 32GB RAM, 512GB]


  • Durandal
  • Registratie: Juli 2002
  • Laatst online: 13-12 15:24
Rannasha schreef op donderdag 30 augustus 2012 @ 11:01:
Hebben er mensen (praktijk) ervaring met ZFS-on-Linux (via de Ubuntu PPA of op andere manieren)? Ik heb een stapeltje hardware (AMD C60 bordje van Asus, 4x2 TB disks, en overige benodigdheden) besteld om een homeserver / NAS te bouwen en wou het liefst ZFS gebruiken. Ik heb vrij veel Linux ervaring, maar nog nooit een BSD-variant gebruikt, dus ik wou het liefst alles gewoon binnen Linux houden.

Wat ik lees her en der is dat de Linux-port van ZFS al behoorlijk stabiel en bruikbaar is, maar er zijn weinig uitgebreide ervarings-verhalen. Lagere prestaties maken me niet zoveel uit, m'n huidige server/"NAS" is een notebook met 2 externe schijven achter een 100 Mbit switch, dus het wordt hoe dan ook een forse verbetering. Het doel is om een simpele, stabiele setup te maken, waar ik makkelijk services aan toe kan voegen of wijzigen.
Ik ben er mee bezig maar zit nog in de pre-ZFS test fase. Op dit moment probeer ik Power-up in Standby, Staggered Spinup en de reguliere Spinup na een timed Spindown goed te laten werken om energie te besparen en met een picoPSU af te kunnen.
Bovengenoemde werkt allemaal, maar niet op een IBM M1015 / LSI 9211 (IT) controller; die spint bij het booten alle disks nog tegelijk op (nog geen idee hoe staggered spinup op die kaart aan te zetten), en kernel versie 3.1.10+ heeft een bug die voorkomt dat de M1015 de disks opspint na een spindown. Is patch voor die ook in 3.6 mee zou komen. e.e.a. in het Grote DIY raid topic.

Aan ZFS zelf nog niet echt toe gekomen, maar wel Ubuntu zfsonlinux vis de PPA geinstalleerd en dat gaat goed en makkelijk. Van wat ik lees moet dat nu stabiel genoeg zijn. Ik moet er wel die spinup patch nog in krijgen.
Hou er even rekening mee dat, als je 4k sector disks hebt, dat je dit mee geeft bij het aanmaken van de pool. Zfsonlinux kan daar mee om gaan. Ik geloof optie '-o', maar lees even de man pages.
Zodra je zelf wat ervaringen hebt hoor ik het graag.

[ Voor 4% gewijzigd door Durandal op 30-08-2012 12:23 ]


  • Durandal
  • Registratie: Juli 2002
  • Laatst online: 13-12 15:24
Ultimation schreef op donderdag 30 augustus 2012 @ 12:13:
Uit de RocketRAID 3520 manual:
[...]
Ja, daar bedoelen ze dus de RocketRAID Raid mee, gemanaged door de rocketraid kaart.

Als je een disk aansluit die al gepartitioneerd is wil hij hem niet in zijn eigen raids hangen en de data slopen. Beveiliging. Hij gaat hem dan gewoon aan je OS als normale disk doorgeven.

Verklaart nog steeds niet hoe je aan die MD raid komt ;)
Wat hij zegt ^^ :+
Kun je eens:

cat /proc/mdstat

uitvoeren?

[ Voor 57% gewijzigd door FireDrunk op 30-08-2012 12:28 ]

Even niets...


  • Ultimation
  • Registratie: Februari 2010
  • Laatst online: 19-09 13:56

Ultimation

Het is als Appels en peren

Durandal schreef op donderdag 30 augustus 2012 @ 12:27:
[...]

Ja, daar bedoelen ze dus de RocketRAID Raid mee, gemanaged door de rocketraid kaart.

Als je een disk aansluit die al gepartitioneerd is wil hij hem niet in zijn eigen raids hangen en de data slopen. Beveiliging. Hij gaat hem dan gewoon aan je OS als normale disk doorgeven.

Verklaart nog steeds niet hoe je aan die MD raid komt ;)
Ik wou daar alleen aangeven dat de RAID kaart niets met de disks doet. Precies wat jij aangeeft. :)

nas4free:~# cat /proc/mdstat
cat: /proc/mdstat: No such file or directory

nas4free:~# /proc/
0/       12/      16/      1891/    2/       2301/    23169/   6/
1/       1252/    1628/    19/      20/      2302/    23291/   7/
10/      1296/    17/      19377/   2057/    2303/    23292/   8/
1019/    13/      1756/    19431/   2105/    2304/    23293/   9/
1038/    14/      1799/    1968/    2167/    23165/   3/       curproc@
1089/    15/      18/      1972/    2210/    23166/   4/       
11/      1526/    1803/    1974/    22436/   23168/   5/  

[ Voor 105% gewijzigd door Ultimation op 30-08-2012 12:43 ]

MacBook Pro 2023 [14-inch, M2 Pro, 32GB RAM, 512GB]


  • Ultimation
  • Registratie: Februari 2010
  • Laatst online: 19-09 13:56

Ultimation

Het is als Appels en peren

Hmm misschien zijn er toch wat problemen. Systeem draait nog geen 5 dagen..

 pool: DATA
 state: ONLINE
status: One or more devices is currently being resilvered.  The pool will
	continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
 scan: resilver in progress since Fri Aug 31 19:33:16 2012
    13.1G scanned out of 1.51T at 1.88M/s, 232h43m to go
    4.35G resilvered, 0.84% done
config:

	NAME        STATE     READ WRITE CKSUM
	DATA        ONLINE       0     0     0
	  raidz1-0  ONLINE       0     0     0
	    da3     ONLINE       0     0     0
	    da4     ONLINE       0     0     2  (resilvering)
	    da5     ONLINE       0     0     0

errors: No known data errors

MacBook Pro 2023 [14-inch, M2 Pro, 32GB RAM, 512GB]


Verwijderd

Topicstarter
Je hebt Intel IOP in combinatie met ZFS; dat is gevaarlijk. Zorg in elk geval dat je write-back mode op 'write-through' zet, uit dus. Verder moet je weten dat ik met mijn Intel IOP (Areca) kaart veel gezeik had met bad sectors. Het kan tegenwoordig met nieuwere firmware beter gaan, maar timeouts blijft iets waar hardware RAID een slechte reputatie bij heeft.

  • Ultimation
  • Registratie: Februari 2010
  • Laatst online: 19-09 13:56

Ultimation

Het is als Appels en peren

Ik kan die op de controller alleen instellen wanneer er een RAID5 of RAID6 array is. Ik kon ook zo niet zie waar ik dat in nas4free kan instellen.

MacBook Pro 2023 [14-inch, M2 Pro, 32GB RAM, 512GB]

Het begin van het einde van OpenIndiana CiPHER?

http://lwn.net/Articles/514046/

Ik denk dat iemand dat eens voorspeld had ;)

[ Voor 22% gewijzigd door HyperBart op 01-09-2012 17:26 ]


Verwijderd

Topicstarter
Hier denk ik: Verwijderd in "Het grote ZFS topic"
Afgezien van die discussie, die natuurlijk helemaal afhangt van je persoonlijke situatie, kun je mogelijk ook stellen dat FreeBSD een veiligere keuze is dan het Solaris-kamp, wat momenteel aardig gefragmenteerd is en Oracle met zijn commerciële Solaris releases geen CDDL code meer uitbrengt maar alles proprietary houdt. De overgebleven open-source community van (Open)Solaris gaat het best moeilijk krijgen de kar te trekken voor een heel besturingssysteem zonder een sterk bedrijf achter zich te hebben, zoals Sun ooit was.
Solaris valt dus langzaam uit elkaar vrees ik, wat toch wel erg slecht nieuws is. Net zoals het wegvallen van AMD slecht is op de lange termijn voor de afnemers van Intel producten. Er gaat toch een stukje concurrentie verloren die unieke punten had en een hechte community. Dat gold voor AMD maar toch ook zeker voor Solaris. Mijn leraar was bijvoorbeeld erg pro-Sun destijds. Vandaag zou ik hem nog een knipoog willen geven, maar daarvoor is het nieuws iets te treurig.

Goed nieuws is er wel, dat FreeBSD ook goede vorderingen maakt en ook met ZFS verder gaat (ZFS extensions). Het voordeel hier is dat FreeBSD een solide fundering heeft en de support van diverse bedrijven en overheden waardoor het op middellange termijn kan overleven. Maar ook FreeBSD staat onder druk; de macht van Linux reikt ver. Toch zie je dat een FreeBSD kernel met GNU userland ook interesse kweekt, dus wellicht dat FreeBSD en Linux nog iets dichterbij elkaar komen. Dat wordt wel eenrichtingsverkeer want zoals je weer kan Linux alles met BSD code doen maar andersom vrijwel niets.
Nou, zeggen dat AMD net zo dood is als OpenIndiana, is een beetje vlug gezegd volgens mij :+
AMD moet zijn Piledriver en nieuwe Brazos 2.0 nog maar eens laten zien :)

Even niets...


Verwijderd

Topicstarter
Nou dat zei ik niet helemaal. :P

Wel kun je al zien dat AMD zich op andere zaken aan het richten is, zoals low-end GPU performance wat nu nog een marktje is en de Hondo tablet CPUs. AMD zal waarschijnlijk meer voor SoC ontwerpen gaan, ook omdat hun chipsets altijd erg goed waren en AMD toch wel innovatie toont op het gebied van integratie. Dus features die naar de grote chips toetrekken met als einddoel één chip waar alles inzit. Zo heeft AMD de geheugencontroller naar de CPU gebracht en gebruikt het HyperTransport voor de link tussen CPU en northbridge.

AMD Brazos blijft wel interessant voor een ZFS NAS. Maar toch zakken ze weg, tot het uiteindelijk in de marge werkt met wel interessante producten voor tablets bijvoorbeeld, maar niet in het performancesegment meer te vinden is. Intel heeft ijzersterke single threaded performance en hun voorsprong op procestechnologie is gewoon onverslaanbaar. Alleen door het Netburst-fiasco heeft AMD nog een goede tijd mee kunnen doen.

Het echte probleem is natuurlijk dat er geen eerlijk speelveld was. Intel gaf kortingen als 'men' geen AMD verkocht, nouja dat verhaal ken je wel. Uiteindelijk is Intel er met peanuts afgekomen bij de rechtzaak AMD versus Intel. Nouja, als zelfs dat niet rechtgezet wordt, is het inderdaad over en sluiten. Crime pays.

  • EnerQi
  • Registratie: Maart 2011
  • Laatst online: 19:43
Zo, de oplossing dat ZFSguru een disk faillure niet kan opvangen is een klein stapje dichterbij gekomen.

Ik heb FreeNAS 8.2 stable op usbstick gezet en daarvan geboot. Ook hier een GUI waarin je vanalles kon instellen en na wat pogingen is het me gelukt wat shares aan te maken die beschrijfbaar waren ;).

Daarna wat films erop gezet en na shutdown een power kabel losgemaakt van 1 harde schijf. Opnieuw aangezet en freenas start op met een degraded raidZ1. Overigens krijg ik er geen gegevens meer af, windows weigert om te connecten via verkenner naar de map, maar ik verwacht dat dit een security probleem is ;).

De vraag is, hoe krijg ik FreeNAS zover dat ie op de raidz1 gaat booten zodat ik kan uitsluiten of ZFSguru een software fout heeft.

Verwijderd

Topicstarter
FreeNAS doet helemaal geen Root-on-ZFS? FreeNAS gebruikt ouderwets UFS om te booten, toch?

[ Voor 39% gewijzigd door Verwijderd op 02-09-2012 17:12 ]

Inderdaad, volgens mij is FreeNAS nog helemaal niet zover... Alleen bij ZFSGuru is dat standaard, en bij FreeBSD zijn er install scripts die dat voor je kunnen doen?

Even niets...


Verwijderd

Topicstarter
mfsBSD livecd heeft een zfsinstall script, maar het beste / meest uitgebreide installscript zit in ZFSguru voor zover ik weet. Ik moet wel zeggen dat ik de nieuwe bsdinstaller nog niet heb geprobeerd, maar die deed geloof ik ook geen Root-on-ZFS.

Het is ook vrij uniek; het is sowieso een FreeBSD feature om van RAID-Z familie te kunnen booten; geen enkele Solaris variant kan dat. Of het moet UFS zijn, of een simpele ZFS mirror dat is nog wel bootable omdat dat veel simpeler te implementeren is.

  • EnerQi
  • Registratie: Maart 2011
  • Laatst online: 19:43
Verwijderd schreef op zondag 02 september 2012 @ 17:09:
FreeNAS doet helemaal geen Root-on-ZFS? FreeNAS gebruikt ouderwets UFS om te booten, toch?
Dan is het maar goed dat ik die optie niet gevonden heb in FreeNAS :P

Hoe kan ik dan mijn probleem oplossen door het niet booten van een Raidz1 array als 1 harde schijf faalt? ;)

[ Voor 16% gewijzigd door EnerQi op 02-09-2012 17:41 ]


Verwijderd

Topicstarter
EnerQi: misschien kun je het beste een nieuw topic openen en daar even alles inzetten wat je hebt geprobeerd. Het terugzoeken naar posts in dit topic en DM is een beetje omslachtig. Bovendien kreeg je als het goed is weer hele andere errors nadat je de datakabel had verwijderd; dus dat heeft in elk geval groot impact gehad.

Als je in een topic zet wat je hebt geprobeerd kunnen we proberen de oorzaak te achterhalen. Daarbij is het wenselijk dat je een extra reservesysteem hebt waarbij je hetzelfde kunt uitproberen, om BIOS problemen van jouw specifieke moederbord uit te sluiten.
Allen

Ik weet niet hoe "hot" het topic bij jullie is, maar na een aangename discussie gevoerd in een DM-thread is een mede-tweaker (mux, jullie wel niet onbekend; onder andere door zijn blogposts over zuinigheid en zijn nuttige bijdrages in het zuinige server topic) aan de slag gegaan voor een componentje waarvan bv. CiPHER, FireDrunk en ik het nut van in zagen:

een kleine geïntegreerde UPS die je in line op je SSD kan plaatsen en die tijdens een stroomuitval de mogelijkheid geeft om de SSD zijn DRAM-geheugen weg te laten schrijven .

mux heeft hier een topic voor geopend, en tegen alle verwachtingen in is het daar maar "matig enthousiast".

Mag ik er even aan herinneren, dat dit "dingetje" je de mogelijkheid geeft om * bijna * alle SSD's VEILIG te laten gebruiken als ZIL zonder dat je voor onzuinige of duurdere opties zoals een UPS moet gaan?

Mag ik iedereen er even aan herinneren dat je hierdoor niet verplicht bent om verouderde, minder presterende SSD's zoals de Intel 320-series moet nemen, maar dat je de eerste de beste SSD die je performant genoeg vindt kan gebruiken en mag genieten van een * echt * veilig ZFS systeem dat ook nog eens UBER-performed?

Dus, allen daarheen :)

\[mux-hardware] SSD Battery

  • onox
  • Registratie: Februari 2006
  • Laatst online: 18-05 22:02
Verwijderd schreef op zondag 02 september 2012 @ 17:40:
mfsBSD livecd heeft een zfsinstall script, maar het beste / meest uitgebreide installscript zit in ZFSguru voor zover ik weet. Ik moet wel zeggen dat ik de nieuwe bsdinstaller nog niet heb geprobeerd, maar die deed geloof ik ook geen Root-on-ZFS.
bsdinstall doet geen ZFS idd. (Wat ik wel verwacht had van 9.0) Ik heb voor FreeBSD 9.0 gewoon in de shell met gpart partities/slices aan moeten maken + handmatig zpool en zfs datasets aan moeten maken.

[ Voor 3% gewijzigd door onox op 04-09-2012 09:30 ]


  • Durandal
  • Registratie: Juli 2002
  • Laatst online: 13-12 15:24
Ligt het nu aan mijn VMware workstation, maar hoe installeer je het beste ZFSguru op een USB stick of maak je van een ISO een USB-bootable medium?

Ik heb al geprobeerd met UNETBOOTIN er een bootable usb stick van te maken en met VMware workstation te installeren NAAR de USB stick, maar UNETBOOTIN geeft kernel-achtige fouten en de installatie in VMware Workstation wil niet verder gaan met volgende fouten:

ZFSGuru erros
Hoeveel geheugen heb je de VM gegeven?

Even niets...


  • sloth
  • Registratie: Januari 2010
  • Niet online
Gewoon vanuit Windows met physdiskwrite of USB Image Tool?

Vooral die laatste vind ik erg handig, doet gewoon wat het moet doen vanuit een nette GUI :)

  • Dadona
  • Registratie: September 2007
  • Laatst online: 18-12 20:14
sloth, als ik het mij goed herinner lukt dat niet. (Aan de andere kant, na tig distributies te hebben geprobeerd kan ik even in de war zijn. :+ Het gaat simpelweg te vaak om de één of andere reden niet goed, of je moet het weer met een andere tool doen.)

Van het ZFSguru forum:
What you can do is:
1) install Virtualbox somewhere and boot the LiveCD with 1.5GB RAM present
2) insert a USB stick and have Virtualbox assign it to the VM
3) boot the ZFSguru livecd
4) format and create a pool on the USB stick
5) install on the USB stick (System->Install)

Now you can move that USB stick to your new system without cd drive and use it to install on your final pool or just keep the USB systemdisk, up to you.
Deze methode heb ik geloof ik eens toegepast en die leek toen te werken.

De CSL/OT kroeg !


Verwijderd

Topicstarter
HyperBart: ik heb nog nooit werkend gezien dat van een ZFSguru livecd zomaar een USB-image gemaakt kan worden. Je screenshot is inderdaad dat je te weinig RAM hebt voor tmpfs; je hebt 2GB+ nodig voor de LiveCD.

Als jij een ZFSguru USB-stick wilt maken omdat je op het target systeem geen CDROM drive hebt:
1) Maak in Virtualbox een VM aan met 2GB+ RAM, kies FreeBSD (64-bit) als operating system. Zet networking op Bridged. Voeg ook je USB-stick toe als USB device.
2) boot de .iso livecd die je hebt gedownload
3) gebruik de web-interface om een pool te maken op je USB-stick, alsof het een normale disk is.
4) installeer naar de USB-stick, waarbij je bij stap4 de optie 'copy system image' aanvinkt. Dan hoef je bij je volgende installatie niet eerst een 250MB groot bestand te downloaden.

Nu netjes afsluiten en je USB-stick veilig afkoppelen (als je VM stopt krijgt je host hem weer, dus veilig verwijderen rechtsonderin). Dan in je target systeem stoppen en van USB booten. Nu volg je ook weer dezelfde procedure maar dan installeer je op je HDD pool. Bij installatie stap3 kies je dan voor de override functie zodat je de boot flag van je USB stick niet hoeft uit te schakelen. Nadat je die override hebt aangezet kun je dus gewoon op je HDD pool naam klikken en ga je verder naar stap4, daar hoef je niets speciaals te doen. Weet wel dat je dus niet kan/mag opstarten met zowel de USB-stick erin als de HDD pool, omdat er maar één bootable pool actief mag zijn.

Je kunt wel tegen een bugje aanlopen bij het afsluiten omdat hij oneindig wacht op je USB device. Niet zo heel ernstig trek je USB stick eruit en doe een harde powerdown. In de nieuwe image is dit verholpen. Je kunt het in je /boot/loader.conf ook instellen: hw.usb.no_shutdown_wait="1"
Mja, die 4GB die deed het 'm :)

En de USB stick als "bootdisk" blijven gebruiken is niet aangeraden, dan moest je die embedded gebruiken? Ik geef geen zak om wear and tear van zo een simpel stickje, maar als er technische problemen door komen, dan installeer ik wel op de disk/pool...

[ Voor 100% gewijzigd door HyperBart op 04-09-2012 19:23 ]

Bijzonder... :(

Heb er 2 disks van 400GB inzitten (N40L voor testing) en ik wil een stripe aanmaken:

v28 van pool, GPT geformatted met een labeltje erbij, USB stick staat doorstreept dat die al in gebruik is enz... Pool name ingevuld "streep", maar hij geeft aan:

at least one disk selected is too small, minimum is 64 MiB

Vreemd, ik of ZFSguru kan niet meer tellen +o)

Verwijderd

Topicstarter
Je hebt denk ik de labelnaam van de GPT partitie gewijzigd, dit is een bug in freebsd maar de beta7 die zeer binnenkort uitkomt heeft hier een fix voor. Tot die tijd even rebooten, dan hoort die foutmelding weg te gaan.

ZFSguru ondersteunt op dit moment alleen Root-on-ZFS installatie, nog niet de Embedded. Dus je krijgt wel writes naar je USB stick. Er is een how-to op het ZFSguru forum om dat te limiteren. Maar zolang je maar weet dat je stickje het kan begeven zie ik het probleem niet zo. Je kunt altijd een extra stick klaar hebben liggen voor het geval dat gebeurt.

  • Rannasha
  • Registratie: Januari 2002
  • Laatst online: 21-12 20:21

Rannasha

Does not compute.

Heb m'n nieuwe NAS/server bak aan het draaien gekregen na veel bloed, zweet en tranen (mini-ITX is erg leuk en schattig, maar ik bouw toch 10x liever een ATX fulltower vol).

Specs:
#ProductPrijsSubtotaal
1Asus C60M1-I€ 66,70€ 66,70
4Samsung Spinpoint F4 EG HD204UI, 2TB€ 94,40€ 377,60
1Lian Li PC-Q08 Zwart€ 91,50€ 91,50
1Antec VP350P€ 35,37€ 35,37
1Corsair XMS3 CMX4GX3M1A1333C9€ 18,95€ 18,95
Bekijk collectie
Importeer producten
Totaal€ 590,12

+ een 120 GB SATA laptop-schijf als OS-disk.

De boel draait Ubuntu 12.04, met ZFS via de ZFS PPA. Een zpool aanmaken ging vrij soepel, ik moest alleen wel de optie "-f" (force) meegeven omdat ZFS van mening was dat de disks mogelijk een partitietabel hadden. Volgens de berichten op het web komt deze melding vaak voor op Linux systemen, ongeacht welke drives worden gebruikt (zelfs bij virtuele disks). Heb me er niet veel van aangetrokken dus.

De boel draait nu lekker, ben nu bezig m'n oude externe harddisks over te zetten. Daat gaat niet bijzonder hard, maar dat ligt aan de bron van de data.

|| Vierkant voor Wiskunde ||


  • Patatjemet
  • Registratie: Mei 2008
  • Laatst online: 11:44
Kun je de samba speed eens testen (en daarbij de processor belasting in de gaten houden)?

- raid does not fix stupid -


  • Rannasha
  • Registratie: Januari 2002
  • Laatst online: 21-12 20:21

Rannasha

Does not compute.

Patatjemet schreef op woensdag 05 september 2012 @ 09:10:
Kun je de samba speed eens testen (en daarbij de processor belasting in de gaten houden)?
Zal ik doen wanneer ik klaar ben met m'n USB-drives leeghalen.

|| Vierkant voor Wiskunde ||


  • huiser
  • Registratie: Mei 2003
  • Laatst online: 14-11 18:38
Rannasha schreef op woensdag 05 september 2012 @ 00:34:
Heb m'n nieuwe NAS/server bak aan het draaien gekregen na veel bloed, zweet en tranen (mini-ITX is erg leuk en schattig, maar ik bouw toch 10x liever een ATX fulltower vol).

De boel draait Ubuntu 12.04, met ZFS via de ZFS PPA. Een zpool aanmaken ging vrij soepel, ik moest alleen wel de optie "-f" (force) meegeven omdat ZFS van mening was dat de disks mogelijk een partitietabel hadden. Volgens de berichten op het web komt deze melding vaak voor op Linux systemen, ongeacht welke drives worden gebruikt (zelfs bij virtuele disks). Heb me er niet veel van aangetrokken dus.

De boel draait nu lekker, ben nu bezig m'n oude externe harddisks over te zetten. Daat gaat niet bijzonder hard, maar dat ligt aan de bron van de data.
Hoe heb je je disken gebruikt? Booten van USB en je 4 spinpoints in RAIDZ ?


Ow, laat maar, ik moet beter lezen 8)7

-Huiser


  • servies
  • Registratie: December 1999
  • Laatst online: 16:36

servies

Veni Vidi Servici

Patatjemet schreef op woensdag 05 september 2012 @ 09:10:
Kun je de samba speed eens testen (en daarbij de processor belasting in de gaten houden)?
Ik heb inmiddels ZFS zo'n 2 weken in gebruik op het volgende CentOS 6.3 systeem:
Specs (gedeeltelijke)
#ProductPrijsSubtotaal
1Addonics SATA II PCI Express controller€ 34,55€ 34,55
1Intel Pro/1000 PT Dual Port€ 135,50€ 135,50
1Seagate Barracuda 7200.10 ST3320620A, 320GB PATA-100, 16MB, 7200rpm€ 104,72€ 104,72
5Samsung Spinpoint F3 HD103SJ, 1TB€ 71,90€ 359,50
1Corsair TWIN2X2048-6400€ 30,95€ 30,95
1Corsair XMS2 TWIN2X4096-6400C5C€ 53,65€ 53,65
1Asus M2N-VM DVI€ 0,-€ 0,-
1AMD Athlon X2 4850e Boxed€ 0,-€ 0,-
1Icydock MB455SPF-B Zwart€ 156,40€ 156,40
1OCZ Vertex 3 60GB€ 61,70€ 61,70
Bekijk collectieTotaal€ 936,97

De OCZ SSD is voor het systeem, De oude Seagate wordt gebruikt voor /home. De 5 Samsungs vormen samen een ZFS raidZ pool.
Bij het kopieëren van alle films/muziek/fotos van m'n pc naar de server werd m'n Gbit netwerk volledig dichtgetrokken. De load op de server was +/- 2.5 tijdens die actie.
Stiekem ben ik al op zoek naar een nieuw moederbord/cpu/geheugen aangezien ik zowel PCI-E slots als SATA aansluitingen te weinig heb...
Tot nu toe hoor je mij niet klagen over de stabiliteit van ZFS.

  • sloth
  • Registratie: Januari 2010
  • Niet online
NOFI, maar jouw ervaringen op basis van een 4850e vallen helemaal niet te vergelijken met een AMD C-60..
2.5 load op een 4850e? Dan staat ie dus >100% te stampen... Beutje veul...

Even niets...


  • Rannasha
  • Registratie: Januari 2002
  • Laatst online: 21-12 20:21

Rannasha

Does not compute.

FireDrunk schreef op woensdag 05 september 2012 @ 14:50:
2.5 load op een 4850e? Dan staat ie dus >100% te stampen... Beutje veul...
Linux telt ook processen die in IOWAIT status staan mee voor de load-getalletjes. Dus als je een paar processen hebt die aan het I/O-en zijn en wachten op harddisk gegevens, dan gaat je load-getal fors omhoog. En zo te zien spawned ZFS best wat kleine procesjes om alles af te handelen.

Mijn C-60 systeem is nu 2 (vrij trage) USB2-disks aan het leegtrekken naar de zpool en heeft een load-average van meer dan 5, terwijl de CPU niet volledig belast wordt.

|| Vierkant voor Wiskunde ||

Daar heb je inderdaad een goed punt, maar dannog is het wachten op IO natuurlijk niet een goed teken denk ik dan. Of valt het wachten tot de netwerkkaartbuffers leeg zijn ook onder IOWAIT?

Even niets...


  • servies
  • Registratie: December 1999
  • Laatst online: 16:36

servies

Veni Vidi Servici

sloth schreef op woensdag 05 september 2012 @ 14:16:
NOFI, maar jouw ervaringen op basis van een 4850e vallen helemaal niet te vergelijken met een AMD C-60..
Ik gok dat de CPU in mijn geval niet eens zo heel veel zou uitmaken... ik heb geen deduplication of compressie aanstaan (nutteloos in mijn geval).
Ik gok dat de C-60 uiteindelijk overall niet eens zo heel veel langzamer zal zijn, maar wel een veel lager verbruik heeft...
FireDrunk schreef op woensdag 05 september 2012 @ 14:50:
2.5 load op een 4850e? Dan staat ie dus >100% te stampen... Beutje veul...
Klopt, maar om nou te zeggen dat het systeem traag reageerde... niet echt... (zie ook de verklaring van Rannasha). Verder zal het bij mij niet vaak voorkomen dat ik 3TB aan data in 1x over m'n netwerk gooi...

  • Rannasha
  • Registratie: Januari 2002
  • Laatst online: 21-12 20:21

Rannasha

Does not compute.

FireDrunk schreef op woensdag 05 september 2012 @ 15:32:
Daar heb je inderdaad een goed punt, maar dannog is het wachten op IO natuurlijk niet een goed teken denk ik dan. Of valt het wachten tot de netwerkkaartbuffers leeg zijn ook onder IOWAIT?
Weet het niet zeker, maar ik verwacht dat netwerk ook gewoon als IO telt en om die reden processen op IOWAIT komen als ze moeten wachten.

Overigens zul je vrijwel altijd een bottleneck hebben. Als je disk en netwerk snel genoeg zijn, dan zal je processor utilization op 100% zitten. Is je CPU snel genoeg, dan krijg je processen die op IOWAIT gaan zitten omdat of je disk of je netwerk niet snel genoeg is.

|| Vierkant voor Wiskunde ||


  • Dadona
  • Registratie: September 2007
  • Laatst online: 18-12 20:14
In de webinterface van ZFSguru staat CPU load overigens ook verkeerd. Daar staat de CPU usage gelijk aan de 1 minute van de load average, dat zoals gezegd een gecompliceerder geheel is dan alleen de processor.
Ik moet het document der documenten nog altijd eens doorlezen, maar het gaat in de versimpelde vorm als ik eht mij goed herinner om de gemiddelde som van het aantal processen dat in de wachtrij staat plus het aantal processen dat in uitvoer is. En tenzij er dus een externe limiet opzit (bijvoorbeeld het aanbieden van een stream) zul je altijd zien dat die waarde incidenteel omhoog aan het schieten is. Het is vooral interessant om load average over een veel langere periode in de gaten te houden. En bedenk hierbij dat een load average van 4.00 op een quadcore (zonder ht) prima kan zijn. :)

[ Voor 3% gewijzigd door Dadona op 05-09-2012 16:01 ]

De CSL/OT kroeg !

Klopt, 4.0 op een quadcore betekend dat er (gemiddeld gesproken) 1 process in de wachtrij staat om op een core gescheduled te worden. Dat kan dan natuurlijk ook steeds hetzelfde proces zijn (rescheduling).

Een load van 2.5 op een dualcore is wil dus zeggen dat er 2 processen al klaar staan om gerescheduled te worden, plus 1 extra op een van de 2 cores.

Als er gezegd word dat ZFS veel kleine processen spawned, vraag ik me dus af of die ook in willekeurige volgorde uitgevoerd kunnen worden, want dat is in feite wat die 2.5 zegt.
Als er afhankelijkheden zijn in volgorde, word de load volgens mij aan het process toeberekend en niet aan de totale system load.

(met andere woorden een process staat op zijn childs te wachten...Denk aan de IOWAIT van een process die door een child process word uitgevoerd)

Even niets...


Verwijderd

Topicstarter
Volgens mij klopt dat niet.

Load average van 0.00 betekent dat geen enkel proces wat mogelijk actief was, ooit heeft moeten wachten voordat het van de CPU gebruik kan maken. Een load average van 1.00 betekent dat gemiddeld er één wait state gewacht moet worden voor een proces verder kan. Zou je nou drie processen hebben op een quadcore dan zou je load average nog rond de 1.00 hangen, en niet 3.00. Immers: de processen blijven dezelfde gemiddelde wait states houden.

IOWAIT valt niet onder load averages voor zover ik weet.

Maar 1.00 betekent inderdaad niet 100% zoals ZFSguru zegt; want 1.00 load average kun je ook halen door binnen één seconde een milliseconde CPU-kracht te vragen en daarna niet meer. De gemiddelde wait state blijft dan 1.00.

Ik kan het fout hebben, maar zo heb ik het geleerd. Mocht het niet kloppen ben ik zeer benieuwd hoe het dan wel werkt.

  • Rannasha
  • Registratie: Januari 2002
  • Laatst online: 21-12 20:21

Rannasha

Does not compute.

Verwijderd schreef op woensdag 05 september 2012 @ 16:27:

IOWAIT valt niet onder load averages voor zover ik weet.
Wel in Linux blijkbaar.

Zie: Wikipedia: Load (computing):
However, Linux also includes processes in uninterruptible sleep states (usually waiting for disk activity), which can lead to markedly different results if many processes remain blocked in I/O due to a busy or stalled I/O system. This, for example, includes processes blocking due to an NFS server failure or to slow media (e.g., USB 1.x storage devices). Such circumstances can result in an elevated load average, which does not reflect an actual increase in CPU use (but still gives an idea on how long users have to wait).

[ Voor 48% gewijzigd door Rannasha op 05-09-2012 17:19 ]

|| Vierkant voor Wiskunde ||


  • Rannasha
  • Registratie: Januari 2002
  • Laatst online: 21-12 20:21

Rannasha

Does not compute.

Heb een korte test gedaan van de Samba-performance van mijn 4-disk raid-Z1 op Ubuntu. Ik kan met zo'n ~80 MB/s lezen en ~70 MB/s schrijven. Bij deze snelheden gebruikt Samba een van beide cores van de C-60 volledig. Hoewel er dus nog CPU-power over is (de andere core wordt licht belast door ZFS-processen), is de singlecore performance de bottleneck voor de Samba-performance.

Een korte leestest met dd laat zien dat dd erg CPU-hongerig is. Het single-threaded programma kon niet meer dan zo'n 35 MB/s inlezen (en naar /dev/null doorsturen) zonder tegen een CPU bottleneck aan te lopen. Met een schrijf-test met dd behaalde ik zo'n 150 MB/s. Hier lijkt de raid-array de bottleneck te zijn, want CPU-usage komt niet boven de 65% uit (beide cores bij elkaar) en geen enkel proces pakt 100% van een enkele core.

Ik heb wel nog een vraag. Als ik iostat draai om m'n IO stats te checken, dan valt het op dat 2 van de 4 disks veel meer IOPS uitvoeren. Bekijk ik de gedetailleerde stats, dan blijkt dat de 2 disks die weinig IOPS uitvoeren juist veel read/write requests merges hebben. Blijkbaar worden bij 2 disks veel IO operaties samengevoegd door de kernel, maar bij de andere 2 disks niet. Iemand enig idee waardoor dit komt?

[ Voor 21% gewijzigd door Rannasha op 06-09-2012 00:57 ]

|| Vierkant voor Wiskunde ||


  • analog_
  • Registratie: Januari 2004
  • Niet online
Rannasha schreef op donderdag 06 september 2012 @ 00:53:
Heb een korte test gedaan van de Samba-performance van mijn 4-disk raid-Z1 op Ubuntu. Ik kan met zo'n ~80 MB/s lezen en ~70 MB/s schrijven. Bij deze snelheden gebruikt Samba een van beide cores van de C-60 volledig. Hoewel er dus nog CPU-power over is (de andere core wordt licht belast door ZFS-processen), is de singlecore performance de bottleneck voor de Samba-performance.

Een korte leestest met dd laat zien dat dd erg CPU-hongerig is. Het single-threaded programma kon niet meer dan zo'n 35 MB/s inlezen (en naar /dev/null doorsturen) zonder tegen een CPU bottleneck aan te lopen. Met een schrijf-test met dd behaalde ik zo'n 150 MB/s. Hier lijkt de raid-array de bottleneck te zijn, want CPU-usage komt niet boven de 65% uit (beide cores bij elkaar) en geen enkel proces pakt 100% van een enkele core.
hé bah, wou net een systeem met dat asus c60 bordje bouwen, een lianli q07 en infiniband, had gehoopt dat het wel zou trekken. Heeft iemand cijfers van de fusion 350 of 450 borden?

  • victorb
  • Registratie: Februari 2000
  • Laatst online: 23-02-2024
analog_

Als je meer snelheid en mogelijkheden weil ga dan voor een AMD A6-3500 gpu op een asus FM1 moederbord. Check anders odnerstaande link daar heb ik info over mijn build staan.

NAS Server build http://www.youtube.com/watch?v=kBYMVUNrvDY 3DFX Voodoo2 Sli Build introductie http://www.youtube.com/watch?v=5PAIUJCJHGM


Verwijderd

Topicstarter
Ik vind de pricewatch: Intel Pentium G630T Boxed anders ook wel interessant als je een stap hoger wilt dan Brazos. Kun je een leuk S1155 plankje bij zoeken naar jouw keuze.

  • kdbruin
  • Registratie: Augustus 2003
  • Laatst online: 12-10 17:40
victorb schreef op donderdag 06 september 2012 @ 01:13:
analog_

Als je meer snelheid en mogelijkheden weil ga dan voor een AMD A6-3500 gpu op een asus FM1 moederbord. Check anders odnerstaande link daar heb ik info over mijn build staan.
Ehhh, linkje? Heb ook wel interesse.

  • victorb
  • Registratie: Februari 2000
  • Laatst online: 23-02-2024
Der staat toch echt in kleine letters http://www.youtube.com/watch?v=kBYMVUNrvDY 8)7 :D

NAS Server build http://www.youtube.com/watch?v=kBYMVUNrvDY 3DFX Voodoo2 Sli Build introductie http://www.youtube.com/watch?v=5PAIUJCJHGM


  • Patatjemet
  • Registratie: Mei 2008
  • Laatst online: 11:44
analog_ schreef op donderdag 06 september 2012 @ 00:56:
[...]

hé bah, wou net een systeem met dat asus c60 bordje bouwen, een lianli q07 en infiniband, had gehoopt dat het wel zou trekken. Heeft iemand cijfers van de fusion 350 of 450 borden?
Ik zat er aan te denken mijn p8h67-i met g620 te vervangen door een c60, maar kom daar toch op terug. Bedankt voor het testen in ieder geval :)

- raid does not fix stupid -


  • Rannasha
  • Registratie: Januari 2002
  • Laatst online: 21-12 20:21

Rannasha

Does not compute.

Goed, ik was duidelijk niet helemaal helder toen ik m'n C-60 bordje installeerde. Kom er net achter dat de SATA controllers op IDE mode stonden en niet op AHCI. *facepalm*

M'n vorige benchmarks zijn dus ook onzin. Ben nu alles aan het herconfigureren. Korte test met 100x100MB dd'en levert 250 MB/s write en 320 MB/s read op.

edit: Samba prestaties zijn, niet geheel onverwacht, vrijwel ongewijzigd: 80~85 MB/s, maar dan met een core van de C-60 vol belast. Wellicht dat er nog wat performance tweaks te vinden zijn om dat te verbeteren.

[ Voor 24% gewijzigd door Rannasha op 06-09-2012 10:01 ]

|| Vierkant voor Wiskunde ||


  • victorb
  • Registratie: Februari 2000
  • Laatst online: 23-02-2024
Dat zijn gewoon prima resultaten! :)

NAS Server build http://www.youtube.com/watch?v=kBYMVUNrvDY 3DFX Voodoo2 Sli Build introductie http://www.youtube.com/watch?v=5PAIUJCJHGM

Hoe gaat ZFS er eigenlijk mee om als je een disk moet vervangen in een RAIDZ-array en je gebruikt als vervanger een ander merk/type, maar wel minstens dezelfde grootte?

Wil gewoon een inschatting maken, ga een setje disks op de kop tikken maar wil wel graag weten voor welke potentiële kosten ik sta als er eentje naar de filistijnen gaat... (geen garantie)

[ Voor 36% gewijzigd door HyperBart op 07-09-2012 09:32 ]


  • kdbruin
  • Registratie: Augustus 2003
  • Laatst online: 12-10 17:40
Ah, even m'n andere bril gepakt en toen zag ik het ook staan ;) Thanks!

  • Dadona
  • Registratie: September 2007
  • Laatst online: 18-12 20:14
@HyperBart, In principe is het geen probleem, alleen op performancevlak kun je een nadeel verwachten. Het enige waar je bij mijn weten echt rekening mee moet houden is de ashift (voor 512B of 4KB) van de vdev. Daarnaast zit je natuurlijk ook met de verschillende karakteristieken van de schijven in één vdev, waardoor je het slechtste van beide werelden combineert. (Dit in tegenstelling tot het plaatsen in een nieuwe vdev in dezelfde pool. Dan combineer je het beste van de schijven.)

@FireDrunk, thanks, meteen zelf ook maar even aangepast. :)

[ Voor 8% gewijzigd door Dadona op 07-09-2012 09:46 ]

De CSL/OT kroeg !

Dadona schreef op vrijdag 07 september 2012 @ 09:43:
@HyperBart, In principe is het geen probleem, alleen op performancevlak kun je een nadeel verwachten. Het enige waar je bij mijn weten echt rekening mee moet houden is de ashift (voor 512B of 4KB) van de vdev. Daarnaast zit je natuurlijk ook met de verschillende karakteristieken van de schijven in één vdev, waardoor je het slechtste van beide werelden combineert. (Dit in tegenstelling tot het plaatsen in een nieuwe vdev in dezelfde pool. Dan combineer je het beste van de schijven.)
FTFY

Even niets...


  • analog_
  • Registratie: Januari 2004
  • Niet online
Rannasha schreef op donderdag 06 september 2012 @ 09:59:
Goed, ik was duidelijk niet helemaal helder toen ik m'n C-60 bordje installeerde. Kom er net achter dat de SATA controllers op IDE mode stonden en niet op AHCI. *facepalm*

M'n vorige benchmarks zijn dus ook onzin. Ben nu alles aan het herconfigureren. Korte test met 100x100MB dd'en levert 250 MB/s write en 320 MB/s read op.

edit: Samba prestaties zijn, niet geheel onverwacht, vrijwel ongewijzigd: 80~85 MB/s, maar dan met een core van de C-60 vol belast. Wellicht dat er nog wat performance tweaks te vinden zijn om dat te verbeteren.
OK, hier kunnen we wat mee, wat ik mij nu afvraag hoeveel meer performance valt uit te halen als je het genoeg cpu/ram geeft. Ik herinner me dat ik op een 5 disk raid-z1 ook vergelijkbare cijfers haalde maar met een dual quad opteron en 16GB. Hieruit vermoed ik dat de c60 niet de limiterende factor is? Iemand (on)eens?

Ik ben aan het overwegen gewoon maar een bordje te halen en zelf te gaan testen met aantal ssds aangezien ze toch niet zo duur zijn.

[ Voor 6% gewijzigd door analog_ op 07-09-2012 18:00 ]


  • Rannasha
  • Registratie: Januari 2002
  • Laatst online: 21-12 20:21

Rannasha

Does not compute.

analog_ schreef op vrijdag 07 september 2012 @ 17:48:
[...]

OK, hier kunnen we wat mee, wat ik mij nu afvraag hoeveel meer performance valt uit te halen als je het genoeg cpu/ram geeft. Ik herinner me dat ik op een 5 disk raid-z1 ook vergelijkbare cijfers haalde maar met een dual quad opteron en 16GB. Hieruit vermoed ik dat de c60 niet de limiterende factor is? Iemand (on)eens?

Ik ben aan het overwegen gewoon maar een bordje te halen en zelf te gaan testen met aantal ssds aangezien ze toch niet zo duur zijn.
Ik zie zelf wel dat Samba een CPU-core maximaal benut als ik een groot bestand kopieer. Hoewel de C-60 een dualcore is, is Samba een single-threaded applicatie, blijkbaar. Dus lijkt het dat de snelheid van de C-60 wel degelijk een beperking vormt. De overige core wordt voor ~20% gebruikt door aan ZFS gerelateerde processen.

|| Vierkant voor Wiskunde ||


Verwijderd

Topicstarter
Druk op Shift+S. Het is niet Samba die de CPU-kracht verbruikt maar de systeemprocessen die Samba in werking zet. Dat valt dan onder het kopje Samba. Samba kan dus op 100% staan terwijl het maar heel weinig CPU cycles zelf vraagt. In de praktijk zijn het vooral de ZFS processen die CPU load vragen.

@analog: heb je ook een setup op basis van pricewatch: Intel Pentium G630T Boxed overwogen?

[ Voor 22% gewijzigd door Verwijderd op 08-09-2012 12:36 ]


  • analog_
  • Registratie: Januari 2004
  • Niet online
Verwijderd schreef op zaterdag 08 september 2012 @ 12:35:
Druk op Shift+S. Het is niet Samba die de CPU-kracht verbruikt maar de systeemprocessen die Samba in werking zet. Dat valt dan onder het kopje Samba. Samba kan dus op 100% staan terwijl het maar heel weinig CPU cycles zelf vraagt. In de praktijk zijn het vooral de ZFS processen die CPU load vragen.

@analog: heb je ook een setup op basis van pricewatch: Intel Pentium G630T Boxed overwogen?
Ik las net Mux bbg zuinige nas dus ben het inderdaad aan het overwegen aangezien je er wat meer pci-e lanes ervoor terug krijgt. Samba performance is niet zo relevant omdat het toch over infiniband (nfs/rdma) zou gaan wat ergens anders in smb wordt omgezet (waar meer kracht aanwezig is).

  • kdbruin
  • Registratie: Augustus 2003
  • Laatst online: 12-10 17:40
Zo, het uiteindelijk het volgende systeem geworden:

#ProductPrijsSubtotaal
1Asus F1A75-M€ 65,95€ 65,95
6Western Digital Green WD30EZRX, 3TB€ 137,-€ 822,-
1Fractal Design Arc Midi Tower€ 77,60€ 77,60
1Seasonic G-Serie 360Watt€ 66,38€ 66,38
1Corsair Vengeance CMZ16GX3M2A1866C10€ 97,-€ 97,-
1AMD A6-3650 Boxed€ 72,45€ 72,45
Bekijk collectie
Importeer producten
Totaal€ 1.201,38


Uiteindelijk toch gekozen voor een AMD oplossing, mede omdat je dan 6 SATA-600 aansluitingen hebt. Ik heb nu wel dat ik geen losse OS schrijf kan plaatsen als ik het maximale qua performance uit de RAIDZ2 opstelling wil halen (6 disks in plaats van 5 vanwege de 4K sector alignment). Ik kan ook kiezen voor RAIDZ1 maar dan is de kans dat het bij het resilveren na een disk crash alsnog fout gaat behoorlijk grooot gezien de grootte van de disks (hoe groter de disks hoe hoger de kans dat het mis kan gaan). De belangrijke data moet straks via CrashPlan offsite bewaart worden.

Nu zag ik ergens in dit topic (of misschien het Zuinige server topic) voorbij komen om op 2 disks een kleine partitie te maken (bijv. 15GB) en deze als root te gebruiken in mirror mode. Dit om dan de overige 4 disks in spindown te kunnen zetten wanneer het systeem bezig is en geen gebruik maakt van de data pool. Het restant van de disk (dus 3TB - 15GB) is dan te gebruiken als data pool in combinatie met gelijke partities op de overige 4 disks. Iemand die hier ervaring mee heeft?

Of is het beter om toch wat performance verlies te pakken en een aparte systeem disk te nemen, bijv. een 128GB SSD?

En als laatste (voor nu althans). Het is voor mij duidelijk dat ik ZFS wil gaan gebruiken, maar wat is dan beter: een volledige installatie van FreeBSD9 of gebruik maken van bijv. ZFSguru of NAS4Free? Het gaat er mij vooral om dat ik het systeem ook gebruik voor downloads, media streaming, etc en ik graag handmatig zaken wil kunnen toevoegen en aanpassen.

Verwijderd

Topicstarter
Uiteindelijk toch gekozen voor een AMD oplossing, mede omdat je dan 6 SATA-600 aansluitingen hebt.
Leuk ja, maar daar heb je natuurlijk weinig aan als je er alleen maar hardeschijven aan koppelt. Dat zou wel een voordeel geweest zijn als je meer dan twee SSDs in je systeem wilde. Zoals je weet halen schijven de bottleneck van SATA/150 nauwelijks dus dat ze SATA/600 zijn had ik me minder druk over gemaakt want dat is vooral leuk voor marketing en voor expandertechnologie (die op SATA/300 snelheden draait als je SATA/300 interface gebruikt).
Nu zag ik ergens in dit topic (of misschien het Zuinige server topic) voorbij komen om op 2 disks een kleine partitie te maken (bijv. 15GB) en deze als root te gebruiken in mirror mode.
Dat was mijn tip ja, kun je hier ergens teruglezen. Je hebt dan disk1 en disk2 voor een kleine mirror systeempool van minimaal 2 gigabyte ofzo. Ik zelf zou 10GB gebruiken. De rest gebruik je voor een grote datapartitie die je voor 6x RAID-Z2 gaat gebruiken. Je extra disks (disk3 tot en met disk6) formatteer je dan gewoon hetzelfde als disk1 en disk2 maar dan gebruik je daar de 10GB partitie nog niet van. Wellicht in de toekomst dat je er nog wat mee kunt.

Op deze manier kun je van de mirror booten, heb je toch alle 6 disks voor RAID-Z2 opslag en kun je 4 van de 6 schijven in spindown zetten.
Het is voor mij duidelijk dat ik ZFS wil gaan gebruiken, maar wat is dan beter
Het beste is het systeem wat het meer bij jou aansluit. Dus probeer gewoon FreeNAS, NAS4Free en ZFSguru eens.

Ik kan al wel verklappen dat van ZFSguru zeer binnenkort (vandaag/morgen) een mooie nieuwe livecd uitkomt. :)

  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
Verwijderd schreef op zondag 09 september 2012 @ 12:52:
...
Ik kan al wel verklappen dat van ZFSguru zeer binnenkort (vandaag/morgen) een mooie nieuwe livecd uitkomt. :)
'like' :D

  • Ultraman
  • Registratie: Februari 2002
  • Laatst online: 15:20

Ultraman

Moderator Harde Waren

Boefje

Het is hier geen Facebook. ;)

Als je stil blijft staan, komt de hoek wel naar jou toe.


  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
Ultraman schreef op zondag 09 september 2012 @ 22:49:
[...]

Het is hier geen Facebook. ;)
I know, maar soms zou ik het toch wel leuk vinden dat je iemands post kan 'liken' >:).

  • wjn
  • Registratie: Juli 2012
  • Laatst online: 26-11 13:40

wjn

Verwijderd schreef op zondag 09 september 2012 @ 12:52:
Ik kan al wel verklappen dat van ZFSguru zeer binnenkort (vandaag/morgen) een mooie nieuwe livecd uitkomt. :)
Ik ben benieuwd, kan die gewoon over de bestaande installatie heen gezet worden of komt er ook in de update een mogelijkheid te upgraden naar de laatste versie?
Dadona schreef op vrijdag 07 september 2012 @ 09:43:
@HyperBart, In principe is het geen probleem, alleen op performancevlak kun je een nadeel verwachten. Het enige waar je bij mijn weten echt rekening mee moet houden is de ashift (voor 512B of 4KB) van de vdev. Daarnaast zit je natuurlijk ook met de verschillende karakteristieken van de schijven in één vdev, waardoor je het slechtste van beide werelden combineert. (Dit in tegenstelling tot het plaatsen in een nieuwe vdev in dezelfde pool. Dan combineer je het beste van de schijven.)

@FireDrunk, thanks, meteen zelf ook maar even aangepast. :)
Maar iedere disk verschilt toch onder andere bv. qua aantal sectoren met andere modellen van disks, dat geeft ook geen problemen in een RAIDZ array? Gaat hij dan dynamisch alles gelijktrekken met de disk die het kleinst aantal sectoren heeft of hoe?
Al mijn 2TB disks hebben exact evenveel sectoren. Dat is geen garantie, maar wel de praktijk...

Even niets...


  • Dadona
  • Registratie: September 2007
  • Laatst online: 18-12 20:14
So let me be clear now:
- i worked on beta7 and 'finished' my tasks
- i emailed Jason to show him my work and some other things
- jason is working on beta7 himself now
- two three days ago i received the latest branch from Jason, basically the test version for beta7
- beta7 final should be released this weekend, according to Jason.
Dit is een deel van de reactie van CiPHER van twee dagen geleden op het ZFSguru forum. Het duurt dus iets langer, maar Jason is achter de schermen dus wel bezig, maar laat zich verder niet zien.

De CSL/OT kroeg !


  • Ultimation
  • Registratie: Februari 2010
  • Laatst online: 19-09 13:56

Ultimation

Het is als Appels en peren

Ik vraag me af wat men van mijn bevinden vind. http://gathering.tweakers.net/forum/view_message/38834101

Heb ik met deze tests de gestelde vuistregel ontkracht of kloppen de resultaten niet? Ik wil de tests ook wel uitvoeren op een andere manier. Misschien door het draaien van ZFSGuru/FreeNAS, de bestaande configuratie inladen in combinatie met deze hardware en 2, 4, 8Gb toegewezen geheugen de zelfde tests draaien.
Of door de op een door jullie beschreven manier te testen.
Enige is wel dat ik liever niet de datasets/pool mee verwoest. Ik wil de data graag bewaren/behouden.

Ook zaten ik nog met het rare dat ik md devices had terwijl ze in een RAIDZ dataset zitten.
http://gathering.tweakers.net/forum/view_message/38835547

Misschien kan ik zo de hele situatie beschrijven:
Hardware
2x Samsung Spinpoint F1 + 1x Samsung Spinpoin F3 1TB in RAIDZ1 set.
2x Samsung Spinpoint F3 500Gb in RAIDZ1
Alle harddisks zijn aangesloten op een Highpoint RocketRAID 3520 controller waar de disks worden doorgegeven aan het OS. Op de controller zijn powersaving functies aangezet en binnen het OS.

OS
Ik draai nas4free, bij nas4free moet je bij "nieuwe" hardeschijven eerst formatteren naar ZFS. Daarna kan je de hardeschijven opnemen in een pool. Hier stel je ook in wat voor een pool het is, RAIDZ/RAIDZ1 etc. Vervolgens maak je op de pool een dataset aan.

MacBook Pro 2023 [14-inch, M2 Pro, 32GB RAM, 512GB]


  • sloth
  • Registratie: Januari 2010
  • Niet online
Na lang wikken en wegen, tevergeefs gebruikerservaringen en reviews zoeken volgende configuratie in gebruik genomen:

#ProductPrijsSubtotaal
1Asus C60M1-I€ 66,30€ 66,30
1Western Digital Green WD20EARX, 2TB€ 94,80€ 94,80
1Lian Li PC-Q08 Zwart€ 88,80€ 88,80
1be quiet! Pure Power L7 300W€ 33,45€ 33,45
1Kingston KVR1333D3N9/8G€ 34,50€ 34,50
Bekijk collectie
Importeer producten
Totaal€ 317,85


Op dit moment ben ik bezig de performance te testen en alles zo goed mogelijk te tunen alvorens belangrijke data over te plaatsen.
In afwachting van de nieuwe ZFSGuru image draai ik de voorlaatste FreeNAS BETA FreeNAS-8.3.0-BETA1-x64 (r12054). Op de WD20EARX heb ik een zpool gemaakt met dedup en compression uitgeschakeld. Hierbij is 4k alignment toegepast.
Om mogelijke performance problemen van de onboard RealTek 8111F te vermijden test ik met een Intel PRO/1000 PT PCI-E.

De AMD c-60 is niet de meest performante CPU, en CIFS is beperkt tot 1 thread en vereist ook wat getweak om snel te zijn. Daarom maak ik gebruik van FTP als transfer protocol.
I/O bottlenecks op het andere systeem probeer ik ook uit te sluiten door een 2 GB ramdisk aan te maken op de andere host.

Eerst dan maar eens de lokale sequential write en read performance getest:

write
code:
1
2
3
4
5
[root@freenas] /# dd if=/dev/zero of=/mnt/WDC2TB/media/20gtestfile bs=2048k count=10000
10000+0 records in
10000+0 records out
20971520000 bytes transferred in 253.209157 secs (82822913 bytes/sec)
=78.9MB/s


read
code:
1
2
3
4
5
[root@freenas] /# dd if=/mnt/WDC2TB/media/20gtestfile of=/dev/zero bs=2048k
10000+0 records in
10000+0 records out
20971520000 bytes transferred in 176.943346 secs (118521100 bytes/sec)
=113MB/s


Niets mis mee lijkt me :)

Vervolgens via FTP wat bestanden geupload en gedownload. Dit gaf volgende resultaten:

FreeNAS -> client (read performance)

code:
1
transferred 1 file(s) - Total: 1,9 G byte(s) in 19,98 (99.689,49 KBps)


client -> FreeNAS (write performance)
code:
1
transferred 1 file(s) - Total: 1,9 G byte(s) in 32,84 (60.659,20 KBps)


Van de downloadsnelheden ben ik wel tevreden. 1Gbps - overhead is +- 115 MB/s. De gehaalde 100MB/s is hier erg dicht bij.
Ik begrijp echter niet waarom de upload op "maar" 60 MB/s van de theoretische lokale write performance van bijna 79 MB/s blijft steken.

In een poging deze resultaten te verbeteren met deze ZFS Tuning Guide heb ik volgende tunables aangepast, helaas zonder resultaat:

code:
1
2
vfs.zfs.prefetch_disable="1"
vfs.zfs.txg.timeout="5"


Zijn er tweaks die ik wel nog kan proberen, of moet ik tevreden zijn met bovenstaande throughput? Heeft iemand van jullie ervaring met het tweaken van FreeNAS / ZFS die me een duwtje in de juiste richting kan geven?:)

Verwijderd

Topicstarter
Hij is bezig met releasen, sommige content is al beschikbaar. 8)

Weet niet wanneer hij op het forum gaat posten, maar lijkt me dat dat vrij snel zal zijn. Ik heb net de definitieve beta7 gekregen van hem, die gaat nu online. :)

Ik heb zelf die X services nog niet getest sinds dat ik er een maand geleden of wat mee bezig was. Dus ik ben heel benieuwd of Virtualbox full-screen enzo goed werkt. Lijkt me erg gaaf!

  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
Verwijderd schreef op dinsdag 11 september 2012 @ 00:44:
[...]

Hij is bezig met releasen, sommige content is al beschikbaar. 8)

Weet niet wanneer hij op het forum gaat posten, maar lijkt me dat dat vrij snel zal zijn. Ik heb net de definitieve beta7 gekregen van hem, die gaat nu online. :)

Ik heb zelf die X services nog niet getest sinds dat ik er een maand geleden of wat mee bezig was. Dus ik ben heel benieuwd of Virtualbox full-screen enzo goed werkt. Lijkt me erg gaaf!
Mooi! Met die X-services ga ik zeker aan de slag aangezien mijn ouders de nieuwe Ivy Bridge server/NAS ook als workstation zullen gebruiken (enkel office toepassingen). Van 2 apparaten naar 1 = forse energiebesparing :) !

EDIT: even snel de webinterface ge-update :).
Afbeeldingslocatie: http://www.picamatic.com/show/2012/09/11/03/33/8666089_bigthumb.png

[ Voor 13% gewijzigd door fluppie007 op 11-09-2012 01:54 ]

Ga je er een Windows VM op zetten voor je ouders?

Even niets...


  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
FireDrunk schreef op dinsdag 11 september 2012 @ 06:48:
Ga je er een Windows VM op zetten voor je ouders?
Inderdaad! Staat er al op en neemt nu hun IP camera's op. Als de fullscreen VB goed werkt kan er Office op en klaar. De enige eis is dat ze ook wat Youtube filmpjes kunnen afspelen en wat Flash/Silverlight animaties in webpagina's kunnen bekijken. Volgens mij komt dat wel goed!

  • 0xygen
  • Registratie: Januari 2012
  • Laatst online: 22-12 07:49
fluppie007 schreef op dinsdag 11 september 2012 @ 01:17:
[...]


Mooi! Met die X-services ga ik zeker aan de slag aangezien mijn ouders de nieuwe Ivy Bridge server/NAS ook als workstation zullen gebruiken (enkel office toepassingen). Van 2 apparaten naar 1 = forse energiebesparing :) !

EDIT: even snel de webinterface ge-update :).
[afbeelding]
Maareh, ligt het nu aan mij dat ik hem niet kan downloaden?:S

  • Dadona
  • Registratie: September 2007
  • Laatst online: 18-12 20:14
Verwijderd schreef op dinsdag 11 september 2012 @ 00:44:
[...]

Hij is bezig met releasen, sommige content is al beschikbaar. 8)

Weet niet wanneer hij op het forum gaat posten, maar lijkt me dat dat vrij snel zal zijn. Ik heb net de definitieve beta7 gekregen van hem, die gaat nu online. :)

Ik heb zelf die X services nog niet getest sinds dat ik er een maand geleden of wat mee bezig was. Dus ik ben heel benieuwd of Virtualbox full-screen enzo goed werkt. Lijkt me erg gaaf!
Post van vannacht: Jason is back.

De CSL/OT kroeg !


  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
0xygen schreef op dinsdag 11 september 2012 @ 09:28:
Maareh, ligt het nu aan mij dat ik hem niet kan downloaden?:S
Lijkt er inderdaad op dat de download ingetrokken is. Ik moet namelijk nog m'n sysimage en alle services updaten en kan hem ook niet meer vinden terwijl hij er vannacht wel stond. Misschien heeft hij een kritische bug gevonden en staat de release even on hold?

  • sloth
  • Registratie: Januari 2010
  • Niet online
In afwachting tot beta7 te downloaden is ben ik me aan het inlezen hoe je ZFSGuru op een usbstick plaatst.

Verwijderd in "Het grote ZFS topic" legt dit helder uit, maar ik vind het wel tamelijk omslachtig en het werkt niet als je minder dan 2 GB ram in je host hebt.

Kan iemand om dit op te lossen een image maken van de usbstick die je na CiPHER's howto bekomt, met bijvoorbeeld USB Image Tool?

  • Rannasha
  • Registratie: Januari 2002
  • Laatst online: 21-12 20:21

Rannasha

Does not compute.

Hoe hoog is de CPU usage tijdens de FTP transfers?

|| Vierkant voor Wiskunde ||


  • sloth
  • Registratie: Januari 2010
  • Niet online
Voor zover ik het goed interpreteer te laag om een bottleneck te vormen.
Top output:

Afbeeldingslocatie: http://i45.tinypic.com/adhqg6.png

Wel haal ik vandaag opeens lagere waarden dan gisteren?

FreeNAS -> client (read performance)

code:
1
2
transferred 1 file(s) - Total: 1,9 G byte(s) in 27,38 (72.777,88 KBps)
transferred 1 file(s) - Total: 1.024,0 M byte(s) in 15,55 (69.064,25 KBps)
Heb je al eens een netwerkmonitor erop los gelaten om te kijken of er nog meer netwerkverkeer op je NAS gebeurt?

Even niets...


  • sloth
  • Registratie: Januari 2010
  • Niet online
Waar denk je dan aan?

De client waarmee ik test is de enige op de LAN. Alle services staan uit, behalve ftp en ssh.
Ik kan me voorstellen dat er wat ntpd traffic is en mogelijk checkt FreeNAS om de zoveel tijd om updates, maar dat maakt niet uit voor de throughput, toch?
Zou niet moeten nee, maar je kan misschien ook iets als Congestion zien. Retransmits, cable errors, you name it.

Even niets...


  • fluppie007
  • Registratie: April 2005
  • Laatst online: 19-12 17:20
sloth schreef op dinsdag 11 september 2012 @ 11:00:
In afwachting tot beta7 te downloaden is ben ik me aan het inlezen hoe je ZFSGuru op een usbstick plaatst.

Verwijderd in "Het grote ZFS topic" legt dit helder uit, maar ik vind het wel tamelijk omslachtig en het werkt niet als je minder dan 2 GB ram in je host hebt.

Kan iemand om dit op te lossen een image maken van de usbstick die je na CiPHER's howto bekomt, met bijvoorbeeld USB Image Tool?
Is downloadbaar!

  • bhartman
  • Registratie: Oktober 1999
  • Niet online
[
Is downloadbaar!
thnx. Gaan we direct downloaden....

  • FDMK
  • Registratie: Augustus 2004
  • Laatst online: 21:21
Ook ik was/ben over naar beta7 maar nu boot mn bak niet meer, could nog resist :9

Afbeeldingslocatie: http://i46.tinypic.com/m9x81s.png

Wat is hier aan de hand? Deze fix werk niet meer

Any job you can do in your pajamas is not the hardest job in the world.


Verwijderd

Topicstarter
Welke systeemversie draai je? De nieuwe 9.1-003 of de oude? Lijkt op een interrupt probleem.

Je kunt trouwens terug gaan naar je oude installatie, die bestaat nog steeds. Daarvoor moet je met de livecd, importeer je je pool en voer je uit via SSH als root:
zpool set bootfs=tank/zfsguru/9.0-004 tank

vervang tank door je poolnaam en vervang 9.0-004 door de naam van je oude installatie. Als je nu reboot zonder van de livecd te booten zou je in je oude installatie moeten kunnen booten, want die is er gewoon nog. :)

  • FDMK
  • Registratie: Augustus 2004
  • Laatst online: 21:21
Verwijderd schreef op dinsdag 11 september 2012 @ 22:14:
Welke systeemversie draai je? De nieuwe 9.1-003 of de oude? Lijkt op een interrupt probleem.

Je kunt trouwens terug gaan naar je oude installatie, die bestaat nog steeds. Daarvoor moet je met de livecd, importeer je je pool en voer je uit via SSH als root:
zpool set bootfs=tank/zfsguru/9.0-004 tank

vervang tank door je poolnaam en vervang 9.0-004 door de naam van je oude installatie. Als je nu reboot zonder van de livecd te booten zou je in je oude installatie moeten kunnen booten, want die is er gewoon nog. :)
Ja maar euhm ik heb die vmdk's al.... :P Screenshot is van de nieuwste 9.1. De oude beta4-5 had ik al opgelost met de eerder aangehaalde fix.
Of is er een andere fix die voor Esxi gedaan moet worden?

Any job you can do in your pajamas is not the hardest job in the world.


Verwijderd

Topicstarter
De 9.1-003 systeemversie is gebaseerd op FreeBSD 9.1-RC1. Als die niet goed werkt met ESXi wil ik dat graag weten. Andere ESXi gebruikers problemen met de nieuwe systeemversie en/of livecd?
Pagina: 1 ... 42 ... 214 Laatste

Let op:
Voor het bouwen van een ZFS NAS en andere hardwarevragen kun je beter terecht in Het grote DIY RAID NAS topic deel 3, zodat we dit topic reserveren voor ZFS-specifieke vragen en discussies.