Het grote ZFS topic

[Verwijderd]

Maar de scrub heeft geen fouten gerepareerd. Had je dat al eerder gedaan via de LiveCD buiten ESXi om?

Hoe vol is je pool? Want het is aannemelijk dat je bad sectors op plaatsen zitten die niet actief door ZFS gebruikt worden.

[Waking_The_Dead]

Waking_The_Dead schreef op vrijdag 28 oktober 2011 @ 21:12:
Ik denk dat ik hiermee maar eens aan de slag ga:

#	Product	Prijs	Subtotaal
1	Asus E35M1-I	€ 94,95	€ 94,95
1	Huntkey Jumper 300G	€ 54,95	€ 54,95
1	Transcend 8GB DDR3 Dual/Triple Channel Kit	€ 35,06	€ 35,06
Bekijk collectie Importeer producten		Totaal	€ 184,96

Ik heb bovenstaand moederbord en geheugen besteld maar nu zie ik dat het geheugen plots een levertijd van 10+ dagen heeft gekregen (vorige week woensdag besteld - was toen nog 2-3 dagen levertijd). Nu heb ik de compatibiliteitslijst van dat moederbord er eens op nagekeken en dit geheugen wordt ook gewoon ondersteund: pricewatch: Kingston ValueRAM KVR1333D3N9/4G

Is het een probleem dat ik twee van die latjes zou gebruiken of is er een of andere duistere reden waardoor ZFS enkel goed werkt met kit-geheugen?

[FireDrunk]

Kit wil alleen maar zeggen dat ze uit (redelijkerwijs) dezelfde batch komen, en daarom goed samenwerken.
Maar 99% van de modules werkt gewoon samen als je 2 dezelfde los koopt.

[Verwijderd]

Ik zou ander geheugen kopen, bijvoorbeeld dit setje:
pricewatch: G.Skill Sniper F3-12800CL9D-8GBSR2

Erg goedkoop en is 1.25V low-power geheugen. Werkt prima op mijn MSI brazos bordje. Op zowel LLano als Brazos platform draait dit geheugen wel op 1.35V, maar nog altijd beter dan 1.5V. Daarnaast mooie heatsinks en erg goedkoop.

[Waking_The_Dead]

Verwijderd schreef op dinsdag 08 november 2011 @ 11:41:
Ik zou ander geheugen kopen, bijvoorbeeld dit setje:
pricewatch: G.Skill Sniper F3-12800CL9D-8GBSR2

Erg goedkoop en is 1.25V low-power geheugen. Werkt prima op mijn MSI brazos bordje. Op zowel LLano als Brazos platform draait dit geheugen wel op 1.35V, maar nog altijd beter dan 1.5V. Daarnaast mooie heatsinks en erg goedkoop.

Hmm... dat is wel zo'n 15 euro duurder. Dus zomaar inwisselen voor het reeds bestelde geheugen zal niet lukken vrees ik. Bovendien heeft het ook een 10+ levertijd
Ik heb een mailtje gestuurd met de vraag of ik mijn bestelling kan wijzigen; hopelijk krijg ik snel antwoord. Ik had gehoopt er vrijdag (dagje verlof hier in België) mee aan de slag te kunnen.

Wat moet ik mij eigenlijk voorstellen bij dat low-power geheugen? Verbruikt dat minder, wordt dat minder warm... hoe zit dat juist?

[Verwijderd]

Minder verbruik ja. Voor twee latjes kom je uit op 1.0W verschil tussen 1.5V->1.35V in mijn tests. Niet veel, maar als je van 11.8W naar 10.8W gaat is dat wel heel aardig. En dat is dan nog maar op 1.35V; 1.25V zou nog weer zuiniger moeten zijn, voor gebruik in de toekomst.

Maar mijn ervaring is dat je 1.5V geheugen soms ook op 1.35V kunt draaien, op dezelfde frequency en timings. Dat wordt ook als overclocking gezien; het buiten de specs laten draaien omdat je het voltage verlaagt beneden de officiële spec, maar als het niet werkt heb je met een CMOS reset zo weer de oude instellingen. Bij mij werkte het prima, en kon ik 1.5V geheugen ook op 1.35V draaien op een Llano bord. Dus dat kun je ook nog overwegen, en kun je dat goedkope geheugen voor 35 of 2x20 euro ook overwegen. Geen mooie heatsink, geen officieel 1.25V maar wel sneller leverbaar en goedkoper zoals je zelf zegt.

[Danfoss]

Verwijderd schreef op maandag 07 november 2011 @ 23:55:
Maar de scrub heeft geen fouten gerepareerd. Had je dat al eerder gedaan via de LiveCD buiten ESXi om?

Hoe vol is je pool? Want het is aannemelijk dat je bad sectors op plaatsen zitten die niet actief door ZFS gebruikt worden.

Ja. Ik had m idd voor de hele test al een keer buiten ESXi om gescrubbed. De pool is nog niet zo heel vol (1.9tb) omdat ik eerst het hoognodige uit de backups heb gehaald. Ik heb er wel wat nieuwe data bijstaan. Ik ga wat extra backups maken en dan de hele pool volschrijven. Daarna nog een surface scan over de disk doen en dan kijken wat de status is. Dat is een paar nachten de machine lekker laten werken gok ik.

[Lightah]

Ik probeer OpenIndiana 151a server te installeren. Deze zou volgens documentatie in het grub boot menu ook de 64-bit optie moeten tonen maar ik krijg alleen de x86 mogelijkheden te zien. Wanneer ik deze kies krijg ik een hoop errors dat 32bit niet voldoende is voor een aantal operaties.

Waarom wordt de x64 install optie niet getoond? Of gaat het wel gewoon goed wanneer ik x86 selecteer maar moet ik gewoon geduld hebben en de warnings e.d. negeren?

Het gaat om de i3 2100 met 8 GB ram op een Asus P8H67-I R3.0.

[ Voor 12% gewijzigd door Lightah op 10-11-2011 08:39 ]

[FireDrunk]

x86 != 32 bit, x86_64 is namelijk gewoon 64bit.

Bron: Wikipedia: x86-instructieset

De kernel van Solaris had toch een autopick functie? Die automatisch x64 bootte op het moment dat je CPU het kon?

In het geval van jou probleem, vraag ik me af of de kernel je CPU wel goed oppikt... Vreemd probleem in ieder geval.

[Lightah]

FireDrunk schreef op donderdag 10 november 2011 @ 09:09:
x86 != 32 bit, x86_64 is namelijk gewoon 64bit.

Bron: Wikipedia: x86-instructieset

De kernel van Solaris had toch een autopick functie? Die automatisch x64 bootte op het moment dat je CPU het kon?

In het geval van jou probleem, vraag ik me af of de kernel je CPU wel goed oppikt... Vreemd probleem in ieder geval.

Over die autopick had ik inderdaad gelezen, echter dat doet hij blijkbaar niet.

[mieJas]

Hoe zie je dat je geen 64-bit kernel boot?

"isainfo -kv" geprobeerd?

[ Voor 25% gewijzigd door mieJas op 10-11-2011 14:44 ]

[Lightah]

mieJas schreef op donderdag 10 november 2011 @ 14:40:
Hoe zie je dat je geen 64-bit kernel boot?

"isainfo -kv" geprobeerd?

De installatie start, ik kies de juiste keyboard layout, hostname en usernames en dergelijken. Vervolgens komt er 0% installing in beeld te staan. Dat beeld verdwijnt en dan staan er tig meldingen in beeld: disk x contains x blocks which is too large for 32-bit kernel.

Het volgende vond ik op internet:

Error Message

Dec 3 09:26:48 holoship scsi: WARNING: /sbus@a,0/SUNW,socal@d,10000/
sf@1,0/ssd@w50020f23000002a4,0 (ssd1):
Dec 3 09:26:48 holoship disk has 2576941056 blocks, which is too large
for a 32-bit kernel

Cause

You attempted to boot a system running a 32-bit SPARC or x86 kernel with a disk greater than 1 terabyte.
Solution

Boot a system running a 64-bit SPARC or x86 kernel with a disk greater than 1 terabyte.

Maar ik wil dus helemaal geen 32 bit booten....

Ik heb inderdaad schijven van 2 TB in het systeem zitten. Kan deze natuurlijk loskoppelen en kijken of het dan werkt maar dat is een onwijs gedoe omdat alles in een mini itx boxje zit gepropt.

Op de volgende pagina staat er ook wat over, zonder oplossing:
http://wiki.openindiana.org/oi/oi_148b

Op IRC logs vond ik wat uitleg:

[11:59:11] <tsoome> the problem is that kernel on cd is only 32bit for space reasons.
[12:01:06] <immesys> ThIs there any way of booting a 64 bit kernel?
[12:01:24] <tsoome> only after its installed.
[12:01:06] <immesys> ThIs there any way of booting a 64 bit kernel?
[12:01:24] <tsoome> only after its installed.
[12:01:33] <tsoome> and for that you need smaller disk?.
[12:02:29] <immesys> Hmm. I might be able to do that.
[12:02:58] <immesys> Are the namespace errors also related to the 32 bit kernel?
[12:03:07] <tsoome> probably
[12:03:52] <tsoome> oracle is dropping 32bit kernel from s11, but older builds still have it.
[12:04:12] <immesys> My problem at the moment is that I need a live CD that I can boot into to copy off the data on the zpool made up of 2TB disks. I can't seem to find one that works.
[12:04:34] <tsoome> there may be one;)
[12:05:08] <tsoome> http://www.oracle.com/tec...wnloads/index-454418.html
[12:05:38] <tsoome> but i really didnt check if EA livecd is running 32 or 64 bit ....
[12:05:54] <immesys> if that fails, can I install a 64 bit OI to a USB stick?
[12:06:36] <tsoome> if installer finds it, yes
[12:07:01] <tsoome> depending on stick size, you may wanna use text installer for that.
[12:07:24] <immesys> ok. I think I will try the USB route and then try the solaris 11 EA route. Thanks.

Alleen lost dat niet echt mijn probleem op, want de installatie hangt terwijl ik niet op een >1TB schijf probeer te installeren maar die zijn alleen aanwezig.

Het is uiteindelijke gelukt na 5x om te installeren. Nu zou die bij het booten van het geinstalleerde automatisch de 64-bit moeten pakken alleen dat doet hij nu ook niet want hij kan m'n 2 TB schijven niet laden.

mieJas schreef op donderdag 10 november 2011 @ 14:40:
Hoe zie je dat je geen 64-bit kernel boot?

"isainfo -kv" geprobeerd?

Dat returned 32-bit i386 kernel modules

Hoe verander ik de instelling dat ie wel 64-bit boot. Vind de documentatie over dit soort dingen maar matig en veel achterhaald.

edit:
Kheb keihard de boot parameter op amd64 gezet en dan boot hij probleemloos in 64-bit. Blijf het vaag vinden.

[ Voor 49% gewijzigd door Lightah op 10-11-2011 23:27 ]

[Verwijderd]

@Lightah: je vraag/probleem heeft eigenlijk totaal geen raakvlak met ZFS, dus wellicht beter een eigen topic te starten voor je probleem?

Nieuwe versie ZFSguru
Ik dacht dat ik onderstaande in dit topic had gepost, maar bleek het DIY RAID NAS topic te zijn, dus bij deze:

ZFSguru 0.1.9 screenshots

I'm pleased to announce that ZFSguru version 0.1.9 is released and available! This release should add many usability enhancements, making ZFSguru more user friendly and more polished.

You can upgrade to the new version on the System->Update page.

In addition, new LiveCD images will be available soon. It contains both the new 0.1.9 web-interface as well as an experimental system image based on FreeBSD 9.0-RC1. Enjoy!


Version 0.1.9 changelog

Introduces a Welcome Wizard to guide new users through the first steps.
Allows protecting ZFSguru from unauthorized access using IP lists and passwords.
Allows activating ZFSguru by sending an overview of hardware for statistical purposes.
Adds architecture of multiple master servers adding redundancy to remote server files.
Adds an "Offline Mode" option to prevent ZFSguru from trying to access any remote resource.
Improvements to visual feedback balloons at the top of each page after form submission.
Improved visual looks on Internet Explorer browsers (still not perfect!).
Redesigned the System->Tuning page to allow easy memory and ZFS tuning options.
Adds temperature and voltage sensors on the Status page.
Adds a boot delay option when installing ZFSguru needed on some systems.
Adds feedback on ashift optimization for Advanced Format disks on the Pools page.
Status page: added temperature and voltage data when available.
Status->Memory page: displays memory colour map and swap usage.
Status->Log page: now features tabs and scrolls to the bottom of the output by default.
Disks->SMART page: greatly improved feedback and analysis; now provides easy advice on problems encountered.
Disks->I/O monitor page improved with custom and pre-set filters.
Disks->Benchmark page: now hides random I/O benchmark images when non-existent.
Pools->Create and Pools->Expand page will warn in some cases if you select RAID0 redundancy option.
Pools->Benchmark page now displays more information and is easier to understand.
Files page now has a separate page when destroying filesystems with children datasets like snapshots.
Files page will now remove Samba shares when destroying shared filesystems.
Files page now hides ZFSguru system filesystems by default, but allows unhiding them when desired.
Improved the System->Preferences page with new options and better structure.
System->Preferences page now allows adding CIDR prefixes like 192.168.1.0/24 instead of only accepting single IP addresses.
System->Preferences page now links to a new Activation page to display and modify activation status.
System->Install step 2 now allows unmounting liveCD when desired and is more user friendly.
System->Install step 3 now allows overriding bootfs protection and is more user friendly.
System->Install step 4 redesigned in multiple ways, adding new protections, displayed data and new features like setting up portstree.
System->Install (submit) now installs on the background and provides better feedback during installation.
Validating input has been redesigned to give more accurate user feedback.
Now creates pools with access times off by default.
Now uses absolute paths to binaries to prevent problems with custom installations.
Various bug fixes and many other changes.

De nieuwe LiveCD op basis van FreeBSD 9.0-RC1 is ook beschikbaar.
Downloaden kan hier: http://zfsguru.com/download

Overigens zit in deze versie nog (bijna) geen toevoegingen van mij bij, pas bij de volgende versie 0.2 kun je wat van mijn werk zien.

[Verwijderd]

Volgende quotes komen uit het DIY RAID NAS topic, maar horen dus eigenlijk in dit topic thuis, dus bij deze:

Psycho_Bartje schreef op donderdag 10 november 2011 @ 22:36:
Meer iets voor het ZFS topic misschien, maar hoe eenvoudig is het om via de GUI van ZFSguru de HDD's te laten downspinnen die aan een LSI SAS hangen ?

Je kunt ook je schijven tijdelijk aan je onboard SATA controller hangen en dan APM inschakelen, dat zou wel moeten werken. Dat inschakelen kan handmatig met camcontrol cmd command, maar kan ook via de Disks>Advanced pagina. Voordeel van APM is dat je controller of OS niets speciaals hoeft te doen: de schijf spint zichzelf down nadat het een bepaalde tijd idle is.

Sleepie schreef op donderdag 10 november 2011 @ 22:57:
Goed om te zien dat de ontwikkeling van ZFSGuru doorgaat. Ik ben er nog steeds erg tevreden over en nieuwe features is altijd leuk
Morgen maar eens upgraden dan.

Overigens wacht ik vooral op versie 0.2, waarin als het goed is email-notification voor scrub jobs en SMART queries zou moeten zitten.

De roadmap is wel aangepast sleepie, en zaken als email notification zullen pas veel later komen, als ik Jason goed heb begrepen. Waar we voor 0.2 aan werken is disk formatting zodat je makkelijk een SSD in vier stukken kan opdelen voor L2ARC en SLOG enzo, of bijvoorbeeld twee hardeschijven in een mirror en een stripe kunt plaatsen, geheel via de web-interface. Daarna zou 0.3 en 0.4 en 0.5 enzo komen, dus vanaf 0.2 worden er grotere stappen met het versienummer gemaakt.

Je kunt Jason natuurlijk vragen hoe het zit met de features die jij belangrijk vindt; voor zover ik heb gezien wil hij best luisteren naar verzoeken/wensen van zijn gebruikers.

Pantagruel schreef op vrijdag 11 november 2011 @ 10:38:
[...]


Kwestie van in de webGUI van ZFSGuru de 'spindown' knop te klikken voor iedere drive, is ietwat omslachtig en wellicht handiger in de vorm van een scriptje in de rc.d/rc.local te regelen.

Dat werkt maar één keer, als de schijf weer nodig is gaat hij niet automatisch weer op spindown. Dus daarom is APM wel een redelijk alternatief als normale OS timed spindown niet werkt door de controller. Ik heb hetzelfde probleem.

[FireDrunk]

Is er al een lijst van controllers waar OS initiated spindown wel werkt?

[Verwijderd]

Alle ATA/AHCI controllers zouden moeten werken. Het is volgens mij een bug van de LSI chip die ATA naar SCSI/SAS omzet. Of de bug ook voor 6Gbps SAS chips geldt weet ik niet.

[FireDrunk]

offtopic:
Heb hem ook maar op de meuktracker gesmeten misschien helpt het

In welke taal is ZFSguru zelf geschreven? Python?

[ Voor 22% gewijzigd door FireDrunk op 11-11-2011 13:19 ]

[raymonvdm]

Kan iemand mij vertellen op welke manier ik ZIL en ARC kan gebruiken. Ik heb op dit moment 6 x 2TB op een 8 poorts LSI controller en kan dus nog 2 devices toevoegen. Om de schrijf snelheid te verhogen wil ik eerst aandacht besteden aan de ZIL en later aan de ARC of kunnen deze op een en dezelfde SSD tegenwoordig. Ik gebruik op dit moment nog FreeNAS.

Wat is nu geschikte hardware hiervoor ? Ik heb een keer gelezen over Intel 320 maar ZFSbuild.com heeft het over twee verschillende type SSD

Citaatjes L2ARC

http://blogs.oracle.com/brendan/entry/l2arc_screenshots

Flash disks as primary storage

You could use flash based SSD disks for primary storage (and I'm sure SSD vendors would love you to) - it's a matter of balancing price/performance and price/Gbyte. The L2ARC means you get the benefits of faster flash memory based I/O, plus inexpensive high density storage from disks - I'm currently using 1 Tbyte 7,200 RPM disks. The disks themselves provide the redundancy: you don't need to mirror the L2ARC SSDs (and hence buy more), as any failed L2ARC request is passed down to the primary storage.

Citaatjes ZIL


Huidige versie

code:

[root@freenas] ~# zpool upgrade
This system is currently running ZFS pool version 15.

All pools are formatted using this version.

[ Voor 63% gewijzigd door raymonvdm op 11-11-2011 16:12 ]

[Verwijderd]

Je kunt je SSD voor drie dingen gebruiken:
- primary storage, dus gewoon een ZFS pool erop direct op de SSDs alsof het normale schijven zijn. Leuk voor VM images en andere storage die veel random I/O doet.
- L2ARC, wat random read performance sterk verbetert voor een hele grote HDD pool. Dus een 40GB SSD kan een grote 2TB HDD pool versnellen. Intel SRT is in feite een minder geavanceerde versie van L2ARC.
- SLOG, wat synchronous write performance verbetert. Alle sync writes worden naar SSD geschreven en dus hoeven HDDs niet meer continu te seeken, wat hun performance sterk zou moeten verbeteren afhankelijk van de workload.

Je kan een SSD voor meerdere taken gebruiken, en dat is ook aan te raden. Stel je hebt twee SSDs, dan kun je op elke SSD drie partities maken. De eerste partitie op beide SSDs is dan bijvoorbeeld voor primary storage op een eigen pool. De tweede partitie is voor L2ARC voor je grote HDD pool en de derde partitie is SLOG. Doordat je er twee hebt kun je voor elke taak je SSD als RAID0/striping configureren. Dat doet ZFS zelf, door twee SSD partities op te geven.

Wel raad ik aan om flink wat ruimte omgebruikt te laten; door de vele random writes heb je VEEL meer spare space nodig dan normaal voor een desktopsysteem. Denk aan 50% spare space voor maximale performance. Minder dan 80% spare space ga je merken omdat je SSD trager wordt en ook invloed heeft op de levensduur. Hou hier dus rekening mee. Zorg dat je naar de spare space nooit schrijft. Doe je dat wel, moet je en TRIM of secure erase procedure uitvoeren. Of dat onder Solaris platform gaat is nog maar de vraag.

Oh je gebruikt FreeNAS, en FreeNAS gebruikt nog ouderwets pool versie 15. Dat betekent ook dat als je SLOG disk faalt, je hele pool aan gort is. Dus met SLOG zou ik wachten tot je pool versie >= 19 (in de praktijk: 28) draait. Intel 320 is de beste SSD voor SLOG, omdat deze supercapcitors heeft wat normaliter alleen voor enterprise SSDs weggelegd is.

[ Voor 9% gewijzigd door Verwijderd op 11-11-2011 17:01 ]

[Psycho_Bartje]

Verwijderd schreef op vrijdag 11 november 2011 @ 13:02:


Je kunt ook je schijven tijdelijk aan je onboard SATA controller hangen en dan APM inschakelen, dat zou wel moeten werken. Dat inschakelen kan handmatig met camcontrol cmd command, maar kan ook via de Disks>Advanced pagina. Voordeel van APM is dat je controller of OS niets speciaals hoeft te doen: de schijf spint zichzelf down nadat het een bepaalde tijd idle is.

[...]

Dat werkt maar één keer, als de schijf weer nodig is gaat hij niet automatisch weer op spindown. Dus daarom is APM wel een redelijk alternatief als normale OS timed spindown niet werkt door de controller. Ik heb hetzelfde probleem.

En blijft dat ook werken na een eventuele reboot ? dat schijnt een ander probleem te kunnen zijn

Het zou toch aardig wat Watts in het idle gebruik schelen als ik 10 disks kon laten downspinnen; als ik reken met een verschil tussen actief gebruik van 6 Watt per disk en 1 Watt in standby = 10*5 = 50 Watt voor de hele NAS (of is dat te optimistisch ?)

[Verwijderd]

Wat voor disks heb je precies? Want green schijven zitten op 4W; alleen oudere schijven of 7200rpm schijven zitten tussen de 6-8W. Spindown kan ook tot 0,5W verbruik betekenen; afhankelijk per schijf. Dus even uitgaande van 4W besparing per disk kun je inderdaad op 40W uitkomen.

APM zou inderdaad na een power cycle zijn instelling nog moeten behouden. Echter niet elke schijf doet dat, dus even uittesten! Rebooten is niet genoeg, het gaat om een power cycle. De schijf uit doen en weer aan, dan kijken of de APM instelling zijn waarde behoudt.

[Psycho_Bartje]

10 Samsung F4EG van 2TB (nog net op tijd aangeschaft !); in de specs vond ik genoemde waardes.
Lijkt dus inderdaad de moeite waard om te zien of ik spindown kan laten doen.

Wat ik begrijp kan ik alleen beter ZFSguru niet als Root-on-ZFS installeren, aangezien er dan altijd wel schijfactiviteit is, klopt dat ?

[FireDrunk]

Dat is wel een goede gedachte, maar dan is je OS dus vaak niet veilig tegen disk uitval, tenzij je 2 extra disks in het systeem zet in een ZFS mirror.

[Psycho_Bartje]

Het OS staat dan toch (net als bij FreeNAS) op een USB stick ?
En ja, die kan natuurlijk ook uitvallen, maar dan is het toch gewoon een kwestie van een nieuwe stick plaatsen, het OS opnieuw erop zetten de de pool importeren ?

Want om nou 2 extra disks te plaatsen in een mirror om daar een OS van beperkte omvang op te zetten, lijkt me wat inefficient met de ruimte van die 2 disks omspringen. Kleinste HDD is toch nog gauw >40 GB.

Al zou dit ook kunnen:
2x Kingston SSDNow S100 SS100S2/8G 8GB

Dus dan eerst het OS op deze gemirrorde SSD's zetten in een Roo-on-ZFS en dan een storage pool op de 10 Samsungs in een RAID-Z2 die ik dan kan laten downspinnen (klinkt wel fancy allemaal)

[FireDrunk]

Alleen FreeNAS kan op een USB stick draaien, ZFSguru niet.

[Verwijderd]

Als je spindown wilt doen kun je beter geen Root-on-ZFS op je main pool doen nee. USB stick kan, maar dan moet je wel wat rommelen met de /var directory waar Samba veel kleine bestandjes naar schrijft zo heb ik gemerkt.

Een betere oplossing is mogelijk als je SSDs hebt. Je kunt ze dan mooi opdelen zodat je 4GB mirror voor je OS hebt, 40GB+ voor L2ARC en 4GB voor SLOG. Dat soort dingen zijn allemaal prima mogelijk met SSDs, bij voorkeur meerdere.

Van die kleine SSDs zijn vaak niet goed voor random writes. En je bent dan ook SATA poorten kwijt. Als je voor een leuke config gaat, waarom dan niet één of twee Crucial M4 64GB of Intel 320 SSDs? Dat is veel gaver, en kun je voor meerdere doeleinden inzetten.

FireDrunk schreef op vrijdag 11 november 2011 @ 20:06:
Alleen FreeNAS kan op een USB stick draaien, ZFSguru niet.

Kan wel hoor, alleen de speciale 'embedded' installatie zoals ZFSguru in het begin had, werkt nu niet meer en moet nog verder ontwikkeld worden. Je ziet hem wel staan bij System->Install maar het script is nog niet uitontwikkeld zodat het nu nog niet functioneel is.

Wat je wel kan doen is gewoon de USB stick formatteren alsof het een HDD is en er een pool op maken en Root-on-ZFS op installeren. Dat werkt prima en ik heb hier een paar van die sticks liggen zodat ik een soort LiveCD maar dan op USB stick heb. Erg handig voor diverse doeleinden, zoals installeren op systemen zonder CD-ROM station of voor het TRIMen van SSDs die eerst op RAID stonden of om ruwe kopies te maken van hardeschijven; heel veel dingen zijn ze nuttig wel. Neem er altijd één mee als ik naar een klant toe ga en best vaak komen ze van pas. Zo zie je maar waar dingen nuttig voor kunnen zijn.

[ Voor 42% gewijzigd door Verwijderd op 11-11-2011 20:10 ]

[FireDrunk]

Kan wel, maar of je het wil is een tweede. Bij een USB stick het je net zo goed een SPOF. En een USB stick in RAID lijkt me dan ook weer niet verstandig

[ Voor 57% gewijzigd door FireDrunk op 11-11-2011 20:39 ]

[Verwijderd]

SPOF?

[Wouter.S]

Verwijderd schreef op vrijdag 11 november 2011 @ 20:52:
SPOF?

Single Point Of Failure veronderstel ik.

[FireDrunk]

Jup. die dus.

[Verwijderd]

Ah zo, altijd bereid om nieuwe afkortingen te leren.

Maarja zoals Psycho_Bartje zei, bij ZFSguru is het verlies van de systeemdisk eigenlijk niet zo'n punt. Je verliest wel wat instellingen, in elk geval Samba en nog wat dingen mogelijk. Natuurlijk handmatig geïnstalleerde software en tuning. Maar je bent met een re-install eigenlijk zo weer up-to-date. Bovendien kun je vrij eenvoudig een kopie maken van je USB stick en dat als een backup gebruiken. Je kunt de sticks dan zo omruilen als je primaire stick het voor gezien houdt.

[Psycho_Bartje]

Voordat ik overga tot een volgende investering in 2 SSD's, eerst maar eens zien of spindown van die schijven die aan m'n LSI SAS hangen uberhaupt wil lukken.

L2ARC en SLOG is misschien voor mijn NAS die alleen dienst doet als opslag voor mijn 2 HTPC's wat, ehh, too much ?

Of idd zoals CiPHER net opmerkt; kopietje van een USB stick is ook mogelijk, simpeler en goedkoper

[Verwijderd]

Als je alleen grote bestanden serveert is het onzin om L2ARC/SLOG te gebruiken inderdaad. Heb je veel mixed data zoals ook virtual machines, games of zelfs OSen op je pool staan, dan is L2ARC echt een grote aanrader.

Zo'n USB stick gebruiken kan prima, maar je moet wel even kijken naar de /var. Wellicht dat je voor een paar dirs een tmpfs in je startup script moet aanbrengen. Zal je binnenkort hier een tip over geven, ben nu bezig met mijn server dus kan nu even niet kijken.

[Psycho_Bartje]

Conrad heeft een SATA naar CompactFlash converter; in combinatie met een 4GB CompactFlash kaart maak je zo een soort van mini SSD.
Als ik er daar 2 van aan de SATA poorten van mijn moederbord hang, kan ik dan ZFSguru als Root-on-ZFS daarop in een mirror installeren ?

Edit:
Beetje onzinnig vraag en oplossing eigenlijk; komt natuurlijk op hetzelfde neer als 2x een Kingston SS100S2/8G

[ Voor 19% gewijzigd door Psycho_Bartje op 12-11-2011 14:12 . Reden: Nieuw inzicht ]

[d1ng]

FireDrunk schreef op vrijdag 11 november 2011 @ 20:24:
Kan wel, maar of je het wil is een tweede. Bij een USB stick het je net zo goed een SPOF. En een USB stick in RAID lijkt me dan ook weer niet verstandig

Waarom is dat eigenlijk onverstandig ? Heb 2 USB stickies gewoon op UFS in RAID1, en dan /usr en /var op ZFS. Gaat prima en zie eigenlijk niet echt nadelen. Mis ik iets ?

[CurlyMo]

CurlyMo schreef op maandag 17 oktober 2011 @ 15:44:
[...]


Solaris --> Windows 7
------------------------------------------------------------
Client connecting to 10.0.0.140, TCP port 5001
TCP window size: 8.00 KByte (default)
------------------------------------------------------------
\[208] local 10.0.0.142 port 50168 connected with 10.0.0.140 port 5001
\[216] local 10.0.0.142 port 50169 connected with 10.0.0.140 port 5001
\[200] local 10.0.0.142 port 50167 connected with 10.0.0.140 port 5001
\[176] local 10.0.0.142 port 50164 connected with 10.0.0.140 port 5001
\[168] local 10.0.0.142 port 50163 connected with 10.0.0.140 port 5001
\[156] local 10.0.0.142 port 50162 connected with 10.0.0.140 port 5001
\[192] local 10.0.0.142 port 50166 connected with 10.0.0.140 port 5001
\[184] local 10.0.0.142 port 50165 connected with 10.0.0.140 port 5001
[ ID] Interval Transfer Bandwidth
[ 208] 0.0-10.0 sec 136 MBytes 114 Mbits/sec
[ 192] 0.0-10.0 sec 132 MBytes 111 Mbits/sec
[ 184] 0.0-10.0 sec 135 MBytes 113 Mbits/sec
[ 156] 0.0-10.0 sec 136 MBytes 114 Mbits/sec
[ 176] 0.0-10.0 sec 136 MBytes 115 Mbits/sec
[ 200] 0.0-10.0 sec 138 MBytes 116 Mbits/sec
[ 168] 0.0-10.0 sec 138 MBytes 115 Mbits/sec
[ 216] 0.0-10.0 sec 141 MBytes 118 Mbits/sec
[SUM] 0.0-10.0 sec 1.07 GBytes 917 Mbits/sec

Opnieuw val ik jullie lastig met mijn doorvoersnelheid problemen. Hierboven mijn laatste pogingen om de oorzaak te vinden. Als tweaker laat het me gewoon niet los dat ik niet tot een oplossing kan komen. Ik hoop dus met jullie verder te kunnen komen in het zoeken naar het probleem.

Wat ik nu zeker weet is dat:
1. Het niet aan mijn netwerk ligt
2. Het niet aan mijn cpu/geheugen ligt. Identiek probleem binnen:
2.1 G620T & 8GB geheugen (huidige systeem)
2.2 Atom D510 & 2GB geheugen
3. Het niet aan mijn samba configuratie ligt want alle hier besproken opties heb ik wel geprobeerd
4. Het niet aan het samba protocol ligt, binnen NFS is de snelheid even slecht
5. Niet aan de ashift ligt. Ook beide geprobeerd.
6. De doorvoersnelheden via een dd test te laag zijn.
7. De doorvoersnelheden met mijn raidz pool net zo matig zijn als mijn single raid0 boot schijf (beide zfs)
8. De test zijn wanneer relevant uitgevoerd vanuit Ubuntu en Windows 7

Wat blijft er dan nog over?

Ps. De gebruikte harde schijven zijn overigens 3x de HD204UI en ik draai nog steeds Solaris 11 Express.

[Verwijderd]

Je haalt dus 917 megabit via je netwerk? Kun je ook eens een test doen met één worker thread ipv 8 tegelijk?
Wat voor network interfaces gebruik je aan beide zijden?

Als je netwerkperformance goed is, wat is dan je lokale performance? Gebruik je hiervoor je 8GB systeem of je Atom bak?

Kortom, je zult nog met iets meer info moeten komen.

Psycho_Bartje schreef op zaterdag 12 november 2011 @ 14:03:
Conrad heeft een SATA naar CompactFlash converter; in combinatie met een 4GB CompactFlash kaart maak je zo een soort van mini SSD.
Als ik er daar 2 van aan de SATA poorten van mijn moederbord hang, kan ik dan ZFSguru als Root-on-ZFS daarop in een mirror installeren ?

Alleen als het ook twee SATA uitgangen heeft. Dat is dus vrijwel nooit zo, meestal heeft het zelf een switch waardoor het intern aan mirroring of striping doet. Dat is niet wat je wilt en welk voordeel haal je eigenlijk boven het gebruik van USB sticks?

d1ng schreef op zaterdag 12 november 2011 @ 14:51:
Waarom is dat eigenlijk onverstandig ? Heb 2 USB stickies gewoon op UFS in RAID1, en dan /usr en /var op ZFS. Gaat prima en zie eigenlijk niet echt nadelen. Mis ik iets ?

Twee USB sticks kan prima. Alleen het maakt het nog geen SSD. Je zult ook USB sticks van verschillende grootte moeten gebruiken, anders kunnen ze beide tegelijk stuk gaan bij mirroring.

Als je een nieuwe USB stick koopt, probeer dan eentje te kopen die een redelijke 4K random write performance heeft. Of je nou 2MB/s of 20MB/s kunt schrijven maakt allemaal NIETS uit; dat is met grote bestanden. Het gaat hierbij of hij 0,1MB/s random write doet of 0,001MB/s; een factor 100 verschil. Sommige USB sticks doen secondenlang over een 4K random write. Met Google Images kun je zoeken op CrystalDiskMark benchmarks.

[ Voor 69% gewijzigd door Verwijderd op 13-11-2011 13:21 ]

[CurlyMo]

CurlyMo schreef op vrijdag 01 juli 2011 @ 10:09:

Windows 7	-->	Solaris 11
8KB (default)	252Mb/s	125KB (default)
16KB	559Mb/s	125KB
32KB	800Mb/s	125KB
64KB	1.08Gb/s	125KB
Windows 7	<--	Solaris 11
8KB (default)	1001Mb/s	48KB (default)
64KB	1009Mb/s	125KB

Hierboven de waardes bij 1 thread maar verschillende window sizes.

Network interfaces zijn:
NAS: Realtek RTL8111E
Desktop: Realtek RTL8111E
Atom: Intel 82574L

De Atom NAS is vervangen door een SB NAS. Atom gebruik ik dus niet meer, maar daar heb ik wel de verschillende tests en benchmarks mee uitgevoerd.

[Verwijderd]

En wat is precies je probleem? Welke performance haal je met Samba, wat is je lokale throughput performance op je NAS én desktop?

[CurlyMo]

Het probleem:
De doorvoer tussen mijn NAS en mijn desktop (en andere computers) blijft hangen tussen de 25 en 40 mb per seconden.

De doorvoer:
* Mijn desktop heeft een intel ssd dus die throughput is ruim voldoende.
* Nas: even opnieuw een dd test uitgevoerd. De oude resultaten waren

CurlyMo schreef op donderdag 02 juni 2011 @ 11:31:
DD Test
Write: +/- 110
Read: +/- 231

De nieuwe resultaten zijn:
time sh -c "dd if=/dev/zero of=/zpool/testfile.bin bs=8k count=8000000 && sync"
166 MB/s

time sh -c "dd of=/dev/zero if=/zpool/testfile.bin bs=8k count=8000000 && sync"
169 MB/s

[FireDrunk]

Gelukt!

meuk: ZFSguru 0.1.9

[vso]

zo kogel is door de kerk,

1x Intel® DX58SO2
1x i7 980 cpu
6x 4gb ram ( 6x 8 = te duur)
6x 1tb disk

Ik ga ZFS installeren op de 5x 1tb schijven op de intel controller. .. RAID Z2
afhankelijk of ik de meest recente FreeBSD direct op de ZFS volume kan installeren moet ik wellicht nog 2 disks op de marvel chips gebruiken voor freebsd boot (mirrored disks)

nu met de HD schaarste .. vraag ik me af of ik niet beter 1 TB op de plank kan laten liggen en indien de schaarste weer "over" is dat ik de disk erbij zet (naar 6disk raidz-2) als dat makkelijk kan?

voor ZFS gebruik ik 8 GB ram, de rest gaat naar de Xen install toe ZFS word opslag van de virtuele machines
en data.

Xen ga ik kijken of ik 2 verschillende GPU's kan gebruiken als "workstation" hiermee hoop ik direct 3 machines die ik heb te reduceren naar 1 de tijd dat de Xen Idle is heb ik andere leuke toepassingen


maar goed wie weet een goeie howto voor boot van zfs (als het al mogelijk is ?)

[FireDrunk]

GPU doorgeven met Xen is HIGHLY experimental, heb het hier geprobeerd en het resulteerde in een dikke vette kernelpanic...

[vso]

FireDrunk schreef op maandag 14 november 2011 @ 21:34:
GPU doorgeven met Xen is HIGHLY experimental, heb het hier geprobeerd en het resulteerde in een dikke vette kernelpanic...

als het werkt ben ik blij(er) .. maar maak me eerst zorgen om de BSD install .. de GPU is ff ver van mijn bed show ..

[CurlyMo]

Om weer even concreet met een vraag te komen.

Klopt het dat een raidz pool met 3 disks een snelheid van minimaal 250 a 300 MB/s zou moeten halen met de gebruikte harde schijven?

Zo ja, Zou de beperkte snelheid van mijn opstelling kunnen zorgen voor de lagere netwerk doorvoer. Volgens mij is hier op het forum wel eens langsgekomen dat netwerk performance een overhead van een x aantal keer nodig heeft om de beoogde snelheid te halen.

Of is het zo dat bij een opstelling met maar 3 schijven zulke snelheden normaal zijn?

[mieJas]

Je zal niet meer dan de gecombineerde snelheid van 2 schijven halen. De derde schijf (of de derde gelezen block) dient namelijk voor pariteitscontrole en geen data. 300 MB per seconde zal je dus weinig tegenkomen. Die Samsungs zouden 200 MB per seconde sequentieel lezen wel mogen halen, lijkt me.

Ik zou ook eens kijken naar andere disk bench tools om je effectieve schijfprestaties te meten. DD is niet altijd even consequent (je oude en nieuwe test tonen dat mooi aan). ZFS werkt ook niet constant met dezelfde block size, waardoor dat uiteindelijke cijfer compleet anders kan uitvallen. Probeer misschien IOzone?

Hoe gaat het kopieren van bestanden van je desktop naar je SB-bak?

[FireDrunk]

Een Samsung F4EG haalt ruim 130MB/s lezen, dus 260MB/s met 3 disks in RAIDZ is niet eens zo heel gek.
Wel moeten dan alle andere factoren ook meezitten (Genoeg CPU, genoeg Geheugen, geen andere IO op je disks)

[CurlyMo]

Aan het systeem zou het niet moeten liggen. Zoals eerder gemeld draai ik een SB G620T met 8GB geheugen, daar ligt het dus niet aan. De richting van de data maakt niet veel uit. In beide gevallen haal ik tussen de 25 en 40 MB/s. Wat zouden oorzaken kunnen zijn dat mijn schijven zo ondermaats presteren?

@mieJas: Welk parameters kan ik het best gebruiken voor IOzone (mits beschikbaar voor Solaris)?

[FireDrunk]

Heb je al eens met iperf getest?

[Verwijderd]

@CurlyMo: 300MB/s write met 3 schijven in RAID-Z haal je natuurlijk nooit. De Samsung F4EG kan tot 140MB/s doorvoer en met 3 schijven in RAID-Z kun je verwachten dat je iets van ~270MB/s sequential read en 220MB/s sequential write doet. En dan moet je wel een goede config hebben.

In jouw geval, ik kan niet direct zien waar je probleem ligt. Wat je zou kunnen proberen is eens een ZFSguru livecd booten en daarin wat tests uitvoeren. Dan kun je zonder problemen weer terug naar Solaris, maar weet je wel of het aan OS configuratie ligt of wellicht toch iets met je hardware. Ik ken Solaris ook niet goed genoeg om wat te kunnen zeggen over SMB/CIFS performance, aangezien je daarop niet Samba gebruikt neem ik aan maar de kernel CIFS driver.

[CurlyMo]

Voor mijn installatie gebruik ik een aparte samba installatie aangezien ik hiermee meer mogelijkheden heb voor eigen configuratie wensen.

Booten van ZFSguru gaat niet aangezien mijn pool een te nieuwe versie draait. Ik zal voor deze benchmarks moeten wachten op nieuwere versies van ZFSguru waarin mijn zpool versie wel wordt ondersteunt.

@CiPHER: volgens mij heb je eerder aangegeven dat, wil je een gigabit lijn voltrekken, je een overhead nodig hebt in de lees en schrijf snelheden van je schijven. Zou dit kunnen betekenen dat ik in mijn huidige 3 disk raidz config gewoon te weinig schijven heb om deze overhead te halen.

@FireDunk: iperf heb ik al een gedraaid, zie eerdere posts.

[Verwijderd]

Bedoel je dat je pool op een versie hoger dan 28 draait? Dat betekent dat je een ZFS pool hebt die alleen maar onder proprietaire versies van Solaris draait. Deze code is namelijk niet onder CDDL vrijgegeven en dus geen open source. ZFSguru en FreeBSD hebben de laatste/nieuwste ZFS versie (28) die open source is. Nieuwer gaat dus niet gebeuren. Het gaat waarschijnlijk de richting op zoals in de secret ZFS working group besloten is, dat ZFS proprietare extensies krijgt zodat read-only access mogelijk wordt indien non-opensource features gebruikt worden.

In jouw geval betekent het dat je vastzit aan een commerciele versie en nooit meer naar open source ZFS terug kan gaan. Tenzij Oracle de ZFS code alsnog onder CDDL uitbrengt, maar daar zou ik niet op hopen. ZFS versie 28 is dus de laatste vrije / open source ZFS versie.

@CiPHER: volgens mij heb je eerder aangegeven dat, wil je een gigabit lijn voltrekken, je een overhead nodig hebt in de lees en schrijf snelheden van je schijven. Zou dit kunnen betekenen dat ik in mijn huidige 3 disk raidz config gewoon te weinig schijven heb om deze overhead te halen.

ZFS is een transactioneel systeem wat betekent dat je kleine tussenposen hebt waarbij je applicaties even geen I/O doen. Net als write barriers onder Ext4 enzo. Gevolg is wel dat als je ZFS pool 100MB/s kan, je dat via netwerk niet haalt. Feitelijk moet je dan 120MB/s doen met 5% van de tijd 0MB/s. Kan je maar 100MB/s dan haal je dus iets van 75-85MB/s afhankelijk van de tijd dat je op 0MB/s zit.

Lang verhaal kort: je wilt extra snelheid hebben, zodat je je gigabit optimaal kunt benutten. Maar als jij 160MB/s doet en via Samba 20-40MB/s dan is er wat anders mis, dus gaat bovenstaand verhaal niet op.

[ Voor 35% gewijzigd door Verwijderd op 15-11-2011 14:24 ]

[CurlyMo]

Dan wordt het benchmarken in andere software dus niet lukken, en zal ik dus wanneer ik een nieuwe pool bouw rekening moeten houden met de op dat moment hoogste open source ZFS versie.

Kan ik dan ook concluderen dat het probleem dat ik ervaar niet op te lossen is met de informatie die ik wel/niet kan verschaffen?

[mieJas]

CurlyMo schreef op dinsdag 15 november 2011 @ 13:26:
Welk parameters kan ik het best gebruiken voor IOzone (mits beschikbaar voor Solaris)?

De handleiding is een goeie start hiervoor. Een voorbeeld:

The simplest way to get started is to try the automatic mode.
iozone -a

Verder kan je het geheugengebruik limiteren of de resultaten exporteren naar een CSV-bestand of...

Handleiding vind je hier: http://www.iozone.org/docs/IOzone_msword_98.pdf

Er zijn geen binaries voor Solaris, maar zelf compileren zou geen problemen mogen opleveren (staat ook in handleiding). Misschien heb je op OpenCSW wel success om een binary te vinden.

Heb je trouwens als eens geprobeerd om met de kernel module een CIFS share te maken?

zfs set sharesmb=on tank

Misschien werkt de versie van Samba die je hebt niet 100% op je huidige setup?

[FireDrunk]

Samba op Solaris? Dat klinkt vies

[mieJas]

FireDrunk schreef op dinsdag 15 november 2011 @ 15:29:
Samba op Solaris? Dat klinkt vies

En zijn we er met versie 11 eindelijk van af, installeren sommige mensen het alsnog

[CurlyMo]

mieJas schreef op dinsdag 15 november 2011 @ 16:27:
[...]

En zijn we er met versie 11 eindelijk van af, installeren sommige mensen het alsnog

Dat komt voornamelijk omdat ik nog geen duidelijke tutorials had gevonden waarin duidelijk wordt uitgelegd hoe ik samba aanvullend kan configureren via zfs zelf.

Edit:
Nogmaals het interne samba protocol van zfs geprobeerd maar dat scheelt qua snelheid niks.

IOZone -a

code:

                                                            random  random    bkwd   record   stride
              KB  reclen   write rewrite    read    reread    read   write    read  rewrite     read   fwrite frewrite   fread  freread
              64       4  192775  349627  1065453  1164490  771871  319833  913733   438026   928745   447763   466884  761754   941544
              64       8  344180  719961  1423256  1121540 1164744  582179 1105563   604394  1208201   556618   645896  998544  1526297
              64      16  447608  800261  2904533  3191614 2204640  955301 1458477   939851  1831353  1425489   998769 1641233  2057954
              64      32  753122 1309144  4293656  5291248 3355605 1333578 1882776  1360525  2452831  1105287  1361883 1945645  2672829
              64      64 1282262 1596289  5795012  5790434 2677450 1774195 2364133  1779409  3040650   781010  1522316 1527820  3034356
             128       4  194857  561125  1360480  1622540 1049850  505987  941559   498193  1040172   571296   556664  913964   984784
             128       8  313806  707273  1709234  2169860 1094335   15342 1268107   680623  1254116   684226   711319 1254522  1561726
             128      16  377664 1122960  3046826  3197239 1999035 1075087 1880532  1163349  2101745  1067160  1093763 1601609  2206312
             128      32  901760 1439023  4431744  4922046 3554700 1599084 2615617  1706261  3049108  1378074  1599547 2838943  3880509
             128      64 1727634 1937519  7965970  9083189 6728748 2672888 4587069  2843208  5569204  2556224  2561220 3460858  4567803
             128     128 2102147 2331444  7130838  7545679 5806459 2460571 2848224  2027975  4272070   780347  1048858 2134853  2508862
             256       4  246877  555414  1532322  1651533 1153321  489552 1053125   492273   892199   514069   531150  955023   992425
             256       8  430195  740086  1827112  1742827 1524608  661535 1305623   656232  1413558   577994   689922 1560178  1650856
             256      16  717285 1190233  3085114  3240170 2440327 1098250 2152391  1023781  2369659  1137638  1108265 2151321  2327446
             256      32 1108214 1684293  4570956  4923512 3766669 1651042 2696130  1650949  3043773  1580481  1663543 2725259  3013483
             256      64 1571418 2247630  6079351  6569836 5325851 2227675 3509486  2461296  6258033  2751988  1895274 2879591  3464294
             256     128 2563035 2640698  6915970  7735465 6094886 2640501 3414987  2639902  4407875  1361231  1306317 2031396  2245461
             256     256 2169288 2667105  3657698  3706214 3506022 2666423 2876100  3706664  2669190   812823  1561832 1840690  1924980
             512       4   51200  412885  1145446  1204937  851827  364927  802516   364654   775703    52941   392654  893358  1011713
             512       8  513081  767512  1735936  2142059 1542020  673666 1177159   678969  1426256   724164   705328 1575938  1684578
             512      16  828348 1254581  2437665  3218472 2474149 1147748 2254759  1202028  2316811  1168884  1137529 2179184  2317980
             512      32 1590345 2474027  5630587  6742098 5278582 2286071 4263862  2509757  5168025  2284903  2317197 3846214  4342642
             512      64 1624926 2402541  5957845  6481850 4923849 2347646 4527748  2611844  4783027  2022977  2811965 4455026  4973078
             512     128 3030821 2944022  6729409  7422261 6394637 2890901 4342934  3102428  6329134  1646922  1636275 2640459  2860516
             512     256 2996148 2890840  4002608  3999507 3935337 2892437 3461145  3141365  3767008  1604487  1528258 1777083  1960908
             512     512 2975637 3086543  5024856  5067807 4970992 3846651 4377219  3938106  4745656  1112848  2246400 2611516  2640704
            1024       4   89864  420875  1110698  1141536  838626  365307  800050   359284   795598   402824   402531  908694  1015882
            1024       8  582508   91103  2540958  2942615 2129267  110332 1410396   668423  1337021   724149   695200 1549022  1698215
            1024      16  935154 1317748  2805074  3251552 2521471 1159755 2155666  1207411  2178520  1175767  1116600 2076963  2398265
            1024      32 1678669 1992526  3437290  4786314 3969841 1738361 2852996  1862125  3291348  1750405  1670230 2667176  3092555
            1024      64 2256021 2592302  5503119  6439429 5474431 2376399 4411691  2270243  5690961  2241256  2192763 3249793  3671230
            1024     128 3314025 3435611  6281877  7476428 6559328 2926498 6356632  4078097  6917902  1700959  2211831 2695288  2933383
            1024     256 3313866 4340129  5391698  5567281 5388349 4097806 4901523  4284312  4127836  1789885  1759746 2036222  2760350
            1024     512 3261362 3113207  4094268  4180523 4063427 3039314 3710437  3357843  4017474  1765440  1721284 1996560  2039573
            1024    1024 3130428 3219024   121369   120641 4971965 4063843 4452550  4195474  3542486   111838  2003545 1976417  2020105
            2048       4   98655  583804  1111861  1189292  839347   95340  798163   365586   784658   401338   389436  198217   208385
            2048       8  627056  191292  1856661  2120118 1549306  684470 1452497   698233  1386553   716854   700390 1537422  1681573
            2048      16  989802 1363450  2824872  3179720 2372834 1171673 2265503  1222035  2228722  1185136  1131459 2162652   226372
            2048      32 1335869 2085363  3946907  4582199 3841912 1780920 3266188  1937737  3281504  1791721  2270448 2760046  3089035
            2048      64 2265626 3657000  5030614  5186323 5043674 2340489 4491725  2844277  6321514  3070436  2172036 3224752  3518912
            2048     128 3524471 3384610  5643040  5198856 6057744 2863943 4644763  3308283  7338238  1729806  1728211 2656370  2884398
            2048     256 3495297 3549589  4024291  4223446 4105018 3220471 3879434  3663348  4376496   220594  2381349 2096145  2338061
            2048     512 4572515 3345834  4187370  4285520 4196619 3234959 3953290  3643398  4356709  1845013  1860031 2107170  2107093
            2048    1024 4385513 3373853  5318569  5519501 5360070 4312335 4947371  4328922  5007768  2461578  1933986 2054082  2087888
            2048    2048 3292854  233711  3765365  3792212 3786109 4321298 3555358   237337  3592311  1168299   221743  224218   225279
            4096       4  209761  430706  1121237  1153444  139738  100560  817417   415925   138042   221406   389943  954563  1041986
            4096       8  132668  805200   386447  1998965 1500981  739231  370711   701378  1407570   716967   185013 1526664  1606278
            4096      16 1014356 1377245  2794077  2908914 2340586 1162007 2265556  1222708  2169438   205519  1519293 2117771  2233318
            4096      32 1379577  405060  4871005  5298413 4676366  228597 4096273  2646193  4128584  2350016  1693946 3726975  3842105
            4096      64  386813 2966191  4881389   455470 4541454  418509 4343655  2866386  4432952  2199790  2184470  433809  3253646
            4096     128 3586414 4780024  6748748  7037388 6883682 4329987 6379508  4971066  4958831  1723824  1719518 2696350   422354
            4096     256 4639209 4735258   432022   457909 5177933 4491073 3842240  3537267  4546241  1837507  1833392 2088681  2080355
            4096     512 3558742 4665530  4141112  4289331 4231167 3410781 4003792   444969  6032676  2464582  1889396  406953  2743562
            4096    1024 3555378  447604  5475340  5468447 5411436 4526465 4035284  3733579  4375774  1898838  1910361 2136556  2082368
            4096    2048 3430825  452695  4015738  4047558 5132116 4602772  445896  4756888  4047682  1909505  1908601 2090769  2121272
            4096    4096 4092046  434220   456281  5113145 5051216 4096023  451105   449027  3904979   902405  1952240 2181161  2206825
            8192       4  280335  266407  1137130   608071 1109290  337133  200225   503785   308840   221687   139341  202566   267319
            8192       8  399199 1086338  1909092  2001013  592375  292917  398908   138373   655413   962410   946732  405706   407319
            8192      16  269730  597909  2757334  2835606  740214 1648305  626010  1662017  2239494   533053   532014 2875426  2958464
            8192      32 1487276 2872318  3820987  3974616 3375388 1885801  396264  1966870  3351741  1726473  1705935  738091  2895656
            8192      64 1737845 2959629  4743791  4885051 4401657 2713511 4218115  2827653  4246652  2240017   690142 3254673  4192421
            8192     128 3629691 3648891  5132861  5339883 5079051 3463730  827315  3812193  5022702   632489   387840 2687720  2698267
            8192     256 3637563  812385  3821044  4017610 3996047 3511442  804392   838665  3919674  1820000  2391756 2097330   724568
            8192     512  784222  787840   805662   811568  843406  826811 4063462  3723507  4683793  1894574  1904625 2129455   406812
            8192    1024  828320 3600883  4218387  4282333 4203308  780266 4122695  3796166   821752   414300   408763 2178715  2171152
            8192    2048 3497687 3605618  4055550  5312786 5244821 4716097 4047239  3639208  5494691   406250  1929779 2144479   724828
            8192    4096 4222745 4293530  4114531  4007639 5241428 4240250 4067736  4390103  4175193   656568  2463020  409026   410398
            8192    8192 3160470 3259781  5319463   845321 5319846 4027649 5278038  4141326  4173345   525192  1972129 2230335  2238875

IOzone -t 2

code:

        Children see throughput for  2 initial writers  =  635968.72 KB/sec
        Parent sees throughput for  2 initial writers   =   13804.81 KB/sec
        Min throughput per process                      =  311928.91 KB/sec
        Max throughput per process                      =  324039.81 KB/sec
        Avg throughput per process                      =  317984.36 KB/sec
        Min xfer                                        =     496.00 KB

        Children see throughput for  2 rewriters        =  492281.19 KB/sec
        Parent sees throughput for  2 rewriters         =   10322.56 KB/sec
        Min throughput per process                      =       0.00 KB/sec
        Max throughput per process                      =  492281.19 KB/sec
        Avg throughput per process                      =  246140.59 KB/sec
        Min xfer                                        =       0.00 KB

        Children see throughput for  2 readers          = 1926058.31 KB/sec
        Parent sees throughput for  2 readers           =   94095.60 KB/sec
        Min throughput per process                      =  952574.81 KB/sec
        Max throughput per process                      =  973483.50 KB/sec
        Avg throughput per process                      =  963029.16 KB/sec
        Min xfer                                        =     500.00 KB

        Children see throughput for 2 re-readers        = 1163698.00 KB/sec
        Parent sees throughput for 2 re-readers         =   48493.98 KB/sec
        Min throughput per process                      =       0.00 KB/sec
        Max throughput per process                      = 1163698.00 KB/sec
        Avg throughput per process                      =  581849.00 KB/sec
        Min xfer                                        =       0.00 KB

        Children see throughput for 2 reverse readers   =  835271.88 KB/sec
        Parent sees throughput for 2 reverse readers    =   48462.35 KB/sec
        Min throughput per process                      =       0.00 KB/sec
        Max throughput per process                      =  835271.88 KB/sec
        Avg throughput per process                      =  417635.94 KB/sec
        Min xfer                                        =       0.00 KB

        Children see throughput for 2 stride readers    = 1502496.31 KB/sec
        Parent sees throughput for 2 stride readers     =  102410.81 KB/sec
        Min throughput per process                      =  749671.31 KB/sec
        Max throughput per process                      =  752825.00 KB/sec
        Avg throughput per process                      =  751248.16 KB/sec
        Min xfer                                        =     512.00 KB

        Children see throughput for 2 random readers    =  820612.50 KB/sec
        Parent sees throughput for 2 random readers     =   48111.54 KB/sec
        Min throughput per process                      =       0.00 KB/sec
        Max throughput per process                      =  820612.50 KB/sec
        Avg throughput per process                      =  410306.25 KB/sec
        Min xfer                                        =       0.00 KB

        Children see throughput for 2 mixed workload    = 1116094.59 KB/sec
        Parent sees throughput for 2 mixed workload     =    9078.51 KB/sec
        Min throughput per process                      =  337888.66 KB/sec
        Max throughput per process                      =  778205.94 KB/sec
        Avg throughput per process                      =  558047.30 KB/sec
        Min xfer                                        =     220.00 KB

        Children see throughput for 2 random writers    =  424610.14 KB/sec
        Parent sees throughput for 2 random writers     =    8556.80 KB/sec
        Min throughput per process                      =    6666.64 KB/sec
        Max throughput per process                      =  417943.50 KB/sec
        Avg throughput per process                      =  212305.07 KB/sec
        Min xfer                                        =      56.00 KB

[ Voor 131% gewijzigd door CurlyMo op 15-11-2011 17:37 ]

[mieJas]

Ziet er zeer goed uit! Kan bijna niet beter.

Sta er eingelijk nu pas bij stil dat je Solaris 11 Express draait. De eerste en tweede update ronde losten een aantal performance problemen op. Updates voor Solaris vereisen tegenwoordig een aantal certificaten die je niet kan krijgen zonder support contract. Weet niet of je daar aan kan geraken, maar anders zou ik toch overwegen om een andere Unix-flavor te zoeken

[CurlyMo]

Andere Unix flavor gaat dus niet omdat ik zfs versie 31 draai. Hoe zijn die updates van Solaris verspreidt? Als één groot bestand dat ik moet installeren?

mieJas schreef op dinsdag 15 november 2011 @ 18:00:
Ziet er zeer goed uit! Kan bijna niet beter.

Tegelijk snap je wel hoe frustrerend je boodschap hier wel niet is. Zo goed als alles is verder uitgesloten, zie mijn eerdere lijst. Nu ook de doorvoersnelheden uitgesloten lijken te zijn snap ik écht niet meer waar het probleem moet zitten. En zoals gezegd door de nieuwste zpool aan te maken heb ik mezelf ook nog eens klem gezet voor een eventuele laatste optie in de vorm van een andere nas software. Ik zal dus zo moeten blijven zitten draaien totdat ik een keer een nieuwe zpool kan aanmaken, en dat zie ik de eerste 2 jaar niet gebeuren

Hulde voor degene die toch nog met de gouden tip mocht komen, maar ik geef het op

[ Voor 72% gewijzigd door CurlyMo op 15-11-2011 22:03 ]

[vso]

Zo mijn machine is af en getest of alles werkt.

Wat kan ik het beste doen?
- zfs guru life cd ?
- freebsd 8.2 of 9.0 rc1 ?

Welke settings kan ik het best aanhouden?
Ter info er zitten dus 6x 1tb disks in en 24gb ram (8 voor freebsd/ZFS)

zal iozone wel eens testen daarna en posten ..

[mieJas]

CurlyMo schreef op dinsdag 15 november 2011 @ 18:14:
Hoe zijn die updates van Solaris verspreidt? Als één groot bestand dat ik moet installeren?

Nee, helaas. Gaat via de package manager van Solaris zelf. Eerst moet je een extra publisher toevoegen, maar dat gaat niet zonder die support certificaten.

CurlyMo schreef op dinsdag 15 november 2011 @ 18:14:
Tegelijk snap je wel hoe frustrerend je boodschap hier wel niet is.

[ Voor 3% gewijzigd door mieJas op 04-03-2013 08:22 ]

[FireDrunk]

** schreef op dinsdag 15 november 2011 @ 18:14:
Andere Unix flavor gaat dus niet omdat ik zfs versie 31 draai. Hoe zijn die updates van Solaris verspreidt? Als één groot bestand dat ik moet installeren?


[...]


Tegelijk snap je wel hoe frustrerend je boodschap hier wel niet is. Zo goed als alles is verder uitgesloten, zie mijn eerdere lijst. Nu ook de doorvoersnelheden uitgesloten lijken te zijn snap ik écht niet meer waar het probleem moet zitten. En zoals gezegd door de nieuwste zpool aan te maken heb ik mezelf ook nog eens klem gezet voor een eventuele laatste optie in de vorm van een andere nas software. Ik zal dus zo moeten blijven zitten draaien totdat ik een keer een nieuwe zpool kan aanmaken, en dat zie ik de eerste 2 jaar niet gebeuren

Hulde voor degene die toch nog met de gouden tip mocht komen, maar ik geef het op

Ik heb even gezocht, maar kan je specs niet zo snel vinden. Hoeveel disks heb je nou eigenlijk? Want heel eerlijk gezegd: Kom even langs, dump je data op mijn array en maak een nieuwe pool aan met een lagere versie. Test met ZFSguru en je weet waar het aan ligt.

[CurlyMo]

FireDrunk schreef op woensdag 16 november 2011 @ 10:04:
[...]


Ik heb even gezocht, maar kan je specs niet zo snel vinden. Hoeveel disks heb je nou eigenlijk? Want heel eerlijk gezegd: Kom even langs, dump je data op mijn array en maak een nieuwe pool aan met een lagere versie. Test met ZFSguru en je weet waar het aan ligt.

Bij deze:
inventaris: NAS

Is een mogelijkheid mits je in de buurt van Zeist woont?

[Verwijderd]

Volgens zijn gallery woont hij in Nijmegen.

[FireDrunk]

Mja en een nieuw huis in Arnhem, maar mijn server staat daar nog niet

[CurlyMo]

Mijn ouders wonen in de buurt van Arnhem, ik zal er dus over nadenken. Nu weer ontopic In ieder geval bedankt voor het aanbod...

[FireDrunk]

Had je iperf al geprobeerd?

[CurlyMo]

Op pagina 66 zie je twee soorten iperf tests die ik eerder heb uitgevoerd.

[FireDrunk]

Sorry, gemist... Over je vraag wat je onder Windows moet doen, even autotuning uitzetten dat helpt al heel veel. Ook is windows wat minder goed in zoveel data over 1 thread proppen. -p 10 toevoegen zorgt voor 10 gelijktijdige threads en dan haal je vaak al veel hogere snelheden.

TCP Optimizer draaien helpt ook wel eens. (http://www.speedguide.net/downloads.php )

[Verwijderd]

Hij haalt met één worker thread toch al meer dan 900 megabit? Dus dat kan zijn lage performance niet verklaren lijkt me. Ik weet ook niet of CIFS van Windows naar Solaris ook 10 lijnen gebruikt; ik denk eigenlijk van niet omdat Async I/O maar mondjesmaat wordt ondersteund.

vso schreef op woensdag 16 november 2011 @ 03:24:
Zo mijn machine is af en getest of alles werkt.

Wat kan ik het beste doen?
- zfs guru life cd ?
- freebsd 8.2 of 9.0 rc1 ?

Welke settings kan ik het best aanhouden?
Ter info er zitten dus 6x 1tb disks in en 24gb ram (8 voor freebsd/ZFS)

Eerst wellicht ZFSguru op een USB Stick installeren en je disks testen via de Benchmark feature op de Disks pagina. Dan krijg je mooie grafiekjes over alle mogelijke ZFS configuraties, wel zo geinig. En tegelijk een goede burn-in test voor je schijven en systeem.

Oh en heb je ook al een MemTest86+ gedaan? Zo nee dat zou ik altijd wel doen voor een nieuw systeem, zeker met zoveel RAM. Nachtje laten draaien tot je tenminste één run hebt en liefst nog een paar extra.

Welke versie van ZFSguru; dat is aan jou. Ik draai gewoon nog de op 8-STABLE gebaseerde image, 8.3-001. De nieuwe 9.0-002 is op 9.0-RC1 gebaseerd maar wordt als experimental aangeduid. In principe zie ik geen groot risico verder, maar 9.0 zitten nog wel wat kleinere bugs in en de kans op thans onontdekte bugs is natuurlijk ook veel groter dan bij 8-STABLE.

Ik kan wel zeggen dat FreeBSD 9 een significant lager energieverbruik (idle) kent dan FreeBSD 8.

[ Voor 70% gewijzigd door Verwijderd op 16-11-2011 13:52 ]

[CurlyMo]

FireDrunk schreef op woensdag 16 november 2011 @ 13:08:
Sorry, gemist... Over je vraag wat je onder Windows moet doen, even autotuning uitzetten dat helpt al heel veel. Ook is windows wat minder goed in zoveel data over 1 thread proppen. -p 10 toevoegen zorgt voor 10 gelijktijdige threads en dan haal je vaak al veel hogere snelheden.

TCP Optimizer draaien helpt ook wel eens. (http://www.speedguide.net/downloads.php )

TCP Optimizer heb ik geprobeerd zonder resultaat.

[HaveBlue]

Ik volg dit topic nu al een tijd en ben door een testsetup in een VM behoorlijk onder de indruk geraakt van de flexibiliteit en de mogelijkheden van ZFS. Mijn huidige fileserver gaat alweer sinds 2006 mee en staat langzaam aan op de nominatie om vervangen te worden. De performance van het beestje is an sich prima maar ik wil vanwege de steeds hoger wordende datadichtheid naar dubbele redundantie toe, iets wat m'n huidige fakeraid controller niet ondersteunt.

Daarnaast wil ik opslag en applicaties van elkaar scheiden. De ZFS bak moet bij inactiviteit in slaap gaan en daarmee het verbruik omlaag brengen (ten opzichte van de ~100Watt idle van de huidige server). De Windows applicaties die ik (24x7) wil laten draaien migreer ik naar een mini-ITX Fusion Windows Server 2008 R2 doos die een verwaarloosbaar idle verbruik kent.

Nu weet ik dat het bijna niet anders kan met het aantal schijven maar is het veilig om aan te nemen dat een 12x 2TB RAIDZ2 zonder L2ARC en SLOG devices een 2x 1Gbit trunk vol kan trekken? Het huidige systeem doet met bestanden van ~20MB volcontinue ~105MB/s via CIFS over een enkele Gbit lijn; het zou leuk zijn als een diepte investering in een Supermicro plank, dual core Xeon, 16GB geheugen en een smartswitch er toe leidt dat bestanden met ~200MB/s over de lijn gaan. Is dit zonder meer haalbaar wanneer de hardware aan de cliëntzijde voldoende I/O oomph heeft? En zijn er hier mensen die een getrunkte FreeBSD setup met ZFS hebben draaien en met Samba/NFS richting de 200MB/s komen of daarover heen gaan?

[ Voor 4% gewijzigd door HaveBlue op 16-11-2011 19:30 ]

[FireDrunk]

Verwijderd schreef op woensdag 16 november 2011 @ 13:46:
Hij haalt met één worker thread toch al meer dan 900 megabit? Dus dat kan zijn lage performance niet verklaren lijkt me. Ik weet ook niet of CIFS van Windows naar Solaris ook 10 lijnen gebruikt; ik denk eigenlijk van niet omdat Async I/O maar mondjesmaat wordt ondersteund.


[...]

Eerst wellicht ZFSguru op een USB Stick installeren en je disks testen via de Benchmark feature op de Disks pagina. Dan krijg je mooie grafiekjes over alle mogelijke ZFS configuraties, wel zo geinig. En tegelijk een goede burn-in test voor je schijven en systeem.

Oh en heb je ook al een MemTest86+ gedaan? Zo nee dat zou ik altijd wel doen voor een nieuw systeem, zeker met zoveel RAM. Nachtje laten draaien tot je tenminste één run hebt en liefst nog een paar extra.

Welke versie van ZFSguru; dat is aan jou. Ik draai gewoon nog de op 8-STABLE gebaseerde image, 8.3-001. De nieuwe 9.0-002 is op 9.0-RC1 gebaseerd maar wordt als experimental aangeduid. In principe zie ik geen groot risico verder, maar 9.0 zitten nog wel wat kleinere bugs in en de kans op thans onontdekte bugs is natuurlijk ook veel groter dan bij 8-STABLE.

Ik kan wel zeggen dat FreeBSD 9 een significant lager energieverbruik (idle) kent dan FreeBSD 8.

Windows doet inderdaad geen async I/O schrijven. Wel lezen omdat dat vanuit de server geinitieerd word. (Samba TCP_NO_DELAY optie).

Windows is uberhaupt niet echt goed met maar 1 thread op netwerkgebied. Ikzelf heb het hier werkend met Windows 7 en een Realtek 8111D controller. Daar haal ik 110MB/s. Het KAN dus wel...

Mijn mediacenter (Realtek 8111C) doet het alweer iets slechter...

Wil je echt zekerheid, kan je een Intel NIC nemen, die zijn (vanwege betere drivers) vaak sneller.

De test waar ik het over had, laat zien of het aan windows ligt (of eventueel aan de driver) of iets anders.
Als die test met meerdere parallele threads wel >900mbit haalt, zou ik een andere driver en/of een andere netwerkkaart proberen.

Ubuntu is niet vergelijkbaar want dat heeft een wezenlijk anders netwerk IO systeem. (Round robin van netwerkkaarten mogelijk, terwijl windows dat never toe laat mits je dat erin hackt met drivers)

[CurlyMo]

Weet je hoe het zit met de RTL8111E? Want misschien dat dan een intel nic proberen een mogelijke oplossing kan zijn. De throughput van mijn schijven is volgens jullie voldoende en de mogelijkheden van mijn netwerk ook.

[FireDrunk]

Geen idee, die lijkt mij nieuwer dan de C en de D versie
Heb je wel de nieuwste drivers? (en dus niet die bij je moederbord geleverd worden )

[CurlyMo]

Drivers heb ik nog even gecontroleerd, deze zijn de nieuwste. Autotuning optie heb ik niet bij mijn advanced options van mijn ethernet adapter. Geen verschil dus in snelheden hier. Misschien toch maar een Intel NIC proberen?

[FireDrunk]

4e hit op google...

http://www.speedguide.net...-7-vista-2008-tweaks-2574

[CurlyMo]

Onderschat me niet Allemaal al geprobeerd... geen succes. Windows Size is niet aan te passen in windows 7, en dat levert nu net de hoogste resultaten op via iperf.

[FireDrunk]

Ik vind het maar vreemd... Kun je eens een lijst maken met alle relevante settings en die eens hier plaatsen? Dan zal ik vanavond eens een vergelijking maken met mijn eigen desktop.
(Ik ziet hier met Windows 7 x64 -> Ubuntu x64 11.04)

[CurlyMo]

M.b.t. mijn netwerkkaart in Windows óf écht alles?

[FireDrunk]

Nou, wat jij denkt dat relevant is (IP, subnet, gateway, metric, autotuning, windows size, advanced settings, driver versies, windows updates, service packs, you name it.)

[vso]

Verwijderd schreef op woensdag 16 november 2011 @ 13:46:
Eerst wellicht ZFSguru op een USB Stick installeren en je disks testen via de Benchmark feature op de Disks pagina. Dan krijg je mooie grafiekjes over alle mogelijke ZFS configuraties, wel zo geinig. En tegelijk een goede burn-in test voor je schijven en systeem.

de benchmark is wel grappig ga ik zekers doen

Oh en heb je ook al een MemTest86+ gedaan? Zo nee dat zou ik altijd wel doen voor een nieuw systeem, zeker met zoveel RAM. Nachtje laten draaien tot je tenminste één run hebt en liefst nog een paar extra.

eigenlijk wel wijsheid maar denk dat ik daar weinig info mee haal .. oftewel skip (tegen beter weten in)

Welke versie van ZFSguru; dat is aan jou. Ik draai gewoon nog de op 8-STABLE gebaseerde image, 8.3-001. De nieuwe 9.0-002 is op 9.0-RC1 gebaseerd maar wordt als experimental aangeduid. In principe zie ik geen groot risico verder, maar 9.0 zitten nog wel wat kleinere bugs in en de kans op thans onontdekte bugs is natuurlijk ook veel groter dan bij 8-STABLE.

Ik kan wel zeggen dat FreeBSD 9 een significant lager energieverbruik (idle) kent dan FreeBSD 8.

zfsguru ga ik niet als OS draaien, ik wil eigenlijk naar freebsd totaal daarop xen.
ga ik eens spelen met VGA passthrough .. als het me lukt vervang ik 3 machines + nas door 1 beest machine. als dat werkt ga ik tzt wanneer het financieel beter gaat de ram upgraden van 24 naar 48 gb

stuiter nog ff tegen zfs boot aan dat zou "icing on the cake" zijn .. nog niet echt gevonden hoe ik dat doe. (lees nog niet in verdiept)

[CurlyMo]

LAN Driver is versie 7.48.823.2011

ARP Offload = Ingeschakeld
Buffers ontvangst = 512
Buffers verzending = 128
Datatransportbesturing = Ingeschakeld
Energy Efficient Ethernet = Ingeschakeld
Gigabit automatische uitschakelen = Uitgeschakeld
Groen Ethernet = Ingeschakeld
Grote verzendings-Offload v2 (IPv4) = Ingeschakeld
Grote verzendings-Offload v2 (IPv6) = Ingeschakeld
Interrupt-controle = Ingeschakeld
IPv4-checksum offload = Rx & Tx ingeschakeld
Jumbo frame = Uitgeschakeld
Netwerkadres = niet aanwezig
NS Offload = Ingeschakeld
Prioriteit & VLAN = Prioriteit & VLAN ingeschakeld
Schaling ontvangstzijde = Ingeschakeld
Snelheid & duplex = Automatisch onderhandelen
TCP-checksum-offload (IPv4) = Rx & Tx ingeschakeld
TCP-checksum-offload (IPv6) = Rx & Tx ingeschakeld
UDP-checksum-offload (IPv4) = Rx & Tx ingeschakeld
UDP-checksum-offload (IPv6) = Rx & Tx ingeschakeld
Wake on Magic Packet = Ingeschakeld
Wake on pattern match = Ingeschakeld
Wake-On-LAN uitschakelen = Ingeschakeld
WOL & Shutdown Link Speed = 10 Mbps eerst

Verder draai ik via DHCP

OS = Windows 7 x64 Professional SP 1

[FireDrunk]

Energy Efficient Ethernet = Ingeschakeld -> uit
Groen Ethernet = Ingeschakeld -> uit
Prioriteit & VLAN = Prioriteit & VLAN ingeschakeld -> uit, tenzij je QoS of VLAN tagging gebruikt, maar verwacht van niet
Snelheid & duplex = Automatisch onderhandelen -> Force 1Gbit

Driver zal ik vanavond even checken.

[vso]

groene zooi is zeer handig in windows NOT

pool bechmarks

code:

config: 
zfs double parity pool 
6x 1tb wd ... 

ZFSguru 0.1.9 pool benchmark
Pool            : test (5.44T, 0% full)
Test size       : 8 GiB
Data source     : /dev/random
Read throughput : 330.6 MB/s = 315.3 MiB/s
Write throughput: 50 MB/s = 47.7 MiB/s

ZFSguru 0.1.9 pool benchmark
Pool            : test (5.44T, 0% full)
Test size       : 8 GiB
Data source     : /dev/zero
Read throughput : 283.9 MB/s = 270.8 MiB/s
Write throughput: 97.4 MB/s = 92.9 MiB/s

disks hangen allemaal op de intel controler

[ Voor 107% gewijzigd door vso op 17-11-2011 15:20 ]

[FireDrunk]

Niet echt snel... weinig geheugen?

[vso]

FireDrunk schreef op donderdag 17 november 2011 @ 15:17:
Niet echt snel... weinig geheugen?

jup denk het wel was de default live cd settings, de write is alleen behoorlijk "laag" de rest kan me eigenlijk weinig intresseren

zit 24 gb in waarvan ik denk 8 naar zfs toe ga alloceren.

[CurlyMo]

In Total Commander:

Leesheden:
De snelheid is nu gemiddeld 25000 kbytes/s waar die voorheen gemiddeld 14000 kbytes/s
Het kopiëren begint met met gemiddeld 50000 kbytes/s maar zakt dan snel weg tot de hierboven genoemde resultaten.

Schrijven:
De snelheid is nu gemiddeld 7500 kbytes/s waar die voorheen gemiddeld 14000 kbytes/s
Het kopiëren begint met met gemiddeld 50000 kbytes/s maar zakt dan héél snel weg tot ongeveer 1000 kbytes/s met dus pieken naar de 14000 kbytes/s.

Conclusie. in potentie is de snelheden sterk verbeterd. De lees snelheden zijn dus veel beter maar de schrijf snelheden zijn dramatisch slecht.

[Verwijderd]

@vso: is dat met de nieuwe FreeBSD 9 livecd? Want die heeft nu een cap van 64MB geloof ik, in tegenstelling tot de oude livecd die op FreeBSD 8 is gebaseerd. Je doet er goed aan een root-on-ZFS installatie te doen, eventueel op een USB stick ofzo.

vso schreef op donderdag 17 november 2011 @ 12:24:
zfsguru ga ik niet als OS draaien, ik wil eigenlijk naar freebsd totaal daarop xen.
ga ik eens spelen met VGA passthrough .. als het me lukt vervang ik 3 machines + nas door 1 beest machine. als dat werkt ga ik tzt wanneer het financieel beter gaat de ram upgraden van 24 naar 48 gb

stuiter nog ff tegen zfs boot aan dat zou "icing on the cake" zijn .. nog niet echt gevonden hoe ik dat doe. (lees nog niet in verdiept)

Als je toch FreeBSD met Root-on-ZFS wilt draaien, waarom dan geen ZFSguru installatie? Als je dat wilt verwijder je de web-interface en gebruik je het als normaal BSD. Maar de automatische tuning en Root-on-ZFS installatie is wel zo makkelijk. Maar er is ook een alternatief: mfsBSD.

Ben overigens erg benieuwd met jouw ervaringen met Xen, dus als je zover bent, laat weten hoe je dat gefixed hebt en hoe goed het draait. Is nu al een tijd geleden dat ik geprobeerd heb te rommelen met Xen. In FreeBSD 9 zou de support voor Xen sterk verbeterd zijn, en kan FreeBSD nu als zowel host als guest draaien in 64-bit mits je hardware virtualisatie extensies hebt.

@FireDrunk: dat van async is een beetje verwarrend. Maar het gaat niet om async writes maar om async I/O via Samba protocol. Daarvoor moet je aio.ko kernel driver geactiveerd hebben en Samba moet ook async I/O support hebben, wat tijdens het compileren inschakeld moet zijn en ook enabled in de smb.conf. Windows ondersteunt dit, maar of Solaris CIFS driver dat doet is mij onbekend. Dit zorgt ervoor dat je meerdere I/O tegelijkertijd kunt sturen, zoiets als een NCQ voor het CIFS protocol.

[ Voor 51% gewijzigd door Verwijderd op 17-11-2011 15:39 ]

[CurlyMo]

De Solaris CIFS driver en de losse samba cliënt verschillen niet echt qua snelheden. Nu draai ik aparte samba cliënt. Misschien dat dit dan wel binnen de mogelijkheden komt?

[Verwijderd]

CurlyMo, ik ben bang dat ik je met jouw probleem niet echt kan helpen. Wel zou ik aanraden toch je pool een keer opnieuw aan te maken, maar dan met versie 28 max. Dat kan met een commando zoals:
zpool create tank -o version=28 -O version=5 raidz disk1 disk2 disk3 ...

In dat geval kun je meerdere platforms uitproberen zoals ook FreeBSD, FreeNAS, ZFSguru, OpenIndiana, etc. Zo kun je eens testen waar het probleem nu ligt.

Wellicht dat je ook bij een Solaris community iemand kunt vinden die je kan helpen, want met Solaris heb ik veels te weinig ervaring om je goed te kunnen helpen.

[vso]

Verwijderd schreef op donderdag 17 november 2011 @ 15:35:
@vso: is dat met de nieuwe FreeBSD 9 livecd? Want die heeft nu een cap van 64MB geloof ik, in tegenstelling tot de oude livecd die op FreeBSD 8 is gebaseerd. Je doet er goed aan een root-on-ZFS installatie te doen, eventueel op een USB stick ofzo.

Goeie ach ik vond het even grappig om de "benchmark" te draaien ..
ik verwacht niet veel van de WD10EADS-00L5B1 disks die ik erin heb zitten.

Kan inderdaad wel even rebooten en op usb disk install doen, maar zoals je merkt ben ik redelijk koppig in de weg vinden
Overgens waarom ik het wel deed is dat die benchmark feature hoe goed/slecht het ook is wel een aantal makkelijke zaken "opsomt" zoals config van het een en ander ik heb tijdens de "wizard" ff gekeken naar de settings wat ik zou moeten configgen .. das wel bizar handig!

Btw nadenkend over je opmerking over 9.0 rc1, wacht ik toch maar even op de stable versie (upgrade dan wel)
en draai dus nu 8.2 stable

Als je toch FreeBSD met Root-on-ZFS wilt draaien, waarom dan geen ZFSguru installatie? Als je dat wilt verwijder je de web-interface en gebruik je het als normaal BSD. Maar de automatische tuning en Root-on-ZFS installatie is wel zo makkelijk. Maar er is ook een alternatief: mfsBSD.

Waarom geen zfsguru install ? wil niet achteraf geneuzel hebben dat ik x.y.z mis van de install en moet eerlijk zeggen dat hoe agrarisch die freebsd installatie ook is ik ben er weg van
overgens ik heb nu 2 disks 160gb in mirror draaien op die marvel controller .. waarvan ik boot, test enzv ..

Ben overigens erg benieuwd met jouw ervaringen met Xen, dus als je zover bent, laat weten hoe je dat gefixed hebt en hoe goed het draait. Is nu al een tijd geleden dat ik geprobeerd heb te rommelen met Xen. In FreeBSD 9 zou de support voor Xen sterk verbeterd zijn, en kan FreeBSD nu als zowel host als guest draaien in 64-bit mits je hardware virtualisatie extensies hebt.

Ga je zeker op de hoogte houden, denk dat ik een topic in NOS maak als ik Xen werkend heb, en dit dan met nadruk van de vga/audio/usb passthrough ik mag aannemen dat de install niet zo boeiend is
lijkt me zeer stoer een systeem waar je 2 workstations aan overhoud en diverse Guest OS-en ..

[CAPSLOCK2000]

Iemand hier die z'n ZFS-server aan Active Directory heeft gekoppeld?
Ik weet dat het mogelijk is, maar ben op zoek naar praktijk-ervaring.

Achtergrond: ik wil een fileserver bouwen op grond van ZFS. Ik wil de ingebouwde SMB ondersteuning gebruiken voor Windows-machines. Ik doe alles behalve gebruikers & quota beheren. Dat gaat iemand anders doen en die gebruikt alleen Windows. Het doel is dus om vanuit AD/Explorer gebruikers aan te maken en quota toe te kennen.

Ik ken een geval waarbij iemand er een Win2008-server tussen heeft gezet. Gebruikers spreken alleen met die machine, die op zijn beurt weer de ZFS-server gebruikt als opslag. Al het management gebeurt dus op de tussen-machine. Dat wil ik niet, Windows-pc's moeten rechstreeks tegen de ZFS-server praten.

Op het ogenblik kijk ik naar Nexenta als OS maar dat is geen eis.

[vso]

CAPSLOCK2000 schreef op donderdag 17 november 2011 @ 17:49:
Iemand hier die z'n ZFS-server aan Active Directory heeft gekoppeld?
Ik weet dat het mogelijk is, maar ben op zoek naar praktijk-ervaring.

Achtergrond: ik wil een fileserver bouwen op grond van ZFS. Ik wil de ingebouwde SMB ondersteuning gebruiken voor Windows-machines. Ik doe alles behalve gebruikers & quota beheren. Dat gaat iemand anders doen en die gebruikt alleen Windows. Het doel is dus om vanuit AD/Explorer gebruikers aan te maken en quota toe te kennen.

Ik ken een geval waarbij iemand er een Win2008-server tussen heeft gezet. Gebruikers spreken alleen met die machine, die op zijn beurt weer de ZFS-server gebruikt als opslag. Al het management gebeurt dus op de tussen-machine. Dat wil ik niet, Windows-pc's moeten rechstreeks tegen de ZFS-server praten.

Op het ogenblik kijk ik naar Nexenta als OS maar dat is geen eis.

het probleem waar je tegenaan stuiterd is de rechten oftwel users & groups de rest lukt perfect .. (samba kan wel wat lastig zijn)
Ik heb veel bugs meegemaakt en en fatsoenlijk beheer van de rechten is er nog niet echt.

[CAPSLOCK2000]

M'n hele vraag gaat over users & groups beheren, als dat niet lukt heeft quota's beheren ook geen zin.
Ik wil geen Samba gaan gebruiken maar de in ZFS ingebouwde ondersteuning voor SMB (of is dat stiekem toch Samba?).

[Verwijderd]

Samba/CIFS is niet in ZFS ingebouwd, maar in Solaris ingebouwd. ZFS heeft daar een frontend voor (sharesmb) net zoals sharenfs een front-end is voor de in het OS ingebouwde NFS server functionaliteit.

Samba is dus een cross-platform SMB/CIFS server, terwijl Solaris kernel CIFS een OS-specifieke implementatie is met wellicht andere features (en quirks).

[vso]

Zo en hier baal ik van blijkt dat ik dus niet FreeBSD + xen kan draaien niet op de manier die ik wil
Reden freebsd draait nog niet als dom0 (host) er zijn inderdaad wel "testen" aan de gang maar ik ga geen productie systeem draaien met "expiriment"

Dan doe ik het gewoon anders, zfsguru + de WD disks direct connected, het is vies maar zorgt wel dat ik teminste dat als freebsd 9.0 stable straks kan draaien als die in dom0 versie uitkomt

@CAPSLOCK2000
ik ken helaas allleen smb van Samba zelf en ik weet dat die oplossing niet echt bedrijfs waardig is, net te buggy als smb in zfs afgeleide is van ...
je krijgt vreemde artifacts zoals rechten die niet doorvloeien en onbegrijpelijke locks.

mijn opzet was om daarom om op mijn huidig systeem op te bouwen met xen, freebsd als Dom0 (nu dus ZFSguru) en ZFS met daarop de data "disks"


reden van deze opzet:
- zfs is "portable"
- zfs heeft veel ruimte
- zfs is "rap zat" voor nette performance voor de virtual machines
- xen heeft VGA, audio en usb passthrough (wat andere bare metal hyper visors nog niet hebben?)
- meest belangrijke zfs naast portable = snel + 2 of 3 disks parity mogelijkheid welke nog disk onafhankelijk is. (redundancy op zijn best IMHO)

nu zal ik een smerige truuk moeten verzinnen zodat ik alsnog de zfs "volume" kan benutten..

[Verwijderd]

Ik doe alles behalve gebruikers & quota beheren. Dat gaat iemand anders doen en die gebruikt alleen Windows. Het doel is dus om vanuit AD/Explorer gebruikers aan te maken en quota toe te kennen.

Waarom dan gebruik maken van Samba.
Als je toch zaken doet via de AD dan kun je naar mijn idee beter een ZVOL maken en deze via iscsi aan je windows server koppelen.
Werkt prima zeker vanuit windows oogpunt omdat windows de iscsi target als een lokale schijf ziet.
Quota's en rechten kun je allemaal prima regelen vanuit de windows server.

Of heb je geen windows server?, dat kon ik niet helemaal uit je vraagstelling halen.


Gr
Johan

[ Voor 11% gewijzigd door Verwijderd op 17-11-2011 22:27 ]

[Verwijderd]

Laag op laag, en als je groot gaat -- heeft ZFS niet de NTFS limieten. Als je de smbsrv van illumos gebruikt werken handige dingen als zfs set sharesmb=on,guestok=true /pool/pr0n. Previous versions zit er ook direct bij dat gebruik maakt van ZFS snapshots.

Samba kan dit ook, daarvoor moet je simpel weg alleen wat extra modules laden en zorgen dat hij de ACL's begrijpt.

De CIFS kernel is compleet van scratch geschreven en heeft volledige DTRACE ondersteuning, niet iets wat je direct zoekt thuis zoekt maar toch. Qua features (vooral de transparant vfs modules) is samba leuker om mee te spelen, wil je makkelijk kan je als je illumos based draait net zo goed voor de CIFS server draaien. Deze draait op vele grote sites van Nexenta en paar van hun OEM's

[CAPSLOCK2000]

Verwijderd schreef op donderdag 17 november 2011 @ 22:23:
Waarom dan gebruik maken van Samba.
Als je toch zaken doet via de AD dan kun je naar mijn idee beter een ZVOL maken en deze via iscsi aan je windows server koppelen.

Omdat ik niet genoeg van Windows weet en omdat het niet de bedoeling is om ook nog een Windows server aan te schaffen. Als het perse via Windows moet dan heeft ZFS ook weinig zin en kan ik beter die schijven direct in een Windows-server steken en NTFS gebruiken. Een belangrijke reden om voor ZFS/Unix te kiezen is dat de bestanden ook benaderbaar moeten zijn via NFS en SSHFS, maar Windows/SMB heeft prioriteit. Als het uberhaupt kan zie ik mezelf dat niet bouwen op Windows.

Of heb je geen windows server?, dat kon ik niet helemaal uit je vraagstelling halen.

Er is wel Windows (anders ook geen Active Directory) maar geen machine die ik hier voor kan/wil gebruiken.
Ik wil 1 server bouwen en ik wil met ZFS spelen. Het mag best een cent kosten maar twee servers is wat te veel van het goede, zeker omdat Windows mij ontzettend veel tijd zou kosten.