:fill(white):strip_exif()/i/2003943496.jpeg?f=thumbmini)
:strip_exif()/i/1321263566.png?f=thumbmini)
8x330 NO12.5°, 8x330 ZW12.5°, 8x350 ZW60°, 8x325 NO10°, SE8K, P500. 6x410 ZW10° Enphase
:strip_exif()/u/70909/BlueKachina_60x60.gif?f=community)
Dan heb je 'm waarschijnlijk gemist...
Ik heb 'm even voor je opgezocht: op pagina 48 van 60... zie je deze message staan van CiPHER
De verwarring treed op door TB en TiB.
Bruto heeft je pool 36,2 TB beschikbaar, maar omdat je RAID-Z2 gebruikt is dit 36,2/10*8=28,96 TB
28,96 TB = ~ 23,35... TiB
Voor de één misschien niet interessant, maar voor de ander wel een nice to know!
Het gaat er (mij persoonlijk) ook niet om om te gaan miere....n over waar de laatste bit is gebleven (what do I care with xx TB en sluit ik mij ook volledig aan op je 20%-regel), maar wel om beter inzicht te krijgen wat, hoe, waar en waarom iets gebeurd.
Als je dan ooit eens een probleem heb, en je snapt ook de achtergrond, dan is het ook vaak makkelijker voor troubleshooting.
Maarja... Als ik je blogs lees hoef ik dat jou toch ook niet uit te leggen...
[ Voor 5% gewijzigd door ]Byte[ op 07-05-2014 20:59 ]
/u/102334/avatar_mini.png?f=community){kind=avatar}
/u/1176/crop635f8931b2b68_cropped.png?f=community)
Heb ik exact ook gedaan.
Heb inmiddels een andere share gemaakt, maar geeft hetzelfde probleem.
/etc/zfs/exports
code:
1
2
3
4
5
| [root@zfsguru /home/ssh]# cat /etc/zfs/exports # !!! DO NOT EDIT THIS FILE MANUALLY !!! /hdd_pool1/nfs1 -alldirs -mapall=1000:1000 [root@zfsguru /home/ssh]# |
Het is overigens ook de enige file in /etc/zfs/
Wat 'bewerk' jij dan aan het commando precies?
[ Voor 3% gewijzigd door ]Byte[ op 08-05-2014 17:32 ]
:strip_icc():strip_exif()/u/481635/images.jpg?f=community)
Als ik in de smartdata van mijn schijven zie dat er bad sectoren zijn, dan pas draai ik 'm. Tot op heden nog maar een paar MB's recovered (en hele harde schijf
). Niets kwijtgeraakt overigens.
Mijn scrubs draaien keurig iedere week. Maar er staan, naast films, series en muziek, ook nog VMs, GIT repositories, "belangrijke" documenten etc op. Maar dan nog, als je de scrub wekelijks draait op een tijdstip dat je de machine toch niet gebruikt dan heb je er ook geen last van
code:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
| $ sudo zpool status
pool: git
state: ONLINE
scan: scrub repaired 0 in 0h1m with 0 errors on Sat Apr 19 12:55:39 2014
config:
NAME STATE READ WRITE CKSUM
git ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
usb-SanDisk_Cruzer_Fit_4C532000031129106193-0:0 ONLINE 0 0 0
usb-SanDisk_Cruzer_Fit_4C532000050913100011-0:0 ONLINE 0 0 0
mirror-1 ONLINE 0 0 0
usb-SanDisk_Cruzer_Fit_4C532000041129106180-0:0 ONLINE 0 0 0
usb-SanDisk_Cruzer_Fit_4C532000040210122173-0:0 ONLINE 0 0 0
errors: No known data errors
pool: tank
state: ONLINE
scan: scrub repaired 0 in 9h47m with 0 errors on Fri May 2 22:02:23 2014
config:
NAME STATE READ WRITE CKSUM
tank ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
ata-HGST_HTS541010A9E680_J810001VJ1Y3XA ONLINE 0 0 0
ata-HGST_HTS541010A9E680_JB100013J3ST5B ONLINE 0 0 0
ata-HGST_HTS541010A9E680_JB100013J3TXGB ONLINE 0 0 0
ata-HGST_HTS541010A9E680_JB40001MGG3MJC ONLINE 0 0 0
ata-HGST_HTS541010A9E680_JB100013J4HGNB ONLINE 0 0 0
ata-HGST_HTS541010A9E680_JB100013J4J15B ONLINE 0 0 0
logs
ata-INTEL_SSDSA2CW120G3_CVPR126608BS120LGN-part1 ONLINE 0 0 0
errors: No known data errors |
:strip_icc():strip_exif()/u/200296/crop6893856e4e7de_cropped.jpg?f=community)
/u/87795/voetje.png?f=community)
L2ARC heeft 50% Most Frequently Used, en 50% Most Recently Used (by default).
Als jij het voor elkaar krijgt om die film dusdanig vaak te kijken dat hij in MFU komt, dan blijven je schijven in standby. De kans is alleen denk ik niet zo groot
Als jij het voor elkaar krijgt om die film dusdanig vaak te kijken dat hij in MFU komt, dan blijven je schijven in standby. De kans is alleen denk ik niet zo groot
Even niets...
:strip_icc():strip_exif()/u/17654/gertus_icon.jpg?f=community){kind=icon}
/u/11437/wandcontactdoos.png?f=community)
Ik vind die percentages tegenwoordig zo out-dated. Heb je een pool van 15 TB, wil het ding (of dat nu een defragmentatieprogramma op NTFS is of ZFS copy-on-write of whatever anders...) 20% vrije ruimte...3 TB 
Heb je daarentegen een schijf die überhaupt maar 3 TB groot is dan werkt het hele proces feilloos met slechts 600 GB aan vrije ruimte
Heb je een schijf van 500 GB, dan werkt het feilloos met slechts 100 GB vrije ruimte.
Waarom heb je op een pool van 15 TB dan niet ook genoeg aan 100 GB? Dat zijn nog altijd 800.000 blokken van 128K, aan 100 MB/sec ben je daar nog altijd 17 minuten op aan het schrijven
Heb je daarentegen een schijf die überhaupt maar 3 TB groot is dan werkt het hele proces feilloos met slechts 600 GB aan vrije ruimte
Heb je een schijf van 500 GB, dan werkt het feilloos met slechts 100 GB vrije ruimte.Waarom heb je op een pool van 15 TB dan niet ook genoeg aan 100 GB?
Dat zijn nog altijd 800.000 blokken van 128K, aan 100 MB/sec ben je daar nog altijd 17 minuten op aan het schrijven
"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock
:strip_icc():strip_exif()/u/48952/Ultraman-60x60-Ray-Animated.jpg?f=community)
/u/286685/crop58fcf863c48a5.png?f=community)
Even een paar snelle vraagjes:
- als je op een bestaande pool die data bevat een wijziging maakt aan bijv. de gebruikte checksum, wordt dit dan enkel voor nieuwe data toegepast? (ik ga er vanuit van wel?)
- Indien er geen terugwerkende kracht is, betekent dit dat een pool waarop een deel van de data later gewijzigd is een mix van beide checksums zal hebben?
- Als je de setting wijzigt en vervolgens een scrub doet, mag je er vanuit gaan dat alle checksums op een veilige manier naar de nieuwe keuze overzet worden?
Ik wil namelijk kijken of het veel verschil zou maken om terug te schakelen van SHA256 naar Flechter, maar niet als er risico's aan vast hangen
- als je op een bestaande pool die data bevat een wijziging maakt aan bijv. de gebruikte checksum, wordt dit dan enkel voor nieuwe data toegepast? (ik ga er vanuit van wel?)
- Indien er geen terugwerkende kracht is, betekent dit dat een pool waarop een deel van de data later gewijzigd is een mix van beide checksums zal hebben?
- Als je de setting wijzigt en vervolgens een scrub doet, mag je er vanuit gaan dat alle checksums op een veilige manier naar de nieuwe keuze overzet worden?
Ik wil namelijk kijken of het veel verschil zou maken om terug te schakelen van SHA256 naar Flechter, maar niet als er risico's aan vast hangen
Ja, enkel op geschreven data na het wijzigen van de instelling.
Inderdaad.
Nee, een scrub vervangt niet alles checksums naar de nieuwe bij mijn weten. Een scrub leest de data en de checksum en controleert of deze overeen komt, m.a.w.: integriteit OK? Zo ja, volgende blok | Zo nee, fixen indien mogelijk...
Die scrub zal zodoende ook alleen bij het schrijven van data, bv. herstel van eventuele corruptie, zo'n nieuwe checksum schrijven. Data met een correcte "oude" checksum is gewoon OK en door naar het volgende blok.
Als je alle data met van een ander soort checksum wilt voorzien zul je alle data opnieuw moeten schrijven.
Geen risico's bij mijn weten.Ik wil namelijk kijken of het veel verschil zou maken om terug te schakelen van SHA256 naar Flechter, maar niet als er risico's aan vast hangen
Ik zou dit echter op een nieuw leeg filesystem testen. Bij voorkeur zelfs op een losse disk buiten mijn eigen pool zelfs, door daarop een nieuwe testpool aan te maken. Zodat de benchmark ook niet beïnvloed wordt door de andere data op de "productie" pool.
Dan kun je op die testpool op die lege disk een filesystem aanmaken, checksum instellen, er wat data naar toe schrijven en benchmark. Vervolgens verwijder je het filesystem en de pool weer, wipe je eventueel de disk, en doe je het nogmaals met een andere checksum.
Als je stil blijft staan, komt de hoek wel naar jou toe.
Alleen FreeNAS (waarom geen ZFSguru?
) is ook geen oplossing tegen blikseminslag. Daar heb je wel wat meer voor nodig, en dat begint in de meterkast met een overspanningsbeveiliging.
Voor het installeren (uren) en de hardware mag je wel degelijk kosten doorberekenen.
Alleen voor het product FreeNAS zelf niet!
Waarom zou je geen geld mogen vragen voor FreeNAS?:
[...]
Alleen FreeNAS (waarom geen ZFSguru?
Daar heb je wel wat meer voor nodig, en dat begint in de meterkast met een overspanningsbeveiliging.
[...]
Voor het installeren (uren) en de hardware mag je wel degelijk kosten doorberekenen.
Alleen voor het product FreeNAS zelf niet!
Alle open source/vrije software mag je verkopen en je eigen naam aan geven.
Het enige dat je moet doen is de klant een kopie van de licentie geven, en in het geval van de GPL en andere de broncode. In het geval van de GPL mag je zelfs nog extra geld vragen voor de broncode
:strip_exif()/u/396800/D-_3427da0a9c293b63f2a66dea2e642102.gif?f=community)
Broncode vrijgeven hangt ook van de licentie af. Bij bijv. de apache 2 licentie hoeft dat niet. Mag je opensource producten als closed source distribueren. Dat is de reden dat veel android code een Apache 2 licentie heeft.:
[...]
Alle open source/vrije software mag je verkopen en je eigen naam aan geven.
Het enige dat je moet doen is de klant een kopie van de licentie geven, en in het geval van de GPL en andere de broncode. In het geval van de GPL mag je zelfs nog extra geld vragen voor de broncode
Sinds de 2 dagen regel reageer ik hier niet meer
/u/238501/crop5e2f0f8a11c1f_cropped.png?f=community)
AMD Ryzen 7 5900x | Custom WC | ASUS ROG Strix X570-E Gaming | 32GB Corsair DDR4-3600MHz | Samsung 970 nvme 1TB | Samsung 860 EVO 2TB | AMD RX 6900XT 16GB | 1x Asus RoG XG27AQDMG | 1x LG UltraGear 27GL850
Aangepast:
[...]
Je vraag een beetje leesbaar maken
Ja dat dacht ikzelf ook dus die moet zowiezo vervangen worden.
Zie mijn boven gestelde vraag
:strip_icc():strip_exif()/u/121740/avatar.jpg?f=community){kind=avatar}
Ik heb dedup aan staan op twee datasets van beiden 500 GB. Op de ene sla ik de File History van de ene Windows 8-laptop op, op de andere de File History van de andere Win8-laptop.
Ik heb nog niet kunnen vinden hoe ik de dedup-ratio van een dataset opvraag, alleen van het hele volume. Dat vertekend natuurlijk want een ratio van 1.04 op het hele volume kan goed inhouden dat je 10 TB aan films @ 1.00 hebt opgeslagen en op 200 GB aan backups 7.23 (of zo) haalt... In Windows op de SMB share zijn de "grootte" en "op schijf" in ieder geval aan elkaar gelijk.
Verder heb ik nog niet echt gekeken wat het geheugen doet
Moet er wel bij zeggen dat FreeNAS 64 GB ram ter beschikking heeft...
Ik heb nog niet kunnen vinden hoe ik de dedup-ratio van een dataset opvraag, alleen van het hele volume. Dat vertekend natuurlijk want een ratio van 1.04 op het hele volume kan goed inhouden dat je 10 TB aan films @ 1.00 hebt opgeslagen en op 200 GB aan backups 7.23 (of zo) haalt... In Windows op de SMB share zijn de "grootte" en "op schijf" in ieder geval aan elkaar gelijk.
Verder heb ik nog niet echt gekeken wat het geheugen doet
Moet er wel bij zeggen dat FreeNAS 64 GB ram ter beschikking heeft...
"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock
Zijn dat allemaal VM images die grote delen met elkaar delen? Of wil je dedup gewoon voor de grote dataset inschakelen? Dat laatste is gekkenwerk.
Deduplicatie gebruik je op filesystems met grote overlap. Dus bijvoorbeeld Ubuntu VM images als je er daar 100 van hebt met allemaal een kale installatie + wat meuk; dan hoef je de kale installatie maar één keer op te slaan in plaats van 100 keer. In dit geval kun je deduplicatie rustig inschakelen. Maar dedup inschakelen voor een grote dataset is vrijwel altijd een heel slecht idee. De paar procent storage die je er mee uitspaart is een totale crash van de performance absoluut niet waard. Geef een paar euro uit aan een paar extra GB als je verlegen zit om storage.
Dedupliatie is niet bedoeld voor casual users om wat extra opslag te krijgen. Het is bedoeld om datasets die erg op elkaar lijken te verenigen en hiermee enorm veel disk space te besparen. Alleen in specifieke situaties heeft het nut dus. In vrijwel alle gevallen wil je deduplicatie uitgeschakeld hebben. Overweeg LZ4-compressie als je een paar procent extra storage wilt. Of koop gewoon een schijf extra; ga dus niet je mooie ZFS server om zeep helpen vanwege onstilbare honger naar opslag.
Ps: PCI netwerkkaarten zijn not done.
Daarom gebruik ik ZFSguru ook als DHCP server. Al mijn machines via DHCP maar wel altijd hetzelfde IP adres wat ik zelf toeken aan mijn machines. DHCP-range doe ik dan vanaf .100 - dan weet je gelijk of de machine via DHCP wordt herkend aan het MAC-label of niet. Werkt heerlijk, totdat je internetprovider het leuk vindt je modem te resetten waardoor deze ook weer als DHCP-server gaat functioneren, met alle problemen tot gevolg.
:strip_icc():strip_exif()/u/157053/crop574c68cea92df_cropped.jpeg?f=community)
Wat is jou definitie van 'groot'?
Ik heb er eentje van 2 TB waar m'n TimeMachine Backups naartoe gaan...
Dan zet ik er wel eentje extra bij!
Maar nog even een andere vraag tav dedup...
Bij zowel Datadomain als HP adviseren ze aparte datasets te maken per 'type' bestanden.
Ze doelen daarmee o.a. op, voor VM's om Linux en Windows op aparte datasets te zetten, backups aparte dataset etc.
Hoe zit dit met ZFSguru? Is hiervoor een zelfde richtlijn/advies? (alhoewel mij nooit echt duidelijk is geworden naar de 'waarom')
Ik neem aan dat voor ZFSguru hetzelfde geldt voor (extreem) disk-I/O intensieve applicaties/VM's die niet op een dedup-dataset te zetten?
Overal waar ik over dedup lees, wordt het min of meer afgeraden.:
[...]
Zijn dat allemaal VM images die grote delen met elkaar delen? Of wil je dedup gewoon voor de grote dataset inschakelen? Dat laatste is gekkenwerk.
Deduplicatie gebruik je op filesystems met grote overlap. Dus bijvoorbeeld Ubuntu VM images als je er daar 100 van hebt met allemaal een kale installatie + wat meuk; dan hoef je de kale installatie maar één keer op te slaan in plaats van 100 keer. In dit geval kun je deduplicatie rustig inschakelen. Maar dedup inschakelen voor een grote dataset is vrijwel altijd een heel slecht idee. De paar procent storage die je er mee uitspaart is een totale crash van de performance absoluut niet waard. Geef een paar euro uit aan een paar extra GB als je verlegen zit om storage.
Dedupliatie is niet bedoeld voor casual users om wat extra opslag te krijgen. Het is bedoeld om datasets die erg op elkaar lijken te verenigen en hiermee enorm veel disk space te besparen. Alleen in specifieke situaties heeft het nut dus. In vrijwel alle gevallen wil je deduplicatie uitgeschakeld hebben. Overweeg LZ4-compressie als je een paar procent extra storage wilt. Of koop gewoon een schijf extra; ga dus niet je mooie ZFS server om zeep helpen vanwege onstilbare honger naar opslag.
Ps: PCI netwerkkaarten zijn not done.
Het was de bedoeling om dedup aan te zetten voor +- 15 Linux VM's en iets van 4 Windows VM's.
in principe allemaal kale installaties met per VM wat verschillende services. Op zich perfect voor deduplicatie, zeker als ik de VMs opnieuw zou installeren vanaf een nieuw (Ubuntu 14.04 LTS) basis image.
Aan de andere kant, de meeste VM's hebben niet veel meer dan 15GB aan disk ruimte nodig, dus de ruimte heb ik niet eens echt nodig. Ik kan altijd nog 1 van de mirrors uitbreiden met grotere schijven, of een mirror toevoegen aan de pool.
Andere vraag:
Gaat FreeNAS / ZFS vanzelf gebruik maken van het beschikbare geheugen?
p.s.
die sloten zitten er helaas nu eenmaal
de kaartjes had ik nog liggen.Je kan de oude disk offline halen / detachen, en dan de nieuwe disk toevoegen waarna hij gaat resilveren.
[ Voor 12% gewijzigd door Extera op 13-05-2014 08:25 ]
Ik ga er denk ik toch eens mee testen.
2x 500GB datasets aanmaken, (Linux en Windows).
Op die manier moeten de tabellen dan beperkt blijven.
Mocht het niet lekker werken / performen, dan doe ik een storage vmotion naar een andere dataset, dedup uit, en weer terug met de hele handel
Ik zal hier wel wat benchmarks neerzetten voor de liefhebbers
2x 500GB datasets aanmaken, (Linux en Windows).
Op die manier moeten de tabellen dan beperkt blijven.
Mocht het niet lekker werken / performen, dan doe ik een storage vmotion naar een andere dataset, dedup uit, en weer terug met de hele handel
Ik zal hier wel wat benchmarks neerzetten voor de liefhebbers
>> Ik zal hier wel wat benchmarks neerzetten voor de liefhebbers
Graag!
Graag!
[ Voor 84% gewijzigd door gerwim op 13-05-2014 09:19 ]
Ja idd
.Heb dit natuurlijk al eerder aan de hand gehad.
Wat stom van mij,maar misschien makkelijk voor nieuwe gebruikers die dit ook meemaken,ik heb nu alles schijven per stuk een update system bootcode gedaan,eens kijken of tie nu op wil starten zonder live cd.
EDIT:HELAAS ik krijg nu een rondraaiend streepje met een streepje eronder,wat heb ik nu weer fout gedaan
?
Mm de pols staan nog steeds op spa 28,ik neem aan dat dat de versie is?
Moet ik nu gewoon de pool updaten naar v33 of niet?
[ Voor 19% gewijzigd door ikkeenjij36 op 13-05-2014 19:26 ]
Ehm beste curlymo snap mij niet verkeerd ik vind alle hulp die ik tot nu toe gehad heb altijd informatief geweest enz.
Maar nu ik gewoon met een standaard instalatie van zfsguru ben begonnen op alle schijven leeg en geformateerd wil het gewoon niet werken,ik krijg dus niet eens een gewone instal voor elkaar op dit moment,ligt het aan mij?
misschien maar ales een standaard install niet wil lukken?
Zonder xtra dingen of wat maar ook ja dan houdt het voor mij wel op een beetje.
Deze melding heeft te maken met een zfs v5000 feature op je pool die niet wordt ondersteund door je huidige zfs versie. Dat is raar want een standaard ZFSGuru installatie installeert helemaal geen v5000, maar v28. Die melding zou je dus nooit kunnen zien als je niet handmatig de zfs versie verhoogt of achteraf een upgrade heb uitgevoerd.
No offense, maar ik begrijp jou naar mijn idee niet verkeerd. Wat me alleen verbaast (misschien is het wel deugdzaam hoor
) is het geduld van de mensen hier. Hier op het tweakers forum zijn er toch wel een aantal (do and) dont's:- Geen meerdere reacties achter elkaar, maar je vorige reactie aanvullen.
Dat waren er eventjes terug 4
- Je reactie goed opmaken: spelling, alinea's, interpunctie.
ikkeenjij36 in "Het grote ZFS topic"
- Eerst dingen zelf proberen en uitzoeken voor je hulp vraagt en aangeven wat je dan al hebt geprobeerd.
Via google: http://zfsguru.com/forum/zfsgurusupport/823
Vanuit het niets komt opeens CurlyMo met wat opmerkingen aanzetten, maar laten we zeggen dat ik een oude bekende ben die dit topic en ZFSguru an sich een beetje op de zijlijn volgt. CiPHER is nogal druk en alles wat we kunnen doen om hem te ontluchten is meegenomen
Daarnaast zou ik zijn eerder gegeven advies over je kennis ter harte nemen.
Sinds de 2 dagen regel reageer ik hier niet meer