10Gbe met 1Gbe mixen? Fileserver voor video

zondag 11 maart 2018 21:03

Een veel goedkopere oplossing is een Nas te kopen met meerdere netwerkpoorten en een managed switch die LACP onderstend.
Je zet die netwerkpoorten dan in een bond.

All truth passes through three stages: First it is ridiculed, second it is violently opposed and third it is accepted as being self-evident.

Acties:

Verwijderd

Nee, met een switch is niet het hele netwerk zo traag als de traagste computer. Dat is het idee van een "switching hub". (Opzoeken die term.)

Ja, je kan je NAS aan een 10GbE poortje knopen. Je kan het ook met link aggregation (met of zonder LACP) doen. Dat is altijd een beetje gedoe want als twee (of drie) montagemachines toevallig in hetzelfde emmertje vallen en dus van hetzelfde lijntje gebruikmaken dan win je nog niet zoveel. Even opletten dus.

Of het goedkoper is moet je ook even nakijken, want multipoort kaartjes willen nogal eens in de papieren lopen en 10GbE kaartjes zijn soms heel schappelijk te krijgen. Dus het is goed om na te kijken maar ga er niet vanuit dat het ene altijd goedkoper is dan het andere. Als het niet veel uitmaakt zou ik toch voor de 10GbE gaan, met SFP+-poortjes en een direct attach kabeltje als dat binnen de lengtelimiet past.

Heb je toevallig genoeg poortjes op je NAS dan kan je zelfs overwegen om de montagemachines directe (back to back) lijntjes te geven, eventueel met jumbo frames, mocht dat zin hebben in je opzet.

Werk je toevallig met fmoens samen? Zoals daar, zoals hier: Zorg dat je weet hoeveel verkeer je werkelijk verstookt en waar de flessehalzen zich bevinden, dan weet je beter of het zin heeft upgrades uit te voeren.

zondag 11 maart 2018 21:11

Acties:

CH4OS

It's a kind of magic

Is ZFS anno 2018 wellicht niet wat handiger tov RAID5?

[ Voor 49% gewijzigd door CH4OS op 11-03-2018 21:46 ]

maandag 12 maart 2018 06:43

Acties:

maandag 12 maart 2018 08:33

Ceci n'est pas un sous-titre.

Ben(V) schreef op zondag 11 maart 2018 @ 20:33:
Een veel goedkopere oplossing is een Nas te kopen met meerdere netwerkpoorten en een managed switch die LACP onderstend.
Je zet die netwerkpoorten dan in een bond.

Leuk, maar dan heb je nog steeds maar 1Gbit per stream. Stel dat je een van die workstations upgrade met een 10Ge kaart, is je maximale bandbreedte per stream gelimiteerd tot 1Gbit. Kortom, een NAS met 10Gbit kan zeker interessant zijn.

Wat betreft RAID-5: Dat is relatief traag. Ik zou kijken naar een NAS op basis van FreeNAS en dan voor een mirrored stripe (RAID-10 equivalent) gaan, niet voor RAIDZ-1 (RAID-5 equivalent). Scheelt een bak snelheid. Is wel duurder, want in plaats van dat je n+1 aan disks nodig hebt, heb je n+n aan disks nodig.

FreeNAS kun je zelf bouwen, je kunt ook een kant-en-klaar systeem kopen van IX Systems.

CH4OS schreef op zondag 11 maart 2018 @ 21:11:
Is ZFS anno 2018 wellicht niet wat handiger tov RAID5?

ZFS kent ook een RAID-5 achtige: RAIDZ-1
Lijkt er heel sterk op, is net iets anders. Is iets sneller, maar nog steeds een van de tragere RAID variaties. (Er is ook een RAID-6 equivalent (RAIDZ-2) en zelfs een RAID-7 equivalent (RAIDZ-3). Zijn nog trager. Bieden nog meer dataveiligheid.)

ZFS moet je overigens niet alleen kiezen vanwege de snelheid, maar juist vanwege de dataveiligheid. Het is een van de weinige filesystems die bitrot voorkomt. De snelheid is een leuke bonus.

ECC geheugen wel zeer sterk aan te raden en gebruik NOOIT een RAID controller met ZFS. Direct je disks op het mainboard prikken of, als je aansluitingen te kort komt, een zgn. HBA gebruiken is de oplossing.

[ Voor 33% gewijzigd door unezra op 12-03-2018 07:19 ]

Ná Scaoll. - Don’t Panic.

Acties:

maandag 12 maart 2018 08:59

Gewoon een Synology NAS kopen.
Die hebben meerdere modellen met meer dan 1 nic ingebouwd.
Echt vele malen goedkopen dan 10GB netwerk spullen.
Alleen een switch die 10Gb ondersteund kost een kapitaal.

En de maximale bandbreeste per stream is niet van belang omdat topic poster stelt dat op dit moment zelfs voor alle streams 1Gb voldoet, du voor toekomstig gebruik zal 1Gb per PC echt wel voldoen.

ZFS is echt nog niet volwassen en hetzelfde geld voor BTFRS, een NAS met een gewone raid 5 (of 6) bestaande uit 4 of meer disken op EXT4 is gewoon de beste oplossing.

All truth passes through three stages: First it is ridiculed, second it is violently opposed and third it is accepted as being self-evident.

Acties:

CH4OS

It's a kind of magic

Ben(V) schreef op maandag 12 maart 2018 @ 08:33:
ZFS is echt nog niet volwassen en hetzelfde geld voor BTFRS, een NAS met een gewone raid 5 (of 6) bestaande uit 4 of meer disken op EXT4 is gewoon de beste oplossing.

Ben dan eigenlijk ook wel benieuwd waarom je dat 'de beste' oplossing vind. Ik zou het in elk geval niet zomaar aannemen bij een vraagstuk als deze. ZFS is nog altijd in ontwikkeling (EXT4 volgens mij niet meer) en heeft wel degelijk voordelen boven hardware RAID, zoals Unezra reeds heeft laten zien in zijn post.

Dat het niet volwassen genoeg is is natuurlijk ook maar relatief; jij vind het niet volwassen (genoeg), een ander (zoals ik dus) denkt daar anders over en zie niet waarom het niet gebruikt zou kunnen worden. Zelf gebruik ik het sinds afgelopen zomer en ben nog nooit ZFS gerelateerde problemen tegengekomen. Wat dat betreft is het dus naar mijn mening zeer stabiel te noemen.

En aangezien BTRFS in RedHat deprecated is heeft BTRFS al helemaal geen toekomst in enterprise-grade OS'es.

[ Voor 40% gewijzigd door CH4OS op 12-03-2018 09:12 ]

maandag 12 maart 2018 09:04

Acties:

maandag 12 maart 2018 09:32

Ceci n'est pas un sous-titre.

Ben(V) schreef op maandag 12 maart 2018 @ 08:33:
ZFS is echt nog niet volwassen en hetzelfde geld voor BTFRS, een NAS met een gewone raid 5 (of 6) bestaande uit 4 of meer disken op EXT4 is gewoon de beste oplossing.

Pardon!?
ZFS niet volwassen?

Het is op dit moment een van de meest betrouwbare filesystems die er zijn, die features kent die weinig andere filesystems kennen.

(Zoals bitrot bescherming en extreem hoge transfer snelheden.)

Niet dat ext4 slecht is, maar het mist features die ZFS wel heeft en is zeker niet beter of betrouwbaarder dan ZFS.

EDIT:
10G switches worden steeds betaalbaarder, zeker bedrijfsmatig. Alleen voor de gemiddelde hobbyist ligt het price-point nog wat aan de hoge kant. Het gaat om AV bewerking, dan is meer eigenlijk altijd beter. Waar nu 1G nog volstaat, kan het morgen te krap zijn. Ik zou dus zeker investeren in 10G apparatuur en de NAS met bijbehorende switch is daar een prima start voor.

[ Voor 23% gewijzigd door unezra op 12-03-2018 09:06 ]

Ná Scaoll. - Don’t Panic.

Acties:

Verwijderd

Het is waar dat ZFS hele fancy features heeft maar als je die niet nodig hebt, dan heb je er niet zo veel aan. En helemaal nadeel-vrij is het ook niet. ZFS is gebouwd op een aantal aannames waar je netjes aan moet voldoen of het kan je behoorlijk bijten. Te beginnen met een machine met heel veel ECC RAM, en de aanwezigheid van recente backups. Die bitrotbescherming is vooral bitrotdetectie en dan de boel dichtzetten totdat je de backups teruggezet hebt, bijvoorbeeld. En de manier waarop upgrades doorgevoerd worden... daar kan ook het een en ander beter. Voor productie is ongevraagd diskformat aanpassen dat dan onomkeerbaar blijkt onacceptabel, want het maakt downgrades onmogelijk. Dan heb je dus een tweede machine nodig waar je op kan terugvallen, of alweer je complete set backups op een scrupuleus schoongeveegde machine afdraaien. Dit heeft redelijk groot effect op je upgrade windows, tenminste als je productie draait. Als risico op een paar dagen downtime niet erg is, niets aan de hand.

Daarnaast is het een monolitisch systeem dat niet lekker samenwerkt met bijvoorbeeld GEOM en dus kun je niet even een module ertussenmixen, je bent afhankelijk van wat ZFS kan en toelaat. Mijn context is die van FreeBSD-gebruiker en van de kat uit de boom kijken met andermans ervaringen. Hoe ZFS zich verhoudt tot LVM en de verschillende linux-bestandssystemen weet ik niet. FreeNAS baseert op FreeBSD.

Voor sommige dingen is FFS nog steeds beter -- kleine bootschijfjes of -flash drives, bijvoorbeeld, en het heeft geen diskruimte nodig om bestanden te wissen, ZFS wel -- maar desondanks waren de FreeBSD-developers al druk op weg te verzinnen met welk excuus ze FFS zouden afserveren en hun toekomst alleen nog aan hun geliefde buzzword ZFS te verbinden. En die houding, die maakt mij wat huiverig. Ja, het kan veel. Maar of het nu geschikt is voor wat jij ermee wil, voor je het weet kan en mag je niets anders meer. En dat, daarvoor was ik nu net niet de FOSS wereld ingedoken.

Maargoed, deze discussie is behoorlijk theoretisch en een beetje off-topic zolang TS stil blijft en ons niet vertelt waar het nu werkelijk om gaat.

maandag 12 maart 2018 10:02

Acties:

maandag 12 maart 2018 10:15

loves wheat smoothies

@BezurK Het is niet helemaal zwart wit.. zo zijn dingen als flow control en indirect je port buffer allemaal van invloed op een gemixte omgeving. Als je hoe dan ook gaat investeren in een NAS is 10Gbit vaak maar weinig meer. Totdat je je werkstations ook voorzien hebt van 10Gbit, kan je ook je 10Gbit interface in LACP zetten (zoals eerder genoemd). Aangezien de werkstations nu ook maar 1Gbit zijn heb je dan per LACP interface non-blocking verkeer.

De keuze tussen ZFS of wat anders zou ik naast je neer leggen, gesupportte hardware en een goede backup is zoveel belangrijker. Soms is een filesystem zoals btrfs wel interesant om evt. corruptie te detecteren maar dat is voornamelijk bij langdurige opslag zonder regelmatig raid scrubbing e.d..

Verwijderd schreef op zondag 11 maart 2018 @ 21:03:
Nee, met een switch is niet het hele netwerk zo traag als de traagste computer. Dat is het idee van een "switching hub". (Opzoeken die term.)

Een switching hub is niet de juiste benaming, het is gewoon een switch. Een switching hub bestaat ook, dat is een 10Mbit hub en een 100Mbit hub met daar tussen in een switch om onderling te verbinden met zo min mogelijk congestion.

unezra schreef op maandag 12 maart 2018 @ 06:43:
Leuk, maar dan heb je nog steeds maar 1Gbit per stream

Gelukkig zijn de modernere varianten van smb en nfs eindelijk zo gemaakt dat deze daar wel mee overweg kunnen.

[ Voor 10% gewijzigd door DukeBox op 12-03-2018 10:04 ]

Duct tape can't fix stupid, but it can muffle the sound.

Acties:

maandag 12 maart 2018 10:42

Ceci n'est pas un sous-titre.

DukeBox schreef op maandag 12 maart 2018 @ 10:02:
[...]
Gelukkig zijn de modernere varianten van smb en nfs eindelijk zo gemaakt dat deze daar wel mee overweg kunnen.

Volgens mij bepaald het netwerk dit (waaronder de netwerkstack van je OS), niet SMB en NFS zelf.

Het zijn je switches en je OS wat bepaald wat een stream is. Hoe dan ook blijft het per stream en zal een enkele stream nooit over 2 interfaces verdeeld worden. Als een stream gedefinieerd word als source/destination MAC, source/destination IP of een combinatie van die 2, blijft het in de meeste gevallen bij die ene Gbit/s. De winst zit hem in meerdere clients laten verbinden met dezelfde host. Dan krijg je per client 1Gbit/s en in totaal dus inderdaad maximaal de throughput van de gecombineerde interfaces.

Een etherchannel is niet te vergelijken met hoe RAID-1 dat doet. (Dat verdeeld daadwerkelijk blocks over disks heen waardoor je een hogere snelheid krijgt dan de snelheid van een enkele disk. Al is het daar ook geen verdubbeling.)

Long story short: Wil je harder dan 1Gbit/s, moet je upgraden naar 10Gbit/s apparatuur.

Verwijderd schreef op maandag 12 maart 2018 @ 09:32:
Het is waar dat ZFS hele fancy features heeft maar als je die niet nodig hebt, dan heb je er niet zo veel aan. En helemaal nadeel-vrij is het ook niet. ZFS is gebouwd op een aantal aannames waar je netjes aan moet voldoen of het kan je behoorlijk bijten. Te beginnen met een machine met heel veel ECC RAM, en de aanwezigheid van recente backups.

Nope. Voor ZFS heb je helemaal niet heel veel geheugen nodig. Alleen als je deduplicatie wilt gebruiken is dat noodzakelijk. Het idee dat je 1G RAM per 1T netto storage nodig hebt is lang geleden debunked, het is zelfs geen rule of thumb. FreeNAS eist minimaal 8G geheugen, maar zonder FreeNAS kan ZFS ook prima met 4G werken.

Alleen ECC is sterk aan te raden. Geen eis, wel heel zinvol om te doen. Dat heeft er vooral mee te maken dat een van de key features het voorkomen van datacorruptie is. Met ECC gaat dat beter en betrouwbaarder. Werkt het zonder ECC? Ja hoor. Is het verstandig ZFS zonder ECC te gebruiken? Nee.

Recente backups zijn ALTIJD nodig. Dat heeft helemaal niets met ZFS te maken. Het is geen eis of wens van ZFS.

Die bitrotbescherming is vooral bitrotdetectie en dan de boel dichtzetten totdat je de backups teruggezet hebt, bijvoorbeeld. En de manier waarop upgrades doorgevoerd worden... daar kan ook het een en ander beter. Voor productie is ongevraagd diskformat aanpassen dat dan onomkeerbaar blijkt onacceptabel, want het maakt downgrades onmogelijk. Dan heb je dus een tweede machine nodig waar je op kan terugvallen, of alweer je complete set backups op een scrupuleus schoongeveegde machine afdraaien. Dit heeft redelijk groot effect op je upgrade windows, tenminste als je productie draait. Als risico op een paar dagen downtime niet erg is, niets aan de hand.

Die bitrot protectie is realtime. Heeft niets met backups te maken.
Het is letterlijk zodat het bijvoorbeeld een kapotte firmware van je HBA zonder gevolgen kan laten zijn. Je schrijft corrupte data weg, data word gelezen, realtime gecorrigeerd en *tadaa*, je data is nog steeds heel.

Ik denk dat je wat zaken door elkaar haalt hier.

Andere leuke feature van ZFS: Compressie. Daarmee haal je nóg hogere snelheden én bespaar je op netto opslag. Da's wat anders dan deduplicatie dus. Afhankelijk van de data, kun je 20% of meer netto winst halen. Mes snijd aan 2 kanten: Sneller én minder opslagruimte nodig.

Daarnaast is het een monolitisch systeem dat niet lekker samenwerkt met bijvoorbeeld GEOM en dus kun je niet even een module ertussenmixen, je bent afhankelijk van wat ZFS kan en toelaat. Mijn context is die van FreeBSD-gebruiker en van de kat uit de boom kijken met andermans ervaringen. Hoe ZFS zich verhoudt tot LVM en de verschillende linux-bestandssystemen weet ik niet. FreeNAS baseert op FreeBSD.

ZFS is gemaakt door Oracle en ontwikkeld voor Solaris. FreeNAS is inderdaad gebouwd op FreeBSD en de implementatie van ZFS op FreeBSD is rock solid. Ook ZFS on Linux is inmiddels ruim productie geschikt.

Hoe ZFS zich verhoud tot LVM is wat lastig in een paar zinnen uit te leggen. ZFS is qua opzet een beetje te vergelijken met evms.
Het grappige is dat je dus ook LVM binnen ZFS kunt gebruiken, maar ook ext3/ext4, afhankelijk van wat je precies wilt. ZFS is vrij breed inzetbaar en afhankelijk van welke features je nodig hebt, kies je een bepaalde opzet.

Een van de beste primers op dit gebied:
https://pthree.org/2012/0...l-zfs-on-debian-gnulinux/

Voor sommige dingen is FFS nog steeds beter -- kleine bootschijfjes of -flash drives, bijvoorbeeld, en het heeft geen diskruimte nodig om bestanden te wissen, ZFS wel -- maar desondanks waren de FreeBSD-developers al druk op weg te verzinnen met welk excuus ze FFS zouden afserveren en hun toekomst alleen nog aan hun geliefde buzzword ZFS te verbinden. En die houding, die maakt mij wat huiverig. Ja, het kan veel. Maar of het nu geschikt is voor wat jij ermee wil, voor je het weet kan en mag je niets anders meer. En dat, daarvoor was ik nu net niet de FOSS wereld ingedoken.

Maargoed, deze discussie is behoorlijk theoretisch en een beetje off-topic zolang TS stil blijft en ons niet vertelt waar het nu werkelijk om gaat.

Absoluut maar TS wil een hoge snelheid en heeft te maken met grote hoeveelheden data. Precies dat zijn de gebieden waar ZFS ijzersterk in is.

Daarbij denkt TS aan een nieuwe NAS. Op het moment dat je nu gaat kijken naar een nieuwe NAS, is ZFS zeker interessant mee te nemen in de overwegingen. Het is niet de holy grail, maar wel een heel interessante optie met features die veel andere NAS systemen niet hebben. Het heeft features die zelfs de grote jongens (NetApp) niet hebben. (WAFL is leuk, maar traag en ZFS is veel flexibeler. Zeker als je met caching gaat werken, dat hebben we niet eens aangeraakt hier. Stock ZFS met enkel wat geheugen zonder read- en write caching is al zo veel leuker dan ext4. Ga je met read/write caching spelen, word het nóg veel leuker.)

[ Voor 68% gewijzigd door unezra op 12-03-2018 10:32 . Reden: reactie naar drie van acht toegevoegd ]

Ná Scaoll. - Don’t Panic.

Acties:

BezurK

Topicstarter

Verwijderd schreef op zondag 11 maart 2018 @ 21:03:
Nee, met een switch is niet het hele netwerk zo traag als de traagste computer. Dat is het idee van een "switching hub". (Opzoeken die term.)

Ja, je kan je NAS aan een 10GbE poortje knopen. Je kan het ook met link aggregation (met of zonder LACP) doen. Dat is altijd een beetje gedoe want als twee (of drie) montagemachines toevallig in hetzelfde emmertje vallen en dus van hetzelfde lijntje gebruikmaken dan win je nog niet zoveel. Even opletten dus.

Of het goedkoper is moet je ook even nakijken, want multipoort kaartjes willen nogal eens in de papieren lopen en 10GbE kaartjes zijn soms heel schappelijk te krijgen. Dus het is goed om na te kijken maar ga er niet vanuit dat het ene altijd goedkoper is dan het andere. Als het niet veel uitmaakt zou ik toch voor de 10GbE gaan, met SFP+-poortjes en een direct attach kabeltje als dat binnen de lengtelimiet past.

Heb je toevallig genoeg poortjes op je NAS dan kan je zelfs overwegen om de montagemachines directe (back to back) lijntjes te geven, eventueel met jumbo frames, mocht dat zin hebben in je opzet.

Werk je toevallig met fmoens samen? Zoals daar, zoals hier: Zorg dat je weet hoeveel verkeer je werkelijk verstookt en waar de flessehalzen zich bevinden, dan weet je beter of het zin heeft upgrades uit te voeren.

Mijn TI opleiding is alweer 15 jaar geleden. Toen was de overgang van 10mbit naar 100mbit actueel en ik kon mij herinneren dat het niet te mixxen was. Maar dat was met hubs, idd. Nu weet ik weer waarom we tegenwoordig vooral switches gebruiken.

Thanks

Waarom SFP+ eigenlijk? Voldoet gewoon UTP niet voldoende? De switches en NICS met SFP+ zijn vele malen duurder?

unezra schreef op maandag 12 maart 2018 @ 06:43:
[...]

Leuk, maar dan heb je nog steeds maar 1Gbit per stream. Stel dat je een van die workstations upgrade met een 10Ge kaart, is je maximale bandbreedte per stream gelimiteerd tot 1Gbit. Kortom, een NAS met 10Gbit kan zeker interessant zijn.

Wat betreft RAID-5: Dat is relatief traag. Ik zou kijken naar een NAS op basis van FreeNAS en dan voor een mirrored stripe (RAID-10 equivalent) gaan, niet voor RAIDZ-1 (RAID-5 equivalent). Scheelt een bak snelheid. Is wel duurder, want in plaats van dat je n+1 aan disks nodig hebt, heb je n+n aan disks nodig.

FreeNAS kun je zelf bouwen, je kunt ook een kant-en-klaar systeem kopen van IX Systems.

[...]

ZFS kent ook een RAID-5 achtige: RAIDZ-1
Lijkt er heel sterk op, is net iets anders. Is iets sneller, maar nog steeds een van de tragere RAID variaties. (Er is ook een RAID-6 equivalent (RAIDZ-2) en zelfs een RAID-7 equivalent (RAIDZ-3). Zijn nog trager. Bieden nog meer dataveiligheid.)

ZFS moet je overigens niet alleen kiezen vanwege de snelheid, maar juist vanwege de dataveiligheid. Het is een van de weinige filesystems die bitrot voorkomt. De snelheid is een leuke bonus.

ECC geheugen wel zeer sterk aan te raden en gebruik NOOIT een RAID controller met ZFS. Direct je disks op het mainboard prikken of, als je aansluitingen te kort komt, een zgn. HBA gebruiken is de oplossing.

Ik wil in de NAS enige redundantie omdat ik downtime bij een kapotte schijf vervelend (en duur) vind. Maar puur voor backup is het niet. Er gaat dagelijks een rsync draaien naar een offsite NAS voor backup. (gebeurd nu ook, maar dan vanaf het werkstation wat als fileserver fungeert)

Ben(V) schreef op maandag 12 maart 2018 @ 08:33:
Gewoon een Synology NAS kopen.
Die hebben meerdere modellen met meer dan 1 nic ingebouwd.
Echt vele malen goedkopen dan 10GB netwerk spullen.
Alleen een switch die 10Gb ondersteund kost een kapitaal.

En de maximale bandbreeste per stream is niet van belang omdat topic poster stelt dat op dit moment zelfs voor alle streams 1Gb voldoet, du voor toekomstig gebruik zal 1Gb per PC echt wel voldoen.

ZFS is echt nog niet volwassen en hetzelfde geld voor BTFRS, een NAS met een gewone raid 5 (of 6) bestaande uit 4 of meer disken op EXT4 is gewoon de beste oplossing.

Een 10gbit switch een kapitaal? Ik vind het meevallen? Ik zag er een met 2x 10gbit en 8x 1gbit voor nog geen €200? Dat vind ik heel betaalbaar.

CH4OS schreef op maandag 12 maart 2018 @ 08:59:
[...]
Ben dan eigenlijk ook wel benieuwd waarom je dat 'de beste' oplossing vind. Ik zou het in elk geval niet zomaar aannemen bij een vraagstuk als deze. ZFS is nog altijd in ontwikkeling (EXT4 volgens mij niet meer) en heeft wel degelijk voordelen boven hardware RAID, zoals Unezra reeds heeft laten zien in zijn post.

Dat het niet volwassen genoeg is is natuurlijk ook maar relatief; jij vind het niet volwassen (genoeg), een ander (zoals ik dus) denkt daar anders over en zie niet waarom het niet gebruikt zou kunnen worden. Zelf gebruik ik het sinds afgelopen zomer en ben nog nooit ZFS gerelateerde problemen tegengekomen. Wat dat betreft is het dus naar mijn mening zeer stabiel te noemen.

En aangezien BTRFS in RedHat deprecated is heeft BTRFS al helemaal geen toekomst in enterprise-grade OS'es.

Interessant, die hele discussie rondom het te kiezen FS. Daar moet ik duidelijk nog even induiken. Ik gebruik eigenlijk gewoon altijd RAID5 omdat ik het ken, niet meer dan dat

DukeBox schreef op maandag 12 maart 2018 @ 10:02:
@BezurK Het is niet helemaal zwart wit.. zo zijn dingen als flow control en indirect je port buffer allemaal van invloed op een gemixte omgeving. Als je hoe dan ook gaat investeren in een NAS is 10Gbit vaak maar weinig meer. Totdat je je werkstations ook voorzien hebt van 10Gbit, kan je ook je 10Gbit interface in LACP zetten (zoals eerder genoemd). Aangezien de werkstations nu ook maar 1Gbit zijn heb je dan per LACP interface non-blocking verkeer.

De keuze tussen ZFS of wat anders zou ik naast je neer leggen, gesupportte hardware en een goede backup is zoveel belangrijker. Soms is een filesystem zoals btrfs wel interesant om evt. corruptie te detecteren maar dat is voornamelijk bij langdurige opslag zonder regelmatig raid scrubbing e.d..

[...]

Een switching hub is niet de juiste benaming, het is gewoon een switch. Een switching hub bestaat ook, dat is een 10Mbit hub en een 100Mbit hub met daar tussen in een switch om onderling te verbinden met zo min mogelijk congestion.

[...]

Gelukkig zijn de modernere varianten van smb en nfs eindelijk zo gemaakt dat deze daar wel mee overweg kunnen.

Voor nu voldoet 1gbit PER WERKSTATION prima. Wat ik alleen voor wil zijn is dat de 1gbit vanaf de NAS niet meer voldoende gaat zijn om 3 wekstations van data te voorzien. Daarom leek het mij handig dat op 10gbit te doen. Mits dat uberhaupt technisch zin heeft, maar zoals ik nu begrijp wel.

De meerkosten zijn wat dat betreft niet erg groot. De meeste serieuze NAS modellen hebben al 1 of 2 10gbit NIC's en een switch die het aankan kost ook de wereld niet (meer). Ik denk dus dat ik dat maar gewoon moet doen!

Bedankt voor alle advies.

Nu nog een zinnige keuze maken vwb de disk configuratie en FS...

Rookworst zonder R is ook worst.

maandag 12 maart 2018 10:46

Acties:

maandag 12 maart 2018 10:48

Ceci n'est pas un sous-titre.

@BezurK Even over die synchronisatie:
FreeNAS kan dat zelf.

Je zet een 2e FreeNAS doos elders neer en via SSH zet het de delta's van de data over.

Interessant leesvoer:
https://doc.freenas.org/11/tasks.html

(Het kan dus op meerdere manieren, óók naar de cloud. Dat laatste wist ik niet, da's voor mij ook nieuwe informatie.)

Oh, en kijk ook even naar de systemen van IX Systems:
http://www.freenas.org/for-business/

FreeNAS, maar dan supported. Erg interessant als je het bedrijfsmatig gaat gebruiken.

[ Voor 21% gewijzigd door unezra op 12-03-2018 10:48 ]

Ná Scaoll. - Don’t Panic.

Acties:

BezurK

Topicstarter

unezra schreef op maandag 12 maart 2018 @ 10:46:
@BezurK Even over die synchronisatie:
FreeNAS kan dat zelf.

Je zet een 2e FreeNAS doos elders neer en via SSH zet het de delta's van de data over.

Interessant leesvoer:
https://doc.freenas.org/11/tasks.html

(Het kan dus op meerdere manieren, óók naar de cloud. Dat laatste wist ik niet, da's voor mij ook nieuwe informatie.)

Cool, dankje voor de pro-actieve info! Even als leek op dat gebied: die NAS "aan de andere kant" heb ik al staan. Dat is een QNAP. Die ontvangt al zo'n 1,5 jaar netjes de nachtelijke backups via SSH/rsync. Kan die QNAP ook gewoon FreeNAS draaien?

Heel eerlijk gezegd heb ik geen dagen de tijd of de energie om erg veel uit te gaan zoeken. Liever iets dat "plug and play" is. In mijn beleving is dat OS wat op de QNAP staat erg prettig en intuitief. Ik neem aan dat ik me daarmee ook kan redden?

Rookworst zonder R is ook worst.

maandag 12 maart 2018 10:56

Acties:

maandag 12 maart 2018 11:40

Ceci n'est pas un sous-titre.

BezurK schreef op maandag 12 maart 2018 @ 10:48:
[...]
Cool, dankje voor de pro-actieve info! Even als leek op dat gebied: die NAS "aan de andere kant" heb ik al staan. Dat is een QNAP. Die ontvangt al zo'n 1,5 jaar netjes de nachtelijke backups via SSH/rsync. Kan die QNAP ook gewoon FreeNAS draaien?

Volgens mij is dat lastig dus als ik heel eerlijk ben zou ik die QNAP verkopen en vervangen door een FreeNAS machine. (Als je voor FreeNAS gaat that is.) Kost je misschien nu wat meer, maar is denk ik zeker de moeite van het overwegen waard.

Ik zie trouwens dat ik je half naar de verkeerde pagina stuur. Dit is wat ik bedoelde:
https://doc.freenas.org/11/storage.html#replication-tasks

Replicatie van ZFS snapshots dus, niet op file-niveau. Dat is ontzettend efficiënt, maar eist wel een ZFS systeem aan de andere kant. Ik vind het een van de interessantste kenmerken van ZFS/FreeNAS.

Heel eerlijk gezegd heb ik geen dagen de tijd of de energie om erg veel uit te gaan zoeken. Liever iets dat "plug and play" is. In mijn beleving is dat OS wat op de QNAP staat erg prettig en intuitief. Ik neem aan dat ik me daarmee ook kan redden?

FreeNAS is een beetje lelijk om te zien, maar persoonlijk vind ik het wel redelijk prettig werken. 100% intuitief is het niet en het is nuttig je een klein beetje in te lezen in de werking van ZFS om de juiste keuzes te maken. Dagen heb je daar niet voor nodig denk ik.

Plug 'n play word het nooit. Als je dat wil, moet je een ICT dienstverlener inhuren.

(Maar dan zit je weer flink in overleg en lopen de kosten heel rap op.)

Note: Ik vind FreeNAS heel erg fijn, gebruik het thuis en ga het bedrijfsmatig ook inzetten. Blijft wel dat ik vind dat de interface iets logischer had mogen zijn.

[ Voor 4% gewijzigd door unezra op 12-03-2018 10:57 ]

Ná Scaoll. - Don’t Panic.

Acties:

maandag 12 maart 2018 13:51

loves wheat smoothies

BezurK schreef op maandag 12 maart 2018 @ 10:42:
Wat ik alleen voor wil zijn is dat de 1gbit vanaf de NAS niet meer voldoende gaat zijn om 3 wekstations van data te voorzien. Daarom leek het mij handig dat op 10gbit te doen. Mits dat uberhaupt technisch zin heeft, maar zoals ik nu begrijp wel.

Nogmaals, dat hangt van je netwerk configuratie af en hardware. Als door flow control je 1Gbit continue pauze frames afstuurt naar je 10Gbit interface dan staat de rest daar ook op te wachten. In principe wilt je een non-blocking stream en dat pér client. Met een gemixte omgeving (10g/1g) is dat zonder NPAR niet mogelijk.

Samengevat,
- bij gemixte omgevingen zorg voor goed gebruik van MPIO capabele protocollen
- zorg voor zoveel mogelijk voor non-blocking paden per client.

unezra schreef op maandag 12 maart 2018 @ 10:15:
Volgens mij bepaald het netwerk dit (waaronder de netwerkstack van je OS), niet SMB en NFS zelf.

Het zijn je switches en je OS wat bepaald wat een stream is. Hoe dan ook blijft het per stream en zal een enkele stream nooit over 2 interfaces verdeeld worden.

https://blogs.technet.mic...-server-2012-and-smb-3-0/

De intelligentie zit dus wel degelijk in het protocol.

Long story short: Wil je harder dan 1Gbit/s, moet je upgraden naar 10Gbit/s apparatuur.

Nee dus, zolang het gebruikte protocol maar MPIO ondersteund.

[ Voor 49% gewijzigd door DukeBox op 12-03-2018 11:53 ]

Duct tape can't fix stupid, but it can muffle the sound.

Acties:

Verwijderd

BezurK schreef op maandag 12 maart 2018 @ 10:42:
Waarom SFP+ eigenlijk? Voldoet gewoon UTP niet voldoende? De switches en NICS met SFP+ zijn vele malen duurder?

Voor 1Gbit is SFP "apart", backhaul, lange afstanden, maar UTP is "gewoon". Voor 10Gbit is dat eigenlijk andersom, en UTP is dus niet meer automatisch "gewoon"; het kost bv. meer coding overhead dan glas of coax. De opmerking staat er vooral om aan te stippen dat je die aanname niet moet doen. En qua prijs, kijk maar.

maandag 12 maart 2018 14:16

Acties:

ijzerman86

Ik kwam dit topic bij toeval tegen. We zitten op mijn werkplek in hetzelfde schuitje en ik heb het als volgt opgelost. We hebben een Dikke synology met 4 nic's op 1gb/s. Je kan elke montage pc op een apart ip laten verbinden. Dit icm met 6x2tb in raid zorgt ervoor dat we altijd prima in full hd kunnen editen met 3 pc's.
Er zijn technisch altijd betere oplossingen te vinden dan bovenstaande maar voor ons(en mij als technische man) werkt dit het makkelijkst want dit is simpel op te zetten met beperkte kennis en zeer stabiel.

maandag 12 maart 2018 14:26

Acties:

maandag 12 maart 2018 14:30

loves wheat smoothies

ijzerman86 schreef op maandag 12 maart 2018 @ 14:16:
Je kan elke montage pc op een apart ip laten verbinden.

Heb je ze ook allen in een ander subnet dan ? Anders zal TX vanaf de synology alleen over de primaire adapter gaan. Alleen ipv4 en ipv6 kan je een andere service order geven.

Duct tape can't fix stupid, but it can muffle the sound.

Acties:

ijzerman86

Wat bedoel je met de primaire adapter? Ik heb 4 fysieke gigabit netwerkpoorten in mn synology zitten of zit dat intern toch anders in elkaar?
Ik heb ze niet op een apart subnet zitten. We kunnen van elk workstation simultaan ~90mb/seconde overpompen hetgeen voldoende is voor het HD editwerk dat we doen. Met mn beperkte kennis vond ik dat wel afdoende maar als het makkelijker/beter/sneller kan dan hoor ik het graag

maandag 12 maart 2018 14:34

Acties:

maandag 12 maart 2018 14:36

Ceci n'est pas un sous-titre.

@DukeBox I stand corrected. Voor SMB 3.0 en hoger gaat het dus niet meer op.
Netjes.

(Blijft wel dat het heel specifiek SMB is. Voor de meeste andere protocollen gaat het niet op.)

Even wat gegoogled, schijnt dat FreeNAS het inmiddels ook ondersteunt:
https://forums.freenas.or...channel-on-freenas.59429/

Ná Scaoll. - Don’t Panic.

Acties:

Paul

Ik lees wel "zakelijk", maar ook "beperkt budget". Als je op eBay een paar "MNPA19-XTR" kaartjes koopt voor ~€ 30 per stuk (de meeste sellers hebben ook DAC-kabels of SFP's), en in de pricewatch voor €250 een switch met 4 10G poorten dan kun je de NAS en de 3 werkstations alle drie van 10G voorzien.

Op die manier hoef je niet moeilijk te doen met IP-adressen, multipathing etc etc. De connect-X 2 is misschien niet de beste 10G netwerkkaart, maar je komt VER boven de gigabit uit

Tevens zou ik in de NAS een SSD-pool aanmaken met daarop de actieve projecten, en de boel archiveren op spinning disks. SAS SSD's zijn een stuk duurder dan SATA SSD's dus verwacht geen wonderen als je met 3 man tegelijk gaat zitten stampen als je voor SATA gaat (let bij SAS ook op dat je NAS het aankan, desnoods een losse HBA aanschaffen), maar nog altijd stukken sneller dan spinning disks.

"Your life is yours alone. Rise up and live it." - Richard Rahl
Rhàshan - Aditu Sunlock

maandag 12 maart 2018 14:42

Acties:

vrijdag 16 maart 2018 16:20

loves wheat smoothies

unezra schreef op maandag 12 maart 2018 @ 14:34:
@DukeBox
(Blijft wel dat het heel specifiek SMB is. Voor de meeste andere protocollen gaat het niet op.)

NFS sinds v 4.1
iSCSI sinds 1.0
FC sinds 1.2
AFP over Thunderbolt sinds Thunderbolt 2

[ Voor 3% gewijzigd door DukeBox op 12-03-2018 14:42 ]

Duct tape can't fix stupid, but it can muffle the sound.

Acties:

vrijdag 16 maart 2018 16:46

Ceci n'est pas un sous-titre.

DukeBox schreef op maandag 12 maart 2018 @ 14:42:
[...]

NFS sinds v 4.1
iSCSI sinds 1.0
FC sinds 1.2
AFP over Thunderbolt sinds Thunderbolt 2

Dank hier voor trouwens. Net dit heb ik nodig in een troubleshoot met een leverancier.

Ik wist het _echt_ niet. Weer wat geleerd en wie weet hebben we hier op korte of lange termijn wat aan.

(Op dit moment blijven we steken op een kwart tot de helft van wirespeed, maar als dat is opgelost is het zeker ook interessant te kijken of we met SMB 3 en NFS 4.1 harder kunnen dan wirespeed.)

Ná Scaoll. - Don’t Panic.

Acties:

vrijdag 16 maart 2018 18:15

Je kunt alleen met SMB multichannel van microsoft op dit moment sneller dan wirespeed.
Daarmee kun je daadwerkelijk een stream over meerdere netwerkpoorten verdelen.

Echter alleen micosoft heeft dat momenteel geimplementeerd en in de laastse SAMBA versie zit het pas als experimenteel feature.

All truth passes through three stages: First it is ridiculed, second it is violently opposed and third it is accepted as being self-evident.

Acties:

vrijdag 16 maart 2018 18:51

Ceci n'est pas un sous-titre.

Ben(V) schreef op vrijdag 16 maart 2018 @ 16:46:
Je kunt alleen met SMB multichannel van microsoft op dit moment sneller dan wirespeed.
Daarmee kun je daadwerkelijk een stream over meerdere netwerkpoorten verdelen.

Echter alleen micosoft heeft dat momenteel geimplementeerd en in de laastse SAMBA versie zit het pas als experimenteel feature.

Zie mijn post iets eerder.

Ik heb even gegoogled, maar ook FreeNAS ondersteunt het gewoon.

Hoe dan ook, het is een feature waarvan ik het bestaat niet wist en die wel verdomd handig is. (Sterker nog, het is een feature waarvan ik hoop dat wij 'm op kantoor kunnen inzetten omdat het wat traagheids issues kan verhelpen zonder te upgraden naar 10GBit.)

Ná Scaoll. - Don’t Panic.

Acties: