Beste verbindingswijze freenas

[Cyberpope]

Ik heb een vraagje hoe ik het beste en snelste kan verbinden met freenas.

Ik heb sinds kort een freenas systeempje staan als backup. Lekker laag verbruik (25 watt), maar toch voldoende als backup. Het is een pentium III 800 met 2 harde schijven. Ik vond de NAS erg traag. Veel en veel trager als ik verwacht had. Ik dacht dat dit aan de hardware lag. Ondanks dat de processor belasting meestal erg laag was.

Via Samba haalde ik net 13 mb/s (windows verkenner)
Via SSH 5 mb/s (winscp)
Via FTP een heel erg klapperend beeld van tussen de 8 en 0 mb/s (Total commander)
Erg treurig dus en dan duurt backuppen erg lang.

Maar wat schept mijn verbazing. Als ik ze alle 3 tegelijk doe, kom ik al aan de 30mb/s. Of te wel de hardware kan het probleem niet zijn en het netwerk volgens mij ook niet. Het moet dus ergens in de software zitten. Kan de freenas niet sneller of wat zou het kunnen zijn. Iemand hints en tips. MTU size is al aangepast (1500?) of moet die nog hoger?

Nu backup ik nog via intern netwerk, maar zometeen moet hij bij mijn moeder komen staan. Dan gaat het via internet, maar we hebben beiden een 100mbit verbinding.

Dus
- Is dit nu een Freenas beperking
- Is het met instellingen aan te pakken
- Zit het in mijn netwerk instellingen (en dan moet ik het overzetten naar NT als forum??)

[Verwijderd]

Je kan het netwerk testen door "iperf" te gebruiken op een client en de server. Om de harde schijven te testen kan je "hdparm" gebruiken. Tijdens het uploaden/downloaden kan je "top" gebruiken en eventueel "iotop" om te kijken of je cpu veel te doen heeft.

Kijk eerst even met een linux client hoe snel hij is, windows valt namelijk vaker tegen. FreeNAS heeft zeker niet beperkingen, FreeBSD kan namelijk makkelijk > 100mbit/s verwerken als OS met standaardinstellingen. Het zijn waarschijnlijk je harde schijfjes, kijk of je ze in raid0 kan configureren met FreeNAS.

Edit: Iperf is gewoon te vinden in de ports: /usr/ports/benchmark/iperf dacht ik (met portsnap kan je die ports binnen halen). Installeren kan met "make install clean" voor als je niet bekend was met compileren

Hdparm bestaat inderdaad niet voor FreeBSD , maar daarvoor kan je mooi diskinfo gebruiken (gebruik -tv switches).

[ Voor 30% gewijzigd door Verwijderd op 06-07-2009 19:39 ]

[Cyberpope]

Als het mijn harde schijven zijn?? hoe kan het dan dat ik wel 30mbit/s haal met 3 losse verbindingen en maar 12 mbit/s met 1 enkele verbinding? En dat is nog meer vreemd, want moet de HD harder werken als met een sequele verbinding waarbij hij niet tussen 2 (of 3) bestanden hoeft te schakelen.

Werkt iperf en hdparm op freeBSD? Kan dit namelijk niet terug vinden op Google. Slechts voor windows en linux.

[DennusB]

Cyberpope schreef op maandag 06 juli 2009 @ 19:28:
Als het mijn harde schijven zijn?? hoe kan het dan dat ik wel 30mbit/s haal met 3 losse verbindingen en maar 12 mbit/s met 1 enkele verbinding? En dat is nog meer vreemd, want moet de HD harder werken als met een sequele verbinding waarbij hij niet tussen 2 (of 3) bestanden hoeft te schakelen.

Werkt iperf en hdparm op freeBSD? Kan dit namelijk niet terug vinden op Google. Slechts voor windows en linux.

freeBSD is toch gebaseerd op linux of ben ik nu gek ?

[Cyberpope]

Nee, dat is mijn onkunde.....

[Diabolical]

DennusB schreef op maandag 06 juli 2009 @ 19:35:
[...]


freeBSD is toch gebaseerd op linux of ben ik nu gek ?

Open deur.. zal hem niet intrappen..

freeBSD is zoals de naam doet vermoeden gebaseerd op BSD. Een volwaardige Unix variant. Linux is een Unix "achtig" besturingsysteem. Het zijn twee totaal verschillende OS'en ondanks hun UNIX achtergronden. Sommige dingen zijn uitwisselbaar of makkelijk te porten maar lang niet alles.

Wikipedia: FreeBSD

[ Voor 6% gewijzigd door Diabolical op 06-07-2009 19:53 ]

[blaataaps]

En linux is geen "volwaardige unix variant"?

[Diabolical]

blaataaps schreef op maandag 06 juli 2009 @ 19:58:
En linux is geen "volwaardige unix variant"?

Linux is Linux. Velen zeggen dat het een UNIX "like" OS is maar geen UNIX. Maar in de zin van volwaardig UNIX, het is opnieuw gebouwd met UNIX principes maar zonder dat het gebaseerd is op enig ander UNIX OS. In die zin is het onbelast met het verleden van UNIX. Inmiddels heeft het wel zijn eigen achtergrond opgebouwd met legacy shit.. maar dat terzijde ....

Het is maar hoe je er tegenaan kijkt .

[Boudewijn]

DennusB schreef op maandag 06 juli 2009 @ 19:35:
[...]


freeBSD is toch gebaseerd op linux of ben ik nu gek ?

Jij bent kennelijk gek.
FreeBSD != Linux, en BSD was er al voor Linux... je zou eerder het omgedraaide zeggen: Linux heeft wat dingen bij BSD gehaald .

En system V uiteraard.

[Cyberpope]

Voor deze discussie in het wel of niet volwaardig variant zijn verzand... Ik heb iperf draaiende gekregen. Resultaten

Server listening on TCP port 5001
TCP window size: 64.0 KByte (default)
------------------------------------------------------------
[ 4] local 192.168.2.250 port 5001 connected with 192.168.2.20 port 4908
------------------------------------------------------------
Client connecting to 192.168.2.20, TCP port 5001
TCP window size: 32.5 KByte (default)
------------------------------------------------------------
[ 6] local 192.168.2.250 port 57507 connected with 192.168.2.20 port 5001
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 15.5 MBytes 13.0 Mbits/sec
[ ID] Interval Transfer Bandwidth
[ 6] 0.0-10.0 sec 30.6 MBytes 25.6 Mbits/sec

[Boudewijn]

Wat gebeurt er trouwens als je NFS gebruikt?

[Cyberpope]

Die heb ik nu aan staan, maar waarschijnlijk moet ik daarvoor nog meer doen.... Ga even google weer een slinger geven.

Iemand nog commentaar op de iperf waardes?

[Verwijderd]

Ik krijg zelf 92mbit/s werkend op een 100mbit lijn (pc <-> thuisrouter <-> server). Kijk of Network Polling werkt. De cpu van je server heeft het denk ik te zwaar te verduren, met polling zal dit een stuk minder worden. Hiervoor moet je helaas wel je kernel opnieuw compilen en het werkt nog maar met een stuk of 10 netwerkdrivers.

Op meuk: FreeNAS 0.522 staat overigens dat de kernel waarschijnlijk al wel compiled is met polling, dus "ifconfig bge0 polling" kan genoeg zijn.

[Cyberpope]

Mijn CPU komt nooit boven de 10% belasting uit. Wat ik ook doe. Dus denk niet dat het daarin zit. Geen enkele verbetering met polling...

Het liefst zou ik hem met SSH hem zo snel mogelijk maken, want dat is wat ik straks ook gebruik over het internet.

Overigens zit diskinfo standaard in Freenas

Waardes

$ diskinfo -ct /dev/ad0
/dev/ad0
512 # sectorsize
320072933376 # mediasize in bytes (298G)
625142448 # mediasize in sectors
620181 # Cylinders according to firmware.
16 # Heads according to firmware.
63 # Sectors according to firmware.

I/O command overhead:
time to read 10MB block 0.126871 sec = 0.006 msec/sector
time to read 20480 sectors 1.845188 sec = 0.090 msec/sector
calculated command overhead = 0.084 msec/sector

Seek times:
Full stroke: 250 iter in 5.970714 sec = 23.883 msec
Half stroke: 250 iter in 4.445434 sec = 17.782 msec
Quarter stroke: 500 iter in 7.020014 sec = 14.040 msec
Short forward: 400 iter in 2.443867 sec = 6.110 msec
Short backward: 400 iter in 2.975320 sec = 7.438 msec
Seq outer: 2048 iter in 0.205582 sec = 0.100 msec
Seq inner: 2048 iter in 0.230349 sec = 0.112 msec
Transfer rates:
outside: 102400 kbytes in 1.335873 sec = 76654 kbytes/sec
middle: 102400 kbytes in 1.521922 sec = 67283 kbytes/sec
inside: 102400 kbytes in 2.651594 sec = 38618 kbytes/sec

En

$ diskinfo -ct /dev/ad2
/dev/ad2
512 # sectorsize
160041885696 # mediasize in bytes (149G)
312581808 # mediasize in sectors
310101 # Cylinders according to firmware.
16 # Heads according to firmware.
63 # Sectors according to firmware.

I/O command overhead:
time to read 10MB block 0.194303 sec = 0.009 msec/sector
time to read 20480 sectors 2.593801 sec = 0.127 msec/sector
calculated command overhead = 0.117 msec/sector

Seek times:
Full stroke: 250 iter in 6.680189 sec = 26.721 msec
Half stroke: 250 iter in 4.765362 sec = 19.061 msec
Quarter stroke: 500 iter in 7.420512 sec = 14.841 msec
Short forward: 400 iter in 3.291008 sec = 8.228 msec
Short backward: 400 iter in 2.935158 sec = 7.338 msec
Seq outer: 2048 iter in 0.300981 sec = 0.147 msec
Seq inner: 2048 iter in 0.304891 sec = 0.149 msec
Transfer rates:
outside: 102400 kbytes in 1.910370 sec = 53602 kbytes/sec
middle: 102400 kbytes in 1.989237 sec = 51477 kbytes/sec
inside: 102400 kbytes in 3.066227 sec = 33396 kbytes/sec

Niet de snelste disks, maar ik blijf rond die 12 Mbits/s hangen. Dat is 15000 Kbytes/sec. Ver beneden de laagste waarde. Ook op de sneller disk haal ik geen hogere waarde.

[ Voor 83% gewijzigd door Cyberpope op 06-07-2009 22:59 ]

[Cave_Boy]

Zal wel aan mij liggen maar je window sizes zijn wel verschillend. Als die niet gelijk zijn kan dat toch niet 1 op 1 werken? Je verliest volgens mij daar wel op. Als we zo uitgaan dat je globaal een verdubbeling kwa snelheid kan bemachtigen zou je rond de 60Mbit/s zitten...

Het is een wat oudere pc. Deze heeft geen SATA dus indien je SATA erop hebt zitten is deze via een PCI kaart en deze hebben maar een bandbreedte van 133Mbit/s over alle PCI sloten. Ruim voldoende dus voor een leuke snelheid. Maar de netwerkkaart zit hier vaak ook op. Ook als deze is ingebouwd. Dat houd dus in dat als je je netwerkkaart volledig gaat benutten met 100Mbit/s je nog 33Mbit/s over hebt op de PCI bus.. Nu doet je pc dit vaak middelen.

Indien je de pc hebt aangesloten met PATA (IDE) schijfen dan heb je deze hoogstwaarschijnlijk met de flatcable op het moederbord aangesloten. Hoeveel aderig zijn deze? 80 aderig scheelt best wel veel in snelheid met schijven boven de 100GB merk ik. 40 aderig zijn vaak wat dikkere draadjes dan de 80 aderig. Met 80 aderig heb je ook een bandbreedte van 133Mbit/s maar dan moet je harde schijf en moederbord dit wel ondersteunen.

[Cyberpope]

Geen SATA, gewone PATA schijven verbonden met 80 aderige kabels.
Dell moederbord. De diskinfo snelheden staan hierboven.

En heb je een zoektip over die window sizes.??.. via google krijg ik way te veel hits die niets ermee te maken hebben. Is dat hetzelfde als TCP window? Veel naar lopen zoeken, maar dat leverde weinig op.

Nou aardig met de TCPwindows sizes bezig geweest. Diverse waarden geprobeerd. Afgezien van een soms onbereikbare server, geen echte verbetering moet ik zeggen.

Blijf open staan voor advies...

[ Voor 23% gewijzigd door Cyberpope op 07-07-2009 00:04 ]

[Verwijderd]

tja, meten is weten

eerst even wat dingen rechtzetten; FreeBSD is een variant op BSD welke voortkomt uit AT&T Unix en dus een volwaardig 'heir' op de Unix throne is zullen we maar zeggen. Linux is Unix achtig en compleet van scratch gescreven. Of BDS ouder is dan Linux hangt er maar net vanaf. Toen Linux in 1991 begon was het nog zeer onduidelijk of BDS ooit uitgebracht mocht worden ivm copyright en Torvalds heeft toegegeven dat dit 1 van zijn redenen was waarom hij Linux heeft geschreven. Dus de BDS code is ouder maar Linux was eerder gereleased.

PCI heeft trouwens een bandwidth van 133 Megabyte/s niet bit/s. Tuurlijk als zowel je IDE als je netwerk kaart op PCI zitten wat denk ik zo is tenzij je een ISA kaart gebruikt dan gaat elke bit 2x over de bus waardoor je nog maar een maxium van ongeveer 60 Megabyte/s overhoud. Maar zonder jumboframes raak je al snel het maxium van ethernet aan van ongeveer 20 Megabyte/s.

Daarnaast heeft Samba met zijn default configs al problemen om boven de 15 Megabyte/s uit te komen, teminste onder Debian 4.0 moest je aardig wat tunen om er meer uit te krijgen. dit kun je goed merken als FTP duidelijk sneller is aangezien FTP bulk TCP connecties gebruikt.

SSH heeft schijnbaar ook problemen om boven de 20 Megabyte/s uit te komen, zie google voor tuning opties.

maar zoals ik al zei: meten is weten.
probeer daarom eens een gewoon wat zero's over te pompen met netcat. Onder Linux zou dat zoiets zijn:

code:

op de server:
 nc -l 1238 > /dev/null

op de client:
 time dd if=/dev/zero bs=128MB count=8 | nc SERVER_IP 1238

Dit stuurt 1 Gigabyte aan zero's naar de andere kant en omdat /dev/zero uit het geheugen komt wordt de schijf niet belast en krijg je dus puur een timing van je netwerk bandwidth. Omdat nc niks met windows en buffers loopt te klooien geeft dit vaak een meer praktische blik waar iperf een theoretische kijk geeft.

[Cyberpope]

Thanks voor de info. Zal eens een andere FTP client proberen dan. Wellicht ligt het aan de TC.
Overigens zijn alle clienten windows-bakken.

[Verwijderd]

Ik weet niet of Windows al NFS support heeft, maar ik zou dat eens proberen. Dat gaat bij mij thuis ongeveer twee keer zo snel als Samba.

[Cyberpope]

Bedoeling is om op termijn via internet deze server te benaderen. Dan heb ik liever geen samba of NFS omdat hij door o.a. 2 routers heen moet. FTP of SSH is dan makkelijk, daar hoeft alleen poort 21 of 22 open te staan.

(overigens met een andere FTP client kom ik al tot 25 mb/s

[ Voor 12% gewijzigd door Cyberpope op 07-07-2009 08:40 ]

[Rainmaker]

Misschien even een stomme vraag hoor, maar zit je op een 100Mbit netwerk?

100/8 = 12,5 MB/s

Aangezien je over Samba aan de 13MB/s zit (naar eigen zeggen) en al je clients Windows draaien, lijkt me dat zo snel als dat het gaat worden. Of mis ik nou iets?