[samba] gigabit lage snelheid

[jealma]

Ik heb een probleem met mijn Samba server.

Eerst ff de configuratie:

Samba Server: AMD Athlon XP 2400+, Asus A7V8X-X, Intel Pro/1000 GT Desktop adapter PCI32,
256 mb pc2100, 80 GB IDE, 2 x 160 GB IDE op Primary en Secondary van het moederboard.

Software: Ubuntu Hoary 5.04, server-expert installatie, geen X, Samba en SSH geinstalleerd. 300 mb swap, aparte 16 mb /boot partitie EXT3, rest is ReiserFS.
Samba is geprobeerd met veel opties, waaronder “socket options = TCP_NODELAY IPTOS_LOWDELAY”, “read raw = yes”, “level2 oplocks = true”, blijft allemaal op 27 MB/s.
“SO_SNDBUF=16384 SO_RCVBUF=16384” gaf een transferrate van +/- 8 MB/s.

PC1: MSI K8N Neo2, Nvidia 10/100/1000 nwk onboard, 512 mb ram, Win XP SP2 (Mijn pc)

PC2: MSI K8N Neo2, Nvidia 10/100/1000 nwk onboard, 1024 mb ram, Win XP SP2 (Pa's pc)

Switch: 3Com Officeconnect 8 poorts 10/100/1000 allemaal full duplex.

Bekabeling:
Server > switch: Cat 5e (zelf geknipt, 6 meter)
PC1 > switch: Cat6 (origineel gekocht, 3 meter)
PC2 > switch: Stukje Cat5 (zelf geknipt, +/- 15 meter), 2 stukken Cat5e (zelfgeknipt, 8 meter)

Ping:
van pc1 naar server: 0 ms
van pc1 naar pc2: 0 ms

Netio:
pc1 > server 50 MB/s down, 80 MB/s up
pc2 > server 50 MB/s down, 80 MB/s up
pc1 > pc 2 115 MB/s down, 115 MB/s up

hdparm:
alle 3 schijven staat DMA aan, +/- 55 MB/s per hardeschijf

Samba:
pc1 > server 27 MB/s down, 33 MB/s up
pc2 > server 27 MB/s down, 33 MB/s up
pc1 > pc2 45 MB/s down, 45 MB/s up

FTP
PC1 is server (Quick 'n Easy FTP Server)
op de Samba server bestand van approx. 600 mb ophalen, 17 MB/s van PC1 naar Server, terug hetzelfde.

In het kort:

Switch is goed
Bekabeling is goed
Netwerkkaarten zijn goed ingesteld
DMA staat overal aan
Samba is ingesteld met alle mogelijke opties
Zodra Samba wordt gebruikt schiet het vrije geheugen (free) naar 3 mb terug.
Testparm geeft geen fouten.

Wat kan er nog fout zijn, heb alles wat ik weet al geprobeerd, iemand nog suggesties?? Met de vorige switch, die 10/100 was, haalde ik gewoon 10 MB/s. Ook loopt de server compleet vast als ik wat probeer te uploaden. Downloaden gaat wel goed, maar met maar 27 MB/s. Smb.conf file staat eronder, screenshots van ping en netio ook. Ik heb al verschillende topics op GoT doorgespit (zie 1e screenshot) en daar stonden wel een aantal tips in maar die hielpen niet.




http://www.xs4all.nl/~marisj/smb.conf.txt

EDIT
Ik heb op PC1 in plaats van de Nvidia netwerkkaart nu de Realtek 8169 chip gebruikt. snelheid van PC 1 naar server is nu 42 mb, maar heel schommelend. Als ik jumbo frames aanzet op de Realtek 8169, dan wordt het 42 mb, wel stabiel, maar is de verbinding na 10 seconden helemaal weg. Kan de Samba server dan ook niet meer pingen. Als ik op de Samba Server dan ifconfig eth0 down/up doe, werkt alles weer. Iemand hier een verklaring voor?

EDIT 2

Ik heb nu ook een installatie geprobeerd met X, de filesystems op hda4, hdc1 en hdd1 zijn nu geen reiserfs meer, maar ext3. Hierdoor crasht de samba server nier meer. Wel heb ik nog een probleem met de downloadsnelheid (27 MB/s) en de uploadsnelheid (35 MB/s). Jumbo frames staan niet aan onder linux, maar als ik het aanzet (ifconfig eth0 mtu {2000 t/m 9000 geprobeerd}) loopt de hele boel vast.

[ Voor 26% gewijzigd door jealma op 15-08-2005 17:00 ]

[Shuriken]

Heb je al gekeken wat met FTP de transfer rate is? Dat is nl. een stuk sneller als Samba.

[ Voor 6% gewijzigd door Shuriken op 28-07-2005 14:40 ]

[jealma]

ik weet niet precies hoe ik ftp aan de gang krijg onder console, maar ik kan wel een server opzetten onder windows, hoe kan ik er dan via de console van de server op komen??

edit: ik heb de commands al gevonden, ga nu ff testen met een ftp server onder windows, en dan files er naartoe zetten met linux, en er vanaf halen.

[ Voor 31% gewijzigd door jealma op 28-07-2005 14:45 ]

[Boudewijn]

ftp
open hostname
get BESTAND


anders man ftp

[jealma]

Ik heb een ftp test gedaan en ik kan wel huilen van de snelheid...

ftp
open 192.168.0.110
ls
get tst.file
592306512 bytes received in 34.32 secs (16953.3 kB/s)
cd upload
put tst.file
594433889 bytes sent in 33.56 secs (17295.7 kB/s)

Dus 17 MB/s van PC1 naar de server en 17 MB/s van server naar PC1. Dat is echt waardeloos.

En het geheugengebruik is weer drastisch gestegen, nog maar 3 mb vrije ruimte van de 256 mb.

Edit: Als ik de bestanden op PC1 bekijk en ik vergelijk het originele bestand met het bestand dat ik met put erneer heb gezet, is de grootte verschillend (het is een image van een cd).

[ Voor 18% gewijzigd door jealma op 28-07-2005 14:59 ]

[leuk_he]

jealma schreef op donderdag 28 juli 2005 @ 14:57:

Edit: Als ik de bestanden op PC1 bekijk en ik vergelijk het originele bestand met het bestand dat ik met put erneer heb gezet, is de grootte verschillend (het is een image van een cd).

binary transfer doen lost dit op. (BIN commando voor je get)

Maar dit geeft wel aan dat je probleem niet zozeer samba is. ik weet niet precies wat hdparm meet, maar wellicht is dit slechts je ruwe throughput van je schijf en loopt dit hard terug als je werkelijk files gaat benchmarken. ( time the eens de 1e maal met "time cat <grotetestfile >/dev/null ")

50% van de mogelijke snelheid is echt niet heel beroerd.

Je zou wellicht nog bigframes aan de gang kunnen krijgen en zo een veel hogere netspeed kunnen krijgen? Wellicht dat daarom xp <--> xp zo snel is?

[ Voor 6% gewijzigd door leuk_he op 28-07-2005 15:41 ]

[Puch-Maxi]

Mag ik vragen waar jij Netio weg hebt ?
ik heb nu versie uit 1997 dat is: v1.6
maar jij hebt een versie uit 2003 en die is 1.23
heb je linkje ?

http://www.nwlab.net/art/netio/netio.html

Daar dus (sorry ik keek er helemaal overheen )

[ Voor 25% gewijzigd door Puch-Maxi op 28-07-2005 16:05 ]

[leuk_he]

Puch-Maxi schreef op donderdag 28 juli 2005 @ 16:00:
maar jij hebt een versie uit 2003 en die is 1.23
heb je linkje ?

[google=netio]

3e link:

WinTotal - Software - NetIO 1.23

[jealma]

is netio 1.23 niet goed dan? te oud ofzo??
En wat zijn bigframes?? Heeft dat iets te maken met jumboframes?

leuk_he schreef op donderdag 28 juli 2005 @ 15:40:
[...]


binary transfer doen lost dit op. (BIN commando voor je get)

Maar dit geeft wel aan dat je probleem niet zozeer samba is. ik weet niet precies wat hdparm meet, maar wellicht is dit slechts je ruwe throughput van je schijf en loopt dit hard terug als je werkelijk files gaat benchmarken. ( time the eens de 1e maal met "time cat <grotetestfile >/dev/null ")

50% van de mogelijke snelheid is echt niet heel beroerd.

Je zou wellicht nog bigframes aan de gang kunnen krijgen en zo een veel hogere netspeed kunnen krijgen? Wellicht dat daarom xp <--> xp zo snel is?

Ik heb een file genaamd tst.file a 578 mb in /tmp gezet.
Daarna "time cat tst.file >/dev/null
de output was:

real 0m10.626s
user 0m0.006s
sys 0m1.919s

Is dat "goed" als je hdd met "hdparm -tT /dev/hda" ongeveer 55 MB haalt?

Puch-Maxi schreef op donderdag 28 juli 2005 @ 16:00:
Mag ik vragen waar jij Netio weg hebt ?
ik heb nu versie uit 1997 dat is: v1.6
maar jij hebt een versie uit 2003 en die is 1.23
heb je linkje ?

http://www.nwlab.net/art/netio/netio.html

Daar dus (sorry ik keek er helemaal overheen )

okee hier de link: [google=netio123] het 4e resultaat.

[Puch-Maxi]

bedankt voor de overvloed aan links !
werkt wel leuk dat programma

[jealma]

okee, maar weet iemand ook waar het probleem nog kan liggen dan?? dma is goed, netwerk is goed, maar de performance niet. Heeft het iets met caching of buffering temaken ofzo?? Zodra samba wordt gebruikt heb ik nog maar 3 mb geheugenruimte over, dat is toch niet normaal??

[CyBeR]

Check eens met bonnie++ (oid) of je wel zo snel kunt schrijven? die 55MB/sec is read performance he.

[jealma]

ff checken of dat read of write snelheid is,
BTW: wat is bonny++??

edit: confirmed, hdparm -tT /dev/hdx is idd read performance van disk en van cache.

[ Voor 40% gewijzigd door jealma op 29-07-2005 01:44 ]

[CyBeR]

jealma schreef op vrijdag 29 juli 2005 @ 01:42:
ff checken of dat read of write snelheid is,
BTW: wat is bonny++??

Open Source disk performance test tool.

edit: confirmed, hdparm -tT /dev/hdx is idd read performance van disk en van cache.

Ja, dat vroeg ik niet, dat zei ik je

[Puch-Maxi]

jealma schreef op vrijdag 29 juli 2005 @ 01:42:
ff checken of dat read of write snelheid is,
BTW: wat is bonny++??

edit: confirmed, hdparm -tT /dev/hdx is idd read performance van disk en van cache.

volgensmij bedoelt hij : Bonnie++
http://www.google.nl/sear...e%2B%2B&btnG=Zoeken&meta=

[leuk_he]

jealma schreef op donderdag 28 juli 2005 @ 17:15:
is netio 1.23 niet goed dan? te oud ofzo??
En wat zijn bigframes?? Heeft dat iets te maken met jumboframes?
[...]

bigframes=jumboframes (sorry, jumbo frames is zelfs de gebruikelijke benaming)

Ik heb een file genaamd tst.file a 578 mb in /tmp gezet.

real 0m10.626s

Dus je file systeem haalt ook precies 55 megabyte per seconde. Dat is dus (gelukkig) ook niet je bottleneck.

En ik weet niet hoe je "3 MB over" bepaald, maar hoeveel geheugen je over heb t is niet zo makkelijk te bepalen in linux. Als je veel leest dan stopt hij dat in je cache, en als je het weer ergens anders voor nodig hebt, dan gebruikt hij het ergens anders voor.

(sorry,k geen oplossing dus, kijk ook eens naar je cpu usage tijdens een samba test, staat die op 100% -> dan ben je cpu bound, ik weet daar geen oplossing voor )

[jealma]

CyBeR schreef op vrijdag 29 juli 2005 @ 01:48:
[...]


Open Source disk performance test tool.


[...]


Ja, dat vroeg ik niet, dat zei ik je

Okee, maar ik houd van zekerheid

leuk_he schreef op vrijdag 29 juli 2005 @ 11:07:
[...]


bigframes=jumboframes (sorry, jumbo frames is zelfs de gebruikelijke benaming)


[...]


Dus je file systeem haalt ook precies 55 megabyte per seconde. Dat is dus (gelukkig) ook niet je bottleneck.

En ik weet niet hoe je "3 MB over" bepaald, maar hoeveel geheugen je over heb t is niet zo makkelijk te bepalen in linux. Als je veel leest dan stopt hij dat in je cache, en als je het weer ergens anders voor nodig hebt, dan gebruikt hij het ergens anders voor.

(sorry,k geen oplossing dus, kijk ook eens naar je cpu usage tijdens een samba test, staat die op 100% -> dan ben je cpu bound, ik weet daar geen oplossing voor )

Bij PC1 en PC2 staan jumboframes aan en ik kan snel en betrouwbaar filesharen tussen PC1 en PC2 dus ik ga ervanuit dat de 3Com switch jumboframes ondersteund. Hoe kan ik zien of mijn linux bak (de intel netwerkkaart dan) jumboframes ondersteund en of het is ingeschakeld???

Over cpu power, als ik "uptime" doe tijdens een samba transfer van de server naar PC1 of PC2 dan krijg ik:

load average: 0.98, 0.23, 0.12

Volgens mij wil dat zeggen dat de cpu zowat iddle is, want een load van 1 a 2 is toch goed?

edit: met "3 mb over" bedoel ik dat er 130 mb used is, en de rest gecached en gebuffered, ik heb het idee dat dat niet hoort. Ik weet wel (zie faq) dat linux veel aan caching en buffering doet.

[ Voor 8% gewijzigd door jealma op 29-07-2005 18:05 ]

[jealma]

Hoi, ben ik weer na een paar frustrerende weken.

Ik heb inmiddels de server al een stuk of 10 keer opnieuw geinstalled, met verschillende opties, waaronder met X, zonder X (wat ik in de eerste instantie had), en met verschillende netwerkkaarten. Resultaat was dat het geen success op leverde.

Recent kreeg ik een ingeving dat het wel eens aan het filesystem zou kunnen liggen. Mijn indeling ziet er ongeveer zo uit:

hda4 reiserfs 75 gb gemount als /shared
hdc1 reiserfs 160 gb gemount als /shared/movies
hdd1 reiserfs 160 gb gemount als /shared/scifi

HDA4 is een partitie die gemount is als /shared. /shared is de map waarachter alles staat dat via samba wordt geshared. Dit zijn de volgende mappen. /shared/games, /shared/programs, /shared/music, /shared/private, /shared/misc, /shared/upload. HDC1 is hier ook gemount als /shared/movies en HDD1 is hier gemount als /shared/scifi.
HDC1 en HDD1 zijn allebij Maxtor 160 gb 7200 rpm ide schijven die geformatteerd zijn met reiserfs en allemaal bestanden bevatten die:

1- 350 mb groot zijn (startrek DS9, Voyager, TNG, Enterprise)
2- 700 mb groot zijn (diverse dvdrips
3- rond de 4.3 gb groot zijn (iso's van dvd's)

Allemaal grote bestanden dus. Ik vroeg me af of reiserfs wel geschikt is voor grote bestanden?? Ik heb HDA4 (/shared) eens geformatteerd als EXT3 en het vastlopen van samba was verdwenen. De uploadsnelheid van een client naar de server was ineens uberstabiel op 39 MB/s. De downloadsnelheid bleef stabiel hangen op 29 MB/s.

Even in het kort:

1- Is het bestandssysteem wel reiserfs geschikt voor het overslepen (lezen, schrijven) van veel grote bestanden via samba?
2- Waarom zijn de vastlopers (complete netwerkblackout's) ineens als sneeuw voor de zon verdwenen na het veranderen van een gedeelde partitie van reiserfs naar ext3?
3- Is het mogelijk om reiserfs zo te krijgen dat ik er mee kan werken met samba zonder storingen te krijgen? (ik kan die 2 160gb schijven namelijk niet eerst backuppen, daarna opnieuw formatteren en dan de data weer terug zetten)?
4- Welk filesystem gebruiken andere sambagebruikers? Heb geen zin om een of andere poll op te gaan zetten, maar gebruiken jullie allemaal reiserfs, of ext3 (allebei journalling) of is het nog ext2 of nog wat anders?

[Borromini]

Ik weet niks van normale doorvoer met Samba enzo - ik haal hier wel met een gewone config (twee onboard 10/100 Mbit NICs) een transfer van 8 MB/s maximum ongeveer.

In verband met je bestandssystemen: ReiserFS is erg geschikt voor een partitie die veel kleine bestanden bevat. De nieuwe Reiser-versie (Reiser 4) is erg veelbelovend, en al redelijk stabiel (sommige distro's ondersteunen het al, de mijne gebruikt het zelfs min of meer als standaard FS). Probleem is wel dat je compatibiliteitsproblemen kan hebben bij upgrades van reiser4progs . Dat heb ik al meer dan eens mogen ervaren.
Aangezien je zelf grote bestanden blijkt te gebruiken, denk ik dat ReiserFS niet de aangewezen optie is. Ext3 is dan beter - ik weet dat je bij een ext3 format de cluster size kan opgeven ook, wie weet maakt dat ook nog een (marginaal?) verschil.

ReiserFS en Reiser4 presteren erg goed, Reiser4 zou heel erg snel zijn, maar daar tegenover staat dat het nog meer cpu time gebruikt dan ReiserFS (dat, voor zover ik weet, weer meer cpu gebruikt dan ext3). Aan jou om uit te maken die verhoogde 'druk' op je cpu door ReiserFS er misschien iets mee te maken heeft - ik heb er geen idee van.

Maar ik hoop dat je wat met deze info bent . Btw, ext3 is niet meer dan een journalised versie van ext2 - je kan van een ext2 partitie een ext3 partitie maken zonder format of dataverlies, je moet gewoon het journal toevoegen . Omgekeerd kan je elke ext3 partitie gewoon als ext2 mounten .

[ Voor 22% gewijzigd door Borromini op 15-08-2005 02:53 . Reden: typo ]

[jealma]

Thanx voor de filesystem info. Ik zat nu een beetje meer rond te lezen en kwam erachter dat reiserFS 3 inderdaad een geweldig snel filesystem is als je veel kleine files gebruikt. Ik ga denk ik voorlopig ext3 gebruiken. Zodra reiserFS 4 stable is verklaard en is ondersteund in ubuntu, schakel ik daar wel naar over. Mijn cpu gebruik is ongeveer 65% tijdens het uploaden naar de server en 35% tijdens het downloaden van de server.

Ik ga nu even wat zoeken over cluster size enzo, dan weet ik of dat verschil maakt en wat er dan precies gebeurt.

Over normale doorvoer met samba, ik haal nu 27 MB/s down van de server en 39 MB/s up naar de server. Dit is echter nog niet helemaal gefinetuned, oftewel getweaked.

[jealma]

Ik lees net dat XFS een goede keus is voor servers met een hoge performance, maar dat je data dan niet zo veilig is tegen crashes? Ik heb nu met het formatteren van HDD1 de keuze uit:

ext2 Te oud, geen journalling filesystem
ext3 Journalling filesystem, ondersteund door alle linux distro's
fat16 Te oud, maximale partitiegrootte en maximale bestandsgrootte niet toerijkend.
fat32 Beetje oud, geen journalling filesystem, R/W voor zowel windows als linux, niet echt betrouwbaar
jfs Onbekend voor mij, en daar waag ik me liever niet aan, weet niet wat de ondersteuning is bij andere distro's?
swap ja duh, een swappartitie van 160 gb onie....
reiser4 Zoals Borromini al zei: al redelijk stabiel (dus nog niet 100% stabiel) sommige distro's ondersteunen het al (niet goed genoeg, want als ik over wil stappen, moet ik alles weer formatteren, en die gelegenheid krijg ik niet weer), je kunt compatibiliteitsproblemen krijgen bij het upgraden van reiser4 proggies (compatibiliteit met andere linux distro's is een must), gebruikt veel cpu time (met reiserfs zit ik al op 65% dus dat kan nog krap worden). Wel zeer snel met zowel grote als kleine files, journalling, waarschijnlijk filesystem van de toekomst.

reiserfs Dat heb ik nu, journalling filesystem, ondersteund door zowat alle distro's, stabiel, snel met kleine bestanden, werkt blijkbaar niet goed met mijn pc icm samba en grote bestanden.
xfs Hetzelfde als jfs, namelijk onbekend dus waag ik me liever niet aan, ook weet ik niet of alle linuxdistro's het ondersteunen.

Ik heb zo te zien de keuze uit ext2, ext3 of reiserfs. Mischien zijn xfs en jfs ook een optie, maar zijn er hier mensen die die filesystems gebruiken?? ext2 is al aardig oud, reiserfs werkt bij mij niet echt icm samba en grote bestanden, dus kan ik het beste voor ext3 gaan?

[TheGhostInc]

Samba:
pc1 > server 27 MB/s down, 33 MB/s up
pc2 > server 27 MB/s down, 33 MB/s up
pc1 > pc2 45 MB/s down, 45 MB/s up

Ik zie het probleem niet helemaal, met een AMD Athlon XP 2400+ en Asus A7V8X-X, dit soort snelheden is helemaal niet gek.
pc1 en pc2 hebben allebei een NIC in de southbridge zitten, waardoor er geen PCI bus gebruikt wordt, en je een veel hogere snelheid kunt halen. Hierdoor heb je minder overhead en geen last van de max van 133MB/s op de PCI bus.

Jouw moederbord in je server ( Asus A7V8X-X ) heeft moeite om zowel op volle snelheid data te lezen van je HD's en tegelijkertijd ook je NIC met dezelfde hoeveelheid data te bestoken.
De resultaten zijn best aardig, je haalt de helft van de max. die je volgens NETIO kunt halen. Dat is heel netjes voor een desktop bord.

Lees de online reviews, die komen volgens mij ook niet veel verder, anders post daar even links naar, maar ik denk dat je verwachtingen te hoog waren.

[jealma]

hmz, okee, daar kan ik wel wat mee. Ik heb nu ook het probleem dat ik max 4 hdd's kan aansluiten (2 ata133 controllers onboard). Als ik nu dit Asus A7V8X-X mobo met onboard 10/100 mbit lan eruit haal en er een moederbord in zet met onboard gigabit lan, serial ata enzo, dan heb ik uiteraard meer aansluitingen voor hdd's enzo, maar de snelheid via gigabit zou dan ook hoger worden ivm dat gigabit lan onboard op de southbridge zit? Dan kan ik namelijk voor 50 a 60 een niew mobo halen en heb ik zowel meer aansluitingen als sneller gigabit.

edit: als ik een nieuw mobo met onboard gbit lan en sata haal, wordt dat een socket a mobo en houdt ik de xp2400+. Is de xp2400+ dan niet het limiet, want met samba heb ik nu al 65% cpu load. Mischien toch verstandiger om een amd64 of iets in die sferen te halen?

[ Voor 21% gewijzigd door jealma op 15-08-2005 14:27 ]

[leuk_he]

Uiteraard is driver support voor die onboard Ethernet belangrijker dan het feit dat hij onboard zit. Met name het feit dat als je geen jumbo frame ondersteuning hebt kost je veel cpu (ik weet ook niet waar je dat nu kunt vinden in linux. ), en blijkbaar je reiser koste je ook veel cpu ( maar ook daar heb ik zelf niet aan getest.).

[jealma]

ik heb al gekeken naar jumboframes onder windows en linux. De onboard nvidia en de onboard realtek 8169 ondersteunen beide jumboframes (MTU) maar het staat niet aan. als jumboframes uit staan is het MTU 1500. Als je bij linux ifconfig intypt, zie ik bij de interface staan dat de MTU 1500 is, dus jumboframes staan uit onder linux. Als ik intyp "ifconfig eth0 mtu 2000" dan verandert de MTU van 1500 naar 2000, als ik dit bij pc1 en pc2 ook op 2000 zet helpt het niets, behalve dat de server op elke setting, behalve MTU=1500 vastloopt en er meteen mee kapt. Daarom heb ik jumboframes uit laten staan op zowel pc1, pc2 en de server.

Doe ik iets fout, of werkt dat hele jumboframes niet onder linux?

[TheGhostInc]

leuk_he schreef op maandag 15 augustus 2005 @ 14:43:
Uiteraard is driver support voor die onboard Ethernet belangrijker dan het feit dat hij onboard zit. Met name het feit dat als je geen jumbo frame ondersteuning hebt kost je veel cpu (ik weet ook niet waar je dat nu kunt vinden in linux. ), en blijkbaar je reiser koste je ook veel cpu ( maar ook daar heb ik zelf niet aan getest.).

True, er zitten veel on-board chips ook op insteekkaarten. En driversupport is ook belangrijk, hoewel realtek door de community goed gesupport wordt, en Intel zelf veel Linux support geeft. 3com een reputatie hoog heeft te houden en netwerken de specialiteit van Linux / *BSD zijn is er op driver gebied weinig te halen, investeren in goede hardware is belangrijker, de bijbehorende linux drivers zijn vaak al redelijk optimaal, of binnen redelijke termijn.

Echter als je kijkt naar de moederborden van PC1 en PC2, dan is de controller geintegreerd in de southbridge, en daarmee ontlast je de PCI bus.
Veel Intel borden hebben dit ook, dan zit je onboad Gbit aansluiting op een speciale poort van de southbridge.
Dit geld ook voor SATA en IDE. Alle features die niet in de chipset zelf zitten, zitten op de PCI bus (tenzij PCI Express, maar da's een ander verhaal). En veel high performance onderdelen worden daardoor gelimiteerd, zoals Gbit Ethernet, SATA/SCSI Raid, videokaart (PCI uitvoeringen). Dus bijvoorbeeld een SATA Promise chip en een Realtek Ethernet chip op de PCI bus gaan elkaar dwars zitten en dan gaat je performance de 50MB/s niet halen

Mocht je een paar moederborden op het oog hebben, post ze even, dan wil ik (of iemand anders) wel kijken of je er iets mee op schiet.

[Borromini]

Ik weet dat de A7N8X-E Deluxe een onboard Gbit NIC heeft (een Marvell Yukon), heb hem zelf ook. Heb wel gehoord dat die belabberd presteert - zelf ben ik niks met een Gbit-aansluiting aangezien ik geen intern netwerk heb dat dat aankan . Ik heb er dus ook geen ervaring mee.

[jealma]

Thanx

Ik heb even goed zitten nadenken over wat mij verstandig lijkt, en ik zat natuurlijk te kwijlen bij de gedachte aan een dual xeon/dual opteron met pci-x en dan later een 3ware raidcontroller erbij kopen, maar dat heb ik er nog niet voor over, de fileserver is namelijk alleen voor mijzelf en ik ben nog niet bereid om daar >600 euro in te stoppen. Daarom blijf ik nog even bij socket a, de xp2400+.
De 256 mb geheugen breid ik wel een keer uit naar 768 mb, zodra ik op pc1 van 512 mb naar 1 gb ga. Dan koop ik 2 x 512 mb, en gaan de 2 x 256 die ik nu heb, in de fileserver.

Blijft over het moederbord. Ik heb (ja echt waar) samba ook al aan het draaien gehad op mijn werk pc, maar de ervaring leert dat linux (of de kernel) mijn onboard Nforce gigabit controller wel herkent, maar ik haal niet meer dan hooguit 4 MB/s. Als ik een nieuw socket A mobo koop, is het dan aan te raden om er een te kopen met een onboard gbit kaart die niet Nforce is?

De Asus A7V880; gigabit lan (Marvell 88E8001), 2 x sata, 2 x ata133, nadeel is dat er maar 2 sata en 2 ata133 controllers opzitten.

De Asus A7N8X-E Deluxe; gigabit lan (Marvell 88E8001) en 10/100 lan (nVidia nForce2 Southbridge), 2 x sata en 2 x ata133. Dit is wel een goede keus denk ik, want de gigabit onboard is marvell, er zit nog een 2e 10/100 poort op, die mooi te gebruiken is omdat ik de fileserver en firewall (ipcop) in de toekomst wil samenvoegen, dat het routeren ook door de fileserver gebeurt. Nadeel is dus weer de 2 sata connectoren, maar als je dat weer gaat uitbreiden met een pci sata controller wordt de boel waarschijnlijk weer traag.

Heb jij nog een paar suggesties TheGostInc? Ik wil er op dit moment liefst niet meer dan 100 euro incl. verzenden uitgeven aan het mobo. Geheugen doe ik mischien wel mee op dat moment.

Edit: ik lees net dat de onboard marvell gbit lan op de a7n8x-e deluxe slecht presteerd?

[ Voor 3% gewijzigd door jealma op 15-08-2005 16:56 ]

[TheGhostInc]

Even een korte disclaimer :
Wat ik beschreef is wel theoretisch, een slechte implementatie kan nog ruk zijn, en met PCI zijn wel iets betere resultaten te halen. Maar ik denk dat je geen nieuw moederbord hoeft te doen met dezelfde Gbit LAN kaart, kan een paar MB/s verschillen meer niet. Ik ben net even op zoek gegaan naar een Socket A oplossing, en het is lastig. Socket A is nog net van voor de Gbit lan tijd, dus wel een stel PCI oplossingen, maar weinig meer.

Kijk trouwens eens op deze site:
http://www.tomshardware.c.../20040525/nforce2-08.html
Hier zie je duidelijk dat de nForce 2 & 3 oplossingen en de Intel CSA (direct op de southbridge) een veel hogere snelheid halen. Zeker bij de Full-duplex situatie halen PCI versies gewoonweg niet hun max.

De Marvell 88E8001 is een standaard PCI Gbit chip, daar schiet je helemaal niks mee op, die is langzamer dan je huidige setup. Je zou dan nog beter in dat moederbord je Intel Gb NIC kunnen plaatsen.

Wat zijn de opties:
nVidia nForce, voordeel dat ze Gbit geintegreerd in de southbridge hebben, maar jij hebt slechte ervaringen. Je zou even kunnen kijken of de nieuwste kernels er nog last van hebben. Het zijn wel erg mooie bordjes.
Via KT880/KT600 met als southbridge VT8239, echter kom ik er niet achter hoe daarbij de Gbit aan de southbridge hangt, het kan een 1:1 PCI bus achtige constructie zijn, of het is marketing en komt je Gbit NIC gewoon op de PCI bus te hangen.
Het lijkt er sterk op dat je Gbit NIC gewoon aan de PCI bus hangt... misschien ga ik er nog achteraan, anders is de nForce de enige optie die je echt winst gaat opleveren. Daarna komt een upgrade naar S939 als een logischere stap

Iets meer info, ik zoek rustig met je mee, want ik ben zelf ook op zoek naar een nieuw (liefst mATX) bordje voor een Gbit servertje.

[ Voor 9% gewijzigd door TheGhostInc op 15-08-2005 21:32 . Reden: Jammer... ]

[jealma]

ik wordt ziek volgens mij...

Ik dacht dat ik samba nu eindelijk mooi aan het draaien had, dus geen vastlopers meer, snelheden constant op 27 MB/s down en 37 MB/s up, ga ik dus weer files terugzetten naar de sambaserver.
Voor het koffiedrinken heb ik Startrek DS9 en Voyager aangezet om te kopieren van PC2 naar de server, gaat goed, als ik ifconfig intyp geeft hij bij de interface 0 errors, 0 overruns en 0 dropped aan.
Kom ik na het koffiedrinken weer boven om te kijken hoever het is, geeft PC2 de melding dat het netwerkstation niet meer beschikbaar is. ifconfig geeft in de duizenden aan fouten.

Ik heb /var/log/samba/log.smbd eens bekeken en de output was ongeveer hetzelfde als de output van iemand met hetzelfde probleem in samba. Hier de link naar dat topic. Samba Problemen, grote bestanden kopieren niet mogelijk

Hieronder een output van mijn log.smbd:

[2005/08/15 18:50:18, 0] smbd/server.c:main(798)
smbd version 3.0.14a-Ubuntu started.
Copyright Andrew Tridgell and the Samba Team 1992-2004
[2005/08/15 18:50:18, 0] printing/pcap.c:pcap_cache_reload(149)
Unable to open printcap file /etc/printcap for read!
[2005/08/15 18:50:18, 0] printing/pcap.c:pcap_cache_reload(149)
Unable to open printcap file /etc/printcap for read!
[2005/08/15 19:27:38, 0] printing/pcap.c:pcap_cache_reload(149)
Unable to open printcap file /etc/printcap for read!
[2005/08/15 19:27:38, 0] printing/pcap.c:pcap_cache_reload(149)
Unable to open printcap file /etc/printcap for read!
[2005/08/15 19:41:54, 0] smbd/server.c:main(798)
smbd version 3.0.14a-Ubuntu started.
Copyright Andrew Tridgell and the Samba Team 1992-2004
[2005/08/15 19:41:54, 0] printing/pcap.c:pcap_cache_reload(149)
Unable to open printcap file /etc/printcap for read!
[2005/08/15 19:41:54, 0] printing/pcap.c:pcap_cache_reload(149)
Unable to open printcap file /etc/printcap for read!
[2005/08/15 20:52:04, 0] smbd/server.c:main(798)
smbd version 3.0.14a-Ubuntu started.
Copyright Andrew Tridgell and the Samba Team 1992-2004
[2005/08/15 20:52:04, 0] printing/pcap.c:pcap_cache_reload(149)
Unable to open printcap file /etc/printcap for read!
[2005/08/15 20:52:04, 0] printing/pcap.c:pcap_cache_reload(149)
Unable to open printcap file /etc/printcap for read!
[2005/08/15 20:52:37, 1] smbd/service.c:make_connection_snum(642)
lightfeet (192.168.0.200) connect to service upload initially as user admin (uid=1001, gid=0) (pid 11101)
[2005/08/15 20:52:39, 1] smbd/service.c:make_connection_snum(642)
lightfeet (192.168.0.200) connect to service movies initially as user admin (uid=1001, gid=0) (pid 11101)
[2005/08/15 20:52:42, 1] smbd/service.c:make_connection_snum(642)
lightfeet (192.168.0.200) connect to service scifi initially as user admin (uid=1001, gid=0) (pid 11101)
[2005/08/15 20:57:34, 0] lib/util_sock.c:get_peer_addr(1150)
getpeername failed. Error was Transport endpoint is not connected
[2005/08/15 20:57:34, 0] lib/util_sock.c:write_socket_data(430)
write_socket_data: write failure. Error = Connection reset by peer
[2005/08/15 20:57:34, 0] lib/util_sock.c:write_socket(455)
write_socket: Error writing 4 bytes to socket 5: ERRNO = Connection reset by peer
[2005/08/15 20:57:34, 0] lib/util_sock.c:send_smb(647)
Error writing 4 bytes to client. -1. (Connection reset by peer)
[2005/08/15 20:57:36, 1] smbd/service.c:make_connection_snum(642)
terminator (192.168.0.120) connect to service scifi initially as user admin (uid=1001, gid=0) (pid 11225)
[2005/08/15 21:02:43, 1] smbd/service.c:close_cnum(830)
lightfeet (192.168.0.200) closed connection to service upload
[2005/08/15 21:26:37, 0] lib/util_sock.c:read_socket_data(384)
read_socket_data: recv failure for 4. Error = No route to host
[2005/08/15 21:26:37, 1] smbd/service.c:close_cnum(830)
lightfeet (192.168.0.200) closed connection to service scifi
[2005/08/15 21:26:37, 1] smbd/service.c:close_cnum(830)
lightfeet (192.168.0.200) closed connection to service movies
[2005/08/15 21:47:13, 0] lib/util_sock.c:read_socket_data(384)
read_socket_data: recv failure for 36688. Error = Connection timed out
[2005/08/15 21:47:13, 1] smbd/service.c:close_cnum(830)
terminator (192.168.0.120) closed connection to service scifi
[2005/08/15 22:21:25, 1] smbd/service.c:make_connection_snum(642)
lightfeet (192.168.0.200) connect to service movies initially as user admin (uid=1001, gid=0) (pid 13121)
[2005/08/15 22:21:36, 1] smbd/service.c:close_cnum(830)
lightfeet (192.168.0.200) closed connection to service movies
[2005/08/15 23:06:06, 1] smbd/service.c:make_connection_snum(642)
lightfeet (192.168.0.200) connect to service scifi initially as user admin (uid=1001, gid=0) (pid 13680)
[2005/08/15 23:11:47, 0] lib/util_sock.c:write_socket_data(430)
write_socket_data: write failure. Error = Connection reset by peer
[2005/08/15 23:11:47, 0] lib/util_sock.c:write_socket(455)
write_socket: Error writing 4 bytes to socket 25: ERRNO = Connection reset by peer
[2005/08/15 23:11:47, 0] lib/util_sock.c:send_smb(647)
Error writing 4 bytes to client. -1. (Connection reset by peer)
[2005/08/15 23:11:54, 1] smbd/service.c:make_connection_snum(642)
lightfeet (192.168.0.200) connect to service scifi initially as user admin (uid=1001, gid=0) (pid 13820)

Je ziet hier dus dat de problemen er ineens zijn.
Als je ifconfig eth0 down en dan ifconfig eth0 up doet, is alles weer in orde.

Ik heb dus weer een transfer gestart, en voor een minuutje of 5 a 6 blijft hij perfect lopen rond de 37 MB/s. elke keer (om de 10 sec) typ ik ifconfig in, maar het aantal errors, overruns en dropped blijft netjes op 0 staan. Na die 6 minuten was er ongeveer 8 gb getransferred en toen ik toen ifconfig intypte, stonden er weer veel fouten. Die fouten blijven gewoon optellen, net zolang totdat je de interface down brengt en weer up, dan doet alles het weer.

In het topic van hierboven was het installeren van een nieuwe kernel de oplossing. De beste man had eerst een 2.4 kernel en na het installeren van een 2.6.9 kernel waren alle problemen verdwenen. Ik heb echter kernel 2.6.10, dan moet ik toch ook geen problemen meer hebben? Mijn samba versie is overigens 3.0.14a, de laatste stable release.

Iemand nog een suggestie, want mijn geduld begint een beetje op te raken en ik heb volgens mij alle opties al geprobeerd.

[jealma]

Hier nog een screenshot van het copieren van pc1 naar de server, gaat wel lekker nu met >41 MB/s.
Heel erg jammer dat ie af en toe eventjes wegvalt. Voor de rest ziet het er netjes uit. Ik verdenk toch de intel netwerkkaart, hij wordt zo gloeiend heet dat je na het uitzetten van de server eerst een aantal minuten moet wachten voordat je em aan kunt pakken, ik weet niet of dat wel hoort. Binnenkort koop ik alleen een niew socket a moederbord, met dan toch een nforce 2 chipset en onboard gigabit lan, ik heb zo het idee dat dat beter gaat werken, ik kan bij een vriend eerst uittesten voordat ik iets koop dus...

[ Voor 6% gewijzigd door jealma op 16-08-2005 13:42 ]

[leuk_he]

jealma schreef op dinsdag 16 augustus 2005 @ 13:41:
Ik verdenk toch de intel netwerkkaart, hij wordt zo gloeiend heet dat je na het uitzetten van de server eerst een aantal minuten moet wachten voordat je em aan kunt pakken, ik weet niet of dat wel hoort.

Wat uiteraard simpel te testen is door de kast open te laten en een buro ventilator er op te richten.

offtopic:
en je hebt je file met doe smaak gekozen

[jotheman]

Zoals jealma al zegt, dit is vrij nette snelheden hoor. 't Zijn onboard gigabitaansluitingen en dan zijn jou snelheden vrij normaal. Ook bij Windows-besturingssystemen wordt gemiddeld niet veel hoger gehaald.

[jealma]

leuk_he schreef op dinsdag 16 augustus 2005 @ 13:54:
[...]


Wat uiteraard simpel te testen is door de kast open te laten en een buro ventilator er op te richten.

offtopic:
en je hebt je file met doe smaak gekozen

Een ventilator helpt niet echt hoor, al wel geprobeerd, maar het is gewoon teveel warmte om te koelen met zo'n klein ventilatortje.

offtopic:
Houdt je niet van Science Fiction? Ik wel en de rest is voor school. Ik wou dat ik het weg kon gooien, maar het moet nog ff blijven staan, altijd handig.

jotheman schreef op dinsdag 16 augustus 2005 @ 13:59:
Zoals jealma al zegt, dit is vrij nette snelheden hoor. 't Zijn onboard gigabitaansluitingen en dan zijn jou snelheden vrij normaal. Ook bij Windows-besturingssystemen wordt gemiddeld niet veel hoger gehaald.

Heb je de Topic Start gelezen?? Dan had je gezien dat in mijn server geen onboard cheap-ass netwerkkaartje zit maar een Intel Pro1000/GT van rond de 45 euro. De netwerkkaarten in PC1 en PC2 zijn wel onboard, maar zoals je ziet in de screenshots van netio123, halen die tussen elkaar makkelijk 115 MB/s.

De 41 MB/s naar de fileserver is volgens mij gewoon het limiet van de hardeschijf, want die zit ook aardig te ratelen.

[jealma]

Ben ik weer.

Na een tijdje stilte ivm schoolopdracht in de vakantie ben ik weer bezig gegaan met mijn fileserver.
Het probleem was dat ik met samba icm gigabit een lage doorvoersnelheid had tijdens het downloaden van de server (+/- 27 MB/s) en dat tijdens het uploaden van veel data naar de server, alles vastliep op de server. Nu ben ik weer een beetje aan het experimenteren geweest om een aantal dingen uit te sluiten.

Ik heb de hardeschijven uit de samba server in mijn eigen pc gestopt, de intel Pro1000GT ook. Daarna samba geinstalleerd en toen was de config als volgt:

Tijdelijke configuratie:
MSI K8N Neo2 met AMD64 3500+, 512 mb pc3200 dual channel;
1 x 80 gb, 2 x 160 gb allemaal PATA, geen cdrom;
Onboard netwerkkaarten uitgeschakeld, intel pro1000GT in pci slot.
Samba geinstalled met X, filesystems zijn EXT3.

Resultaat:
De downloadsnelheid is van 27MB/s naar 42 MB/s gegaan, en het is constant.
CPU load is van +/- 65% gemiddeld op de 2400+ naar 25% load op de AMD64 gegaan.
Tijdens het uploaden naar de fileserver gaat het nu strak met 42 MB/s en kan ik kopieren zolang ik wil, zonder dat er ook maar een stotteringetje optreedt.

Conclusie:
Na het gebruiken van een ander mobo, cpu en mem zijn de prestaties gigantisch vooruit gegaan. Ook zijn de problemen ivm stabiliteit en crashes als sneeuw voor de zon verdwenen.

En toen?
Ik heb de problemen dus even opgelost door in feite een andere pc als server te gebruiken. Dit kan ik niet zo houden omdat het mijn eigen pc is en ik die voor andere zaken nodig heb. Mijn amd 2400+ met de asus a7v8x-x voldoet dus blijkbaar niet voor de taken die ik ermee wil doen.

Is het verstandig om een nieuw mobo+cpu+ mem te kopen voor de samba server of kan er nog iets geconfigureerd worden? Samba op 100 mbit is namelijk geen optie, het gebruiken van mijn eigen pc als server ook niet.
Wat is dan verstandig om te kopen, zeker ook gezien ik nog wat wil upgraden aan opslagruimte. Denk dan aan nog een hdd of 2 a 3 erbij. Die hardeschijven worden dan SATA, wat dit mobo niet ondersteund. Is het overkill om dual cpu te gaan, of is het een goede investering, en wat voor dual opstelling moet ik dan in investeren gezien geld ook een rol speelt?

Edit

Hier nog 2 screenshots van de huidige snelheid met downloaden en uploaden.

[ Voor 6% gewijzigd door jealma op 01-09-2005 13:32 ]

[jealma]

Ik heb met de support van asus gebeld en te horen gekregen dat de crashes en lage snelheden waarschijnlijk aan de Via KT400 chipset op mijn Asus A7V8X-X lagen. Ze adviseerden mij een nieuw mobo te kopen met een andere chipset. Naja leuk....

Op mijn werk (bijbaantje) heb ik getest met een oud chaintech mobo met een nforce 2 chipset, 100 mbit lan, geen sata of raid, dus beetje brak. Die mocht ik ff lenen omdat ie over was. Dus getest en verrek, het ding trekt gewoon op 45 MB/s heen en weer zonder te crashen. Dat was dus een nforce 2 chipset.

Nu wil ik dus een nieuw mobo met een andere chipset als de KT400. Alternatieven zijn de KT600, de KT880 en de Nforce 2 ultra.

Ik wil een plank met iiv sata, en liefst 4xPATA. 4x pata is zowat onmogelijk zie ik, omdat alleen die gigabyte moederborden dat hadden en die zijn nergens meer te koop. Een aantal mobo's zijn de Asus A7N8X-E Deluxe, de MSI K7N2 Delta2 Platinum en de Asus A7V880.

De asus a7v880 heeft mijn voorkeur omdat via goed ondersteund word in linux, er een gigabit lan controller op zit en omdat er SATA op zit.

Wat is nu nog een goede keus, want het is me een beetje te duur om naar het amd64 of intel platform te gaan?

EDIT:

TheGhostInc schreef op maandag 15 augustus 2005 @ 21:21:
Even een korte disclaimer :
Wat ik beschreef is wel theoretisch, een slechte implementatie kan nog ruk zijn, en met PCI zijn wel iets betere resultaten te halen. Maar ik denk dat je geen nieuw moederbord hoeft te doen met dezelfde Gbit LAN kaart, kan een paar MB/s verschillen meer niet. Ik ben net even op zoek gegaan naar een Socket A oplossing, en het is lastig. Socket A is nog net van voor de Gbit lan tijd, dus wel een stel PCI oplossingen, maar weinig meer.

Kijk trouwens eens op deze site:
http://www.tomshardware.c.../20040525/nforce2-08.html
Hier zie je duidelijk dat de nForce 2 & 3 oplossingen en de Intel CSA (direct op de southbridge) een veel hogere snelheid halen. Zeker bij de Full-duplex situatie halen PCI versies gewoonweg niet hun max.

De Marvell 88E8001 is een standaard PCI Gbit chip, daar schiet je helemaal niks mee op, die is langzamer dan je huidige setup. Je zou dan nog beter in dat moederbord je Intel Gb NIC kunnen plaatsen.

Wat zijn de opties:
nVidia nForce, voordeel dat ze Gbit geintegreerd in de southbridge hebben, maar jij hebt slechte ervaringen. Je zou even kunnen kijken of de nieuwste kernels er nog last van hebben. Het zijn wel erg mooie bordjes.
Via KT880/KT600 met als southbridge VT8239, echter kom ik er niet achter hoe daarbij de Gbit aan de southbridge hangt, het kan een 1:1 PCI bus achtige constructie zijn, of het is marketing en komt je Gbit NIC gewoon op de PCI bus te hangen.
Het lijkt er sterk op dat je Gbit NIC gewoon aan de PCI bus hangt... misschien ga ik er nog achteraan, anders is de nForce de enige optie die je echt winst gaat opleveren. Daarna komt een upgrade naar S939 als een logischere stap

Iets meer info, ik zoek rustig met je mee, want ik ben zelf ook op zoek naar een nieuw (liefst mATX) bordje voor een Gbit servertje.

Mischien toch een goede keus om voor nforce te gaan vanwegen goede prestaties van de onboard gigabit nic. Weet iemand toevallig hoe het zit met gigabit op de via k8t880?

[ Voor 48% gewijzigd door jealma op 05-09-2005 15:01 ]

[charlie]

De Via chipset op socket A geeft al van bij het begin problemen met grote filetransferts, dit gaf zelfs vaak problemen bij het kopiëren van grote bestanden tussen twee disks in dezelfde pc...
Ander bekend probleem met deze chipset was de combinatie met een soundblaster live kaart...

NForce 2 en zelfs de goedkope ALI chipsets waren op dat vlak veel beter...