[samba] [debian] Vertraging voor copy

[AdLentis]

Ik zit met het volgende probleem. Ik heb hier een debian bakkie draaien als server, en daar heb ik pas een andere HD ingezet. De specs:

Mobo:
- A-Trend Super 7
- VIA MVP3 100 MHz
Mem:
- 160 MB PC-100
CPU:
- AMD K6-II 350
Netwerk:
- SiteCOM 10/100 PCI
- Winbond W89C940 PCI Combo
OS:
- Debian Woody 3.0 met 2.4.18-k6 kernel.

Oude HD: Western Digital 20 GB
Nieuwe HD: IBM Deskstar 60GXP 40 GB, met jumper ingesteld op 32 GB.

Met ghost heb ik het hele zwikkie gekloond en na wat geklooi met LILO en fstab wilde het bakkie weer netjes draaien. Ik heb de oude HD nu in een K6-II 550 zitten, om wat vergelijkende tests te kunnen doen. Ff netwerksettings en hostname gewijzigd, en het werkt prima.

Mijn probleem is dat samba niet echt lekker meer werkt nu. Eerst begon hij bij het kopieren van grote files naar de server (600 MB) te disconnecten. Dit had te maken met het feit dat windows niet snel genoeg reageerde op de oplock-break-melding van samba. Een delay van 3 seconden bleek nog te weinig. Opportunistic locks uitgezet, en het werkte wel. Maar voordat er werkelijk iets wordt gekopieerd, moet ik soms een minuut wachten. Nauwelijks netwerkverkeer, nauwelijks HD-activiteit op server. Ik begin wel beetje geirriteerd te raken. Met de oude 20 GB werkte alles prima! Oplocks aan enzo.

Heeft iemand enig idee hoe ik de boel weer wat kan versnellen?

[_JGC_]

offtopic:
dat winbond PCI combokaartje heb ik hier ook, en die genereert collisions op mn switch. Gebruik jij dat ding voor je LAN?

[AdLentis]

_JGC_ schreef op 17 November 2002 @ 18:54:
offtopic:
dat winbond PCI combokaartje heb ik hier ook, en die genereert collisions op mn switch. Gebruik jij dat ding voor je LAN?

Euhm... neej... hij zit aan de internet-kant, aan m'n ADSL-modem. Wel logisch natuurlijk... ik heb in m'n LAN allemaal 100mbit adapters.

[AdLentis]

kick

[AdLentis]

duw

[Blaasvis]

wat dacht je van hdparm probeer daaarmee je hd eens in te stellen

[Verwijderd]

Toevallig,

Dit probleem heb ik dus ook. Sterker nog, dit probleem had ik ook met freebsd (4.x!). Met freebsd was het nog een stap erger: kopieren van grote files lukte helemaal niet, of raakten corrupt.

Ik draai nu redhat 8.0 (heb ook 6.x,7.x geprobeerd), en heb precies hetzelfde probleem als jij. Volgens mij staat alles goed (hd-modes en samba zelf).

Heb lopen zoeken op samba.org, maar niks kunnen vinden.

Als iemand hiervoor een oplossing zou hebben zou dat ZEER fijn zijn!!!

[Leon]

zet het loglevel van samba hoger en kijk eens in de logfiles waar hij precies mee bezig is...

(volgens mij verspil je nou trouwens 8 GB omdat linux die 40 GB toch wel herkend.. )

[AdLentis]

Blaasvis schreef op 17 December 2002 @ 15:27:
wat dacht je van hdparm probeer daaarmee je hd eens in te stellen

Heb al van alles geprobeerd, UDMA uit, enzovoort.

Verwijderd schreef op 17 december 2002 @ 21:54:
Toevallig,

Dit probleem heb ik dus ook. Sterker nog, dit probleem had ik ook met freebsd (4.x!). Met freebsd was het nog een stap erger: kopieren van grote files lukte helemaal niet, of raakten corrupt.

Ik draai nu redhat 8.0 (heb ook 6.x,7.x geprobeerd), en heb precies hetzelfde probleem als jij. Volgens mij staat alles goed (hd-modes en samba zelf).

Heb lopen zoeken op samba.org, maar niks kunnen vinden.

Als iemand hiervoor een oplossing zou hebben zou dat ZEER fijn zijn!!!

Ik heb het probleem ook wanneer ik grote files download met wget. Inmiddels ben ik debian helemaal opnieuw aan het installeren, ben benieuwd hoe het nu zal gaan.

Leon schreef op 17 December 2002 @ 22:32:
zet het loglevel van samba hoger en kijk eens in de logfiles waar hij precies mee bezig is...

(volgens mij verspil je nou trouwens 8 GB omdat linux die 40 GB toch wel herkend.. )

Zodra ik de boel weer aan de praat heb. En wat betreft die 8 GB, die verspil ik niet. De enige oplossing zou drive-overlay kunnen zijn, en daar heb ik geen zin in.

Linux kan wel vrolijk die schijf herkennen, maar voordat linux dat kan doen, moet linux wel opstarten! En om linux op te starten, moet je BIOS toch eerst de schijf herkennen. Dat drive-overlay gedoe van diskmanager 2000 heb ik ooit eens geïnstalleerd, maar dat liep niet echt lekker. Inmiddels ben ik erachter dat dat waarschijnlijk kwam door het gebruiken van standaard EIDE-kabels. Bij die schijven van tegenwoordig is het vanaf UDMA-33 al aan te raden om ATA-kabels te gebruiken. Dat loste bij mij iig bij meer dan 1 PC het probleem op.

[Verwijderd]

Inmiddels ben ik debian helemaal opnieuw aan het installeren, ben benieuwd hoe het nu zal gaan.

Ik ook, heb nl al meerdere linux distru's geprobeerd en zelfs BSD. Bij mij gebeurt het ook met kleine schijven van 4 gig, die in pio mode 4 draaien...

Btw, wat is de precieze optie van samba om die optie in te stellen zodat die connectie timeouts niet meer voorkomen.

[AdLentis]

Verwijderd schreef op 17 December 2002 @ 22:54:
[...]


Ik ook, heb nl al meerdere linux distru's geprobeerd en zelfs BSD. Bij mij gebeurt het ook met kleine schijven van 4 gig, die in pio mode 4 draaien...

Als het probleem zich nog steeds voordoet, ga ik kijken wat er gebeurt als ik de UDMA modus van mijn schijf verlaag/uitschakel met de Disk Feature Tool van IBM (niet in BIOS want dat heeft misschien toch geen effect). Op die manier breng ik de performance omlaag, wat misschien wel het gewenste effect heeft.

Btw, wat is de precieze optie van samba om die optie in te stellen zodat die connectie timeouts niet meer voorkomen.

Bij elke share de optie "oplocks = no" aanzetten.

[Verwijderd]

Die partitie waar je die bestanden heen kopieert op die 60gig schijf is dat een ext partitie of fat?

In mijn server zitten nl 2 40 gig maxtor schijven, die ik fat32 heb geformatteerd.
Als ik een grote file op een van die schijven zet mbv samba heb ik wel schijfactiviteit, maar geen netwerktransfer. Na een minuut ofzo begint hij pas met het wegschrijven van de file en zie ik netwerkactiviteit...

[Verwijderd]

Ik heb het probleem ook, bij grote bestanden > 150 mb, hoe groter hoe langer de tijd duurt. had het eerder nooit, en heb het op andere servers ook niet, oplossing heb ik vooralsnog niet kunnen vinden
UnitedLinux Beta3 btw

Ik heb wel schijf activiteit voordat hij begint,

gebruik het Rfs, ging eerst goed.

[ Voor 20% gewijzigd door Verwijderd op 17-12-2002 23:19 ]

[AdLentis]

Verwijderd schreef op 17 December 2002 @ 23:01:
Die partitie waar je die bestanden heen kopieert op die 60gig schijf is dat een ext partitie of fat?

In mijn server zitten nl 2 40 gig maxtor schijven, die ik fat32 heb geformatteerd.
Als ik een grote file op een van die schijven zet mbv samba heb ik wel schijfactiviteit, maar geen netwerktransfer. Na een minuut ofzo begint hij pas met het wegschrijven van de file en zie ik netwerkactiviteit...

Hier ook fat32. Op ext3 nog niet getest. Zal ik binnenkort doen.

Verwijderd schreef op 17 December 2002 @ 23:18:
Ik heb het probleem ook, bij grote bestanden > 150 mb, hoe groter hoe langer de tijd duurt. had het eerder nooit, en heb het op andere servers ook niet, oplossing heb ik vooralsnog niet kunnen vinden
UnitedLinux Beta3 btw

Ik heb wel schijf activiteit voordat hij begint,

gebruik het Rfs, ging eerst goed.

Pcies wat ik ook heb. Blijft vaag. Vraag me toch af of ik niet klein beetje schijf activiteit heb (heb alleen ledje bekeken, op afstand...).

Het downloaden van grote files met wget die dan corrupt raken had ik echter al bij de 20 GB schijf. Dus dat zou ook aan een ander onderdeel van de PC kunnen liggen. Het maakte niet uit of ik ze op fat32 of ext2 opsloeg.

offtopic:
Server is zowat klaar om online te gaan, zodat m'n oude server plat kan. Die draait op dit moment met de 20 gb hd waar geen problemen mee waren. Toch handy als je wat spullen bewaart als backup. Pas geleden 2 voedingen overleden, waarvan er 1tje 5 jaar oud was (AT) en de ander (ATX) 2 jaar, maar dat was gewoon slechte kwaliteit. Trouwens, mijn specs zijn op dit moment beetje out-of-date...

[ Voor 35% gewijzigd door AdLentis op 18-12-2002 00:18 ]

[Verwijderd]

Zo te zien heeft het dus niks te maken met filesystem, hd-modes (heb ook oude schijf gehad, zelfde gezeik). Ik heb verschillende samba versies geprobeert > zelfde gezeik!

Als ik met ftp een bestand overzet heb ik geen probleem, dan gaat hij meteen transferen.

[imdos]

wat zijn jullie socket options

code:

socket options = IPTOS_LOWDELAY TCP_NODELAY SO_RCVBUF=16384 SO_SNDBUF=16384

En er is nu 2.2.7a uit welke versie maken jullie gebruik van?

[roelio]

Je zegt geen HD activiteit op de server als je die minuut moet wachten voordat het kopieren begint, maar heb je ook al met top o.i.d. gecheckt wat de CPU van de server dan doet? M.a.w. is die heel druk bezig iets te proberen?

[deadinspace]

AdLentis schreef op 17 december 2002 @ 22:41:
Zodra ik de boel weer aan de praat heb. En wat betreft die 8 GB, die verspil ik niet. De enige oplossing zou drive-overlay kunnen zijn, en daar heb ik geen zin in.

Linux kan wel vrolijk die schijf herkennen, maar voordat linux dat kan doen, moet linux wel opstarten! En om linux op te starten, moet je BIOS toch eerst de schijf herkennen.

Weigert je BIOS helemaal van die schijf te booten? Dan wil het misschien helpen om hem in de BIOS handmatig in te stellen alsof het een schijf van kleiner dan 32 GB is.

[Verwijderd]

Die socket options doen meer kwaad dan goed, nu moet ik langer wachten.

Top geeft dit:
5497 root 15 0 1788 1788 1600 S 14.4 1.1 0:01 smbd

Geen rare meldingen in /var/log/messages.

Gebruik Samba version 2.2.7.

[Verwijderd]

Heeft die herinstallatie van debian geholpen...?

[AdLentis]

Even proberen (zit nu op werk, maar gelukkig zijn er van die tooltjes als remote desktop enzo )

(...)

Testresultaat:
- Kopieren van file van 770 MB werkt nu wel.
- Zo'n 10-15 sec wachten voor kopiëren begint.
- Tijdens wachtperiode 2%-60% CPU usage door server (varieert).
- Nauwelijks netwerkverkeer (1 kB/s) tijdens wachten.

Het probleem is hier blijkbaar opgelost. Ik denk dat het een combinatie is van verschillende dingen. Met FTP heb ik ook nog nooit problemen gehad, dat gaat netjes gelijk van start met 700 kB/s.

[ Voor 70% gewijzigd door AdLentis op 19-12-2002 16:38 . Reden: Getest! ]

[Verwijderd]

Zo'n 10-15 sec wachten voor kopiëren begint.

Zoiets heb ik ook. Toch raar dat je 20 sec ofzo moet wachten voordat er netwerkactiviteit plaatsvindt...

[AdLentis]

Verwijderd schreef op 19 december 2002 @ 19:26:
[...]


Zoiets heb ik ook. Toch raar dat je 20 sec ofzo moet wachten voordat er netwerkactiviteit plaatsvindt...

Ik denk dat dus nog steeds te maken heeft met de opportunistic locks. Samba gaat daar niet zo goed mee overweg denk ik. Samba zal misschien geen opportunistic lock toestaan, waardoor er niet lokaal gecacht mag worden door Windows. Bij het kopiëren tussen Windows PC's is er geen wachttijd.