Kopieren van samba shares slaat semi-random files over

[superduper]

Ik ben nu 3 maanden op een nieuwe plek werkzaam en daar hebben we een irritant probleem. Er zijn twee Win2000 PCs die een apparaat aansturen gekoppeld aan een Suse 10.1 machine. De dataschijven uit de Win2000 PCs zijn gemount op de Suse mbv SAmba. Nu is het probleem dat als we bestanden willen kopieren vanaf de shares naar de Suse machien of elders in het netwerk, niet alle files zichtbaar zijn en worden gekopieerd.

Ik heb een script geschreven om dit uit te testen: als je iteratief steeds een directory met 1500 bestanden wilt kopieren, gaat dit maar 6 keer goed uit 40 pogingen. Het slechtste was dat soms maar 1322 bestanden werden gezien.

Een paar karakteristieken: het heeft met tijd te maken. Als je refreshed, en hij ziet op het moment een selectie van bestanden duurt het een seconden of 5-10 voor hij een nieuwe 'selectie' laat zien. In deze tijd krijg je altijd dezelfde beperkte selectie.

Er zijn bestanden die voorkeur hebben om gemist te worden: maw het is niet compleet random.

Dit gebeurt op beide gesharde PCs.

Dit verschijnsel is al begin 2004 gemeld op Linux forums, maar er wordt niet echt een oplossing geboden, en ik ga er toch vanuit dat zelke bugs in nieuwere releases worden opgelost. Er werd aangegeven dat het probleem in het bmsfs zat, en kon optreden met elke versie van Windows.

Als ik er een nieuwe (XP) PC naast zet, en die mount op de Suse machiene gaat het wel goed.

Ik weet nu niet meer waar te zoeken. Kan dit hardware gerelateerd zijn? Netwerkkaarten, switches?

[Stamgastje]

Je geeft aan dat het op twee Windows 2000 PC's fout gaat en op een XP PC niet.

Twee vragen om na te gaan of het misschien aan Windows 2000 ligt of aan de snelheid van de hardware:
- Zijn er meer Windows 2000 PC's? En zo ja, gaat het daar ook fout op?
- Die XP PC, is die qua hardware vergelijkbaar aan de Windows 2000 PC's? Of is deze veel sneller?

En krijg je verder geen foutmeldingen in de samba logs (/var/log/samba op de server)?

[ Voor 17% gewijzigd door Stamgastje op 17-06-2006 10:18 ]

[Barracuda]

post je scriptje eens?

wat je ook zou kunnen doen is de files eerst in een zip/rar/tar/watever gooien en dan overzetten even een md5sum van te voren en een md5sum achteraf om te kijken of het goed is gegaan

PS. welke versie van samba heb je
ik draai zelf hetvolgende op een redhat doos

samba-common-3.0.10-1.4E.2
samba-client-3.0.10-1.4E.2
samba-3.0.10-1.4E.2

en heb nooit problemen maar ik kopieer dan ook nooit een hoop kleine files maar meer grote files

[ Voor 43% gewijzigd door Barracuda op 17-06-2006 10:25 ]

[superduper]

Het ligt niet zo zeer aan het scriptje: dat is alleen om een lees/schijf batch te controleren. Zelfs met de commander op de SUse doos missen er al bestanden in de listing. Als je met een script de dir inhoud leest, missen er bestanden en soms ook directories. Geef je een commando om een dir te copieren krijg je halverweg errors dat het bestand niet bestaat (maw is buiten het zicht gevallen).

De XP PC is een totaal andere machine, simpelste DELL.

We gaan de Win2000 PCs wel upgraden naar XP, maar omdat de fout al eerder ook gedocumenteerd werd in een XP-SAmba link heb ik daar weinig hoop op.

In een tar gooien is een goed plan, alleen heb je dan 50% kans. Hij ziet dan namelijk ook soms de hele Tar even niet, en dan heb je helemaal niets.

Helaas is het al bijna twee jaar zo, en op het moment wordt er omheen gescript. Soms wordt een folder bruut 100(!) gekopieerd om alles te verzamelen. Echt goed voor je traffic management..

Versies moet ik even opzoeken, maar zijn die standaard met Suse 10.1 meekomen.

[ Voor 5% gewijzigd door superduper op 17-06-2006 13:35 ]

[Verwijderd]

Domme opmerking misschien maar er zitten toch geen bestanden tussen met rare exotische characters in de filename ? Dingen waar Windows niet over struikelt maar Samba wel ?

[Stamgastje]

superduper schreef op zaterdag 17 juni 2006 @ 13:34:
Zelfs met de commander op de SUse doos missen er al bestanden in de listing.

Dat wijst er dus op dat de fout niet in samba zit. Weet je wel zeker dat het met de XP PC altijd goed gaat dan? Als dat al zo zou zijn dan zou dat er hooguit op kunnen duiden dat XP de samba server anders aanspreekt en dat samba daardoor het filesystem (kernel system calls) anders gebruikt.

Hoe dan ook, er gaat al iets fout op de file server blijkbaar. Heb je de hard disk getest op fouten? En heb je memtest86 al eens gedraaid? Wellicht is het gewoon een memory error die disk errors (i.v.m. DMA) veroorzaakt ofzo.

Wat is zou doen (op de server):
- server logs bekijken (/var/log/samba/*, /var/log/syslog, ...) op zoek naar disk read errors
- disk testen
- geheugen testen (memtest86)

[superduper]

even wat meer info:

* Samba log laat geen errors zien.
* Samba versie 3.0.13-11
* de gedeelde bestanden hebben simpele namen: A01, B01 etc.
* hard disk is een RAID array, en lokaal schuiven met data gaat zonder problemen.

Het kopieren gaat te vaak fout (bij een dir met > 300 files kans 100%) om een geheugen probleem te zijn. Er worden ook forse berekeningen en analyses gedaan op deze computer. Als het aan het geheugen zou liggen zou de computer zelf al lang vreemd gedaan hebben.

We verdenken nu de gigbit netwerk verbindingen (3com) en die gaan we nu maar testen.

Maar omdat de fout al eerder gemeld is blijft de verdenking toch bij samba: http://groups.google.nl/g...=1&hl=nl#566bc88174776582

Edit: er hangt nu een XP aan dezelfde switch en kopieren gaat tot nu toe perfect. Het lijkt dus toch in de andere twee werkstations te zitten. Die krijgen een upgrade deze week, dus we blijven hopen.
Helaas blijft de oplossing vooralsnog onzichtbaar.

[ Voor 11% gewijzigd door superduper op 19-06-2006 10:41 ]

[Stamgastje]

superduper schreef op zaterdag 17 juni 2006 @ 13:34:
Zelfs met de commander op de SUse doos missen er al bestanden in de listing.

superduper schreef op maandag 19 juni 2006 @ 08:52:
Maar omdat de fout al eerder gemeld is blijft de verdenking toch bij samba: http://groups.google.nl/g...=1&hl=nl#566bc88174776582

Ik neem aan dat je met "de commander op de SUse doos" mc (midnight commander) bedoelt, dat lokaal draait op de Suse server waarbij samba dus helemaal niet gebruikt wordt (correct me if I'm wrong). Dan vind ik het dus een rare conclusie dat Samba de veroorzaker van het probleem zou zijn.

We verdenken nu de gigbit netwerk verbindingen (3com) en die gaan we nu maar testen.

Zelfde als hierboven, als het probleem lokaal al optreedt (waarbij samba niet eens gebruikt wordt) dan zal het probleem toch elders liggen.

Het kopieren gaat te vaak fout (bij een dir met > 300 files kans 100%) om een geheugen probleem te zijn. Er worden ook forse berekeningen en analyses gedaan op deze computer. Als het aan het geheugen zou liggen zou de computer zelf al lang vreemd gedaan hebben.

Dat is niet zomaar een geldige conclusie. Vak wordt onder Linux het bovenste gedeelte van het geheugen dat niet gebruikt wordt door applicaties, gebruikt voor disk caching. Als die berekeningen regelmatig het volledige geheugen zouden gebruiken dan heb je een punt, anders zou het nog best zo kunnen zijn dat één van de geheugenreepjes defect is die eigenlijk nooit voor iets anders dan disk caching gebruikt worden.

[superduper]

Als ik met (inderdaad) midnight commander kijk op mijn mount, wordt samba toch gebruikt? Er is natuurlijk geen probleem als je lokale bestanden kopieerd, dan was de machine al lang in de bak gegaan. Het gaat dus alleen mis met externe shares die met samba gemount worden.

De projecten die we soms doorrekenen gebruiken zeker al het geheugen, en swappen ook nog wel eens een paar gigabyte....

[Stamgastje]

Oh oke, je bekijkt dus echt de mount, vandaar het misverstand. Dan zou het idd een samba probleem kunnen zijn. Heb je al eens geprobeerd een recentere versie te installeren? Je geeft aan versie 3.0.13 te gebruiken (release: 23 maart 2005), de meest recente versie is 3.0.22.

En het geheugen kun je ook min of meer uitsluiten als er idd regelmatig al het geheugen door applicaties gebruikt wordt. Alhoewel een controle nooit kwaad kan, bijv. buiten kantooruren (of moet de server 24/7 beschikbaar zijn?).