Corruptieprobleem

[FastPinguin]

Ik heb al een tijdje Fedora 12 met Amahi home server draaien. Eigenlijk is de hardware een beetje bij elkaar gevonden hardware van zolder maar het draait lekker:

-Moederbord: AM2NF3-VSTA specs: http://www.asrock.com/mb/overview.asp?Model=AM2NF3-VSTA
-HDD: Seagate Barracuda ATA IV ST340016A (IDE) 40GB
-HDD2: Maxtor DiamondMax 10 6V250F0 (SATA/300) 250GB
-AMD Athlon(tm) 64 X2 Dual Core Processor 3800+
-2GB DDR2 533 MHz geheugen
-Geforce FX5600XT AGP 8x

Ik begon met 2x 40GB harddisks, maar na de installatie bleef hij hangen op het fedora logo en soms kwam hij heel even bij het bureaublad maar sommige menu's en programma's werkte niet meer. Het leek op corruptie van de data. 1 van die 2 harddisks maakte al een irritant piepend geluid (maxtor schijf) en ik wist dat er niet netjes mee omgegaan was dus verwachte dat die voor corruptie zou zorgen. Na het eruit halen werkte alles opeens als een trein.

Nu gebruik ik de server ook om een aantal dingen te downloaden en is die 40GB die overgebleven is dus niet meer genoeg, Ik heb uiteindelijk een Maxtor schijf van 250GB weten te scoren. Ik was helemaal blij en heb deze guide gevolgd om hem toe te voegen: http://fedoranews.org/tchung/storage/

Het was helemaal goed gegaan en hij mount de schijf mooi onder sdb1 /home2. Ik dacht mooi nu kan ik de schijf even vol gooien. Later bleek bij het uitpakken van rar bestanden dat ik een foutmelding kreeg van parts waar de CRC niet klopte met als gevolg de melding dat het archief beschadigt is. Nu kan dat gebeuren een keer maar het bleek dat heel me collectie corrupt was. Wat raar is dat het steeds om andere parts gaat. Het lijkt net of het gewoon lees fouten zijn.

Wat heb ik al geprobeerd om het op te lossen:
-In plaats van ext4 geformatteerd naar ext3 / nog steeds zelfde probleem
-SMART bekeken. geen fouten of kritieke attributen
- Extended test gedaan en short was wat uurtjes eerder al gedaan:
SMART Self-test log structure revision number 1
Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Extended offline Completed without error 00% 7953 -
# 2 Short offline Completed without error 00% 7924 -

-Met Hiren's boot cd mini Windows XP gestart en HDTune gestart. Ik heb daarmee een complete surface scan gedaan. Geen sectors beschadigd. Ook nog bij health gekeken en alles was OK.

-e2fsck -c gebruikt om te scannen voor bad blocks / leverde ook niets op


Als ik het zo bekijk is er fysiek niets mis met de schijf. Ik vraag me af of er een bug bekend is met maxtor schijven, omdat mijn andere 40GB maxtor schijf ook al corruptie veroorzaakte in het begin (hoewel ik die schijf sowieso al niet vertrouwde door het piep geluid maar dat ter zijde). Of mis ik een driver om sata schijven goed aan te sturen? Mijn Seagate schijf is gewoon IDE en die werkt perfect.

Hier nog wat data dat ik in een log gevonden heb voor de linux experts die snappen wat er gebeurd :
http://home.telfort.nl/gamenet/kernel.txt

Beetje onderaan komt wat over de schijven zo te zien. Het lijkt allemaal goed te gaan zo ver ik het snap.


Samenvatting probleem:

-rar en zip bestanden raken corrupt na een tijdje (na ongeveer 5 minuten) eerste 2 keer uitpakken lukt nog als ik even wat van een niet-corrupte bron kopieer naar de schijf (schrijf actie gaat dus goed). Daarna random part corruptie. Als het in een singel archief zit raakt die gewoon helemaal corrupt.

-mappen structuur en eventueel film bestanden raken niet helemaal corrupt (na 6 dagen alles nog in orde kwa mappen stuctuur/bestanden/partitie) film bestanden vertonen artefacten, maar kan ook komen omdat linux toch corrupte archieven uitpakt en dat mee neemt in de film bestanden.

-Als ik via netwerk share (via samba) in Windows uitpakt gebeurd hetzelfde, alleen Windows vertikt het om überhaupt wat uit te pakken. (dus ligt waarschijnlijk niet aan de uitpak functie van linux??)


Ik hoop dat iemand me verder kan helpen vraag maar raak als je iets meer wil weten

[jan99999]

Memtest86 draaien.

Andere harddisk kabel gebruiken.

Over netwerk zijn de files corrupt, kan zijn dat de driver van je netwerkkaart niet goed is.

Artifacts, of videokaart te heet(loopt te hard), videokaart is kapot, codec niet goed.
Heb je de goede driver geinstalleerd.

[FastPinguin]

-Mijn systeem is wel stabiel. Alles draait op me 40GB Seagate schijf aan systeembestanden. Ik zal toch nog memtest dadelijk even proberen voor de zekerheid, maar ik ben 98% zeker van dat er niets met het geheugen aan de hand is, anders zou me hele systeem instabiel zijn.

-Ik had nog niet aan de SATA kabel gedacht. Ik heb hem gelijk vervangen en ook nog is een andere SATA port gebruikt. plus de jumper op 1.5gb mode gezet.

-Ik haal de bestanden van mijn 40GB Seagate schijf. Ik heb daar uitpakken getest en dat werkt nog steeds perfect en daarna over gekopieerd naar me 250GB schijf (in linux, niet via Samba server). Bij het uitpakken op me 250GB schijf was het weer raak. parts met CRC error. Ik ging daarna nog een keer uitpakken en toen kregen andere parts opeens een CRC error, maar de andere parts die hij eerst aangaf met CRC errors waren nu opeens geen probleem meer.

-Met bovenstaande procedure komt de hele netwerk kaart niet eens aan bod. Bestanden over kopiëren van mijn 40GB Seagate schijf over het netwerk gaat altijd ook helemaal goed.

-Met artifacts bedoel ik het echt in de video zelf en niet het hele scherm. Als ik film bestanden van me 40GB Seagate schijf bekijk krijg ik geen artifacts, dus mijn codecs zijn ook in orde. Het zelfde film bestand openen in Windows van me 250GB schijf resulteert ook in artifiacts.

Verder draai ik de server headless en is er niet eens een videokaart driver nodig. Ik doe bijna alles via VNC. Wat me wel opvalt in de log is dat gdm (GNOME Display Manager) crasht als ik me systeem zonder monitor opstart, maar ik denk dat het totaal niet relevant is aan mijn probleem:

Server init: prefdm main process ended, respawning
Server init: prefdm main process (2822) terminated with status 1
Server gdm-binary[2822]: WARNING: GdmLocalDisplayFactory: maximum number of X display failures reached: check X server log for errors
Server gdm-binary[2822]: WARNING: GdmDisplay: display lasted 0.198505 seconds
Server abrt[2874]: not dumping repeating crash in '/usr/bin/Xorg'
Server gdm-binary[2822]: WARNING: GdmDisplay: display lasted 0.196805 seconds
Server abrt[2869]: not dumping repeating crash in '/usr/bin/Xorg'
Server gdm-binary[2822]: WARNING: GdmDisplay: display lasted 0.193606 seconds
Server abrt[2864]: not dumping repeating crash in '/usr/bin/Xorg'
Server gdm-binary[2822]: WARNING: GdmDisplay: display lasted 0.014695 seconds
Server gdm-binary[2822]: WARNING: GdmDisplay: display lasted 0.193605 seconds
Server abrt[2855]: not dumping repeating crash in '/usr/bin/Xorg'
Server gdm-binary[2822]: WARNING: GdmDisplay: display lasted 0.436897 seconds

Een oplossing voor dit probleem zou ik ook best wel willen weten, want het spamt me log best wel. Met monitor, toetsenbord, muis etc gebeurd dit niet en krijg ik gewoon een mooie grafische omgeving.

Ik hoop dat ik het probleem zo een beetje duidelijker heb gemaakt en misschien je de situatie nu beter kan inschatten en met andere ideeën me verder kan helpen. alvast bedankt!

[laurencevde]

Je sata-schijf staat nog in IDE-mode. Zet hem eens in ahci-modus.

Als je eerst bestanden kopieert, en daarna meteen probeert uit te pakken, staat de helft nog in het geheugen, en gaat linux dus ook niks van de hdd lezen. Dat helpt ook niet mee om te zien wat er aan de hand is...

Ik denk dat md5sum wat handiger is dan rar om mee te checken. md5sum eens een redelijk klein bestand, en kopieer dat een paar duizend keer naar je 250GB-schijf(iig zoveel dat het >2GB is), en md5sum die dan allemaal een paar keer. kan je ongeveer zien hoe vaak je een error krijgt.
Simpel scriptje/commando om een bestand 10000x te kopieren:
for (( i=0; i<10000; i++ )); do cp <pad/naar/bestand> <bestand>.$i; done

Andere mogelijkheid is om (als root) met dd 1 blok heel vaak uit te lezen, en te kijken of dat hetzelfde blijft:
for (( i=0; i<10000; i++ )); do dd if=/dev/sdb count=1 skip=1000 2>/dev/null|md5sum; done

[FastPinguin]

-Ik me bios kan ik alleen "non-raid" of "raid" kiezen, AHCI-modus staat er niet tussen. Dat ondersteund me moederbord niet als ik het goed begrijp uit me moederbord manual. Of praat ik nu poep? of moet ik iets in Linux doen?

-Dat md5sum is me gelukt. Ik krijg in mijn geval nu "test1.md5" van het bestand "test" en test1.md5 heb ik 10000 keer in een mapje laten kopiëren met je script en loopt op in mijn geval bla.0, bla.1, bla.2 enz. Ik ben alleen niet zo'n super scripter dat ik een script in elkaar kan toveren om die allemaal een keer te checken. Ik heb handmatig een paar md5 bestanden gespamt en er kwam iedere keer "OK" uit.

-Met je andere script, Die ik letterlijk overgenomen heb, Krijg ik een mooie lijst met een md5sum code. Zelfs te lang voor me terminal scherm zo te zien. Zo te zien blijft hij mooi hetzelfde md5 code weergeven. Ik neem aan dat, dat het gewenste resultaat is?

Ik weet niet wat voor conclusie ik hieruit moet opmaken. Dat alles goed gaat behalve archive bestanden lezen/uitpakken? Als je nog een script heb om al die md5 bestanden in 1 keer te checken wil ik dat ook nog proberen.

Nog 1 ding wat me opgevallen is: Bestanden moeten gelijk verwijderd worden, hij kan ze niet in de Trash zetten. Komt dat omdat me systeem ext4 is en deze schijf nu ext3 is?

Als ik rar bestanden weer terug kopieer naar mijn goede schijf, blijven iedere keer zelfde parts CRC errors geven. Waarschijnlijk zijn die parts dan net verkeerd uitgelezen? Want op me 250GB schijf zijn het iedere keer weer andere parts die CRC errors geven. Wel raar dat die md5 check wel steeds goed gaat, zover ik het getest heb. Ik snap er echt niets meer van wat er mis is. het lijkt erop dat de bestanden helemaal niet corrupt raken, maar hij gewoon lees fouten iedere keer maakt bij het kopiëren en dan uiteindelijk wel corrupt zijn.