[LINUX] zeer traag kopiëren

[Verwijderd]

Mijn probleem is als volgt. Zodra ik kopieer van hdc naar hdd dan gaat alles met een goeie snelheid (20+ MiB/s). Zodra ik van hdd naar hdc kopier dan haal ik een snelheid van ongeveer 800 KiB/s wat wel erg traag is.
Zodra ik van hdd naar hda kopier dan is de snelheid wel oke (weer 20+ MiB/s). Het kopieren van hda naar hdd gaat goed en het kopieren van hda naar hdc gaat ook niet goed. Snelheid begint goed maar na een paar seconde zit hier de snelheid rond de 2200KiB/s.

Voor het kopiëren gebruik ik het programma "cp". Met de -g optie heb ik de snelheid getest.

hdc en hdd zijn van hetzelfde type (Maxtor DiamondMax 10 250GB) en zijn beide geformateerd als ext3

de hdparm -tT resultaten zien er goed uit:
/dev/hdc:
Timing cached reads: 596 MB in 2.00 seconds = 297.67 MB/sec
Timing buffered disk reads: 186 MB in 3.02 seconds = 61.50 MB/sec

/dev/hdd:
Timing cached reads: 596 MB in 2.01 seconds = 297.01 MB/sec
Timing buffered disk reads: 184 MB in 3.00 seconds = 61.33 MB/sec


Ik draai Gentoo linux met kernel 2.6.18 r3. Op een pentium3 866 op een moederbord met intel 815 chipset.

Heeft iemand voor mij een oplossing?

[Verwijderd]

Het is normaal dat als twee ATA devices aan dezelfde IDE controller hangen, de ene als slave, de andere als master, de snelheid als een pudding in elkaar stuikt wanneer beide naar elkaar of beide tegelijk naar (een) andere drive(s) copiëren. De oplossing ligt er dan ook in de drives zo te plaatsen dat er zo veel mogelijk tussen IDE kanalen wordt gecopiëerd, en dat niet tegelijk twee devices op 1 IDE-kanaal data versturen. Zie ook dit stukje.

De meeste chipsets hebben twee IDE-controllers, en Linux kernels hebben volgende naamgeving: hda is de primary master, hdb de primary slave, hdc de secondary master en hdd de secondary slave. Als het alle 4 harddisks zijn, die vaak naar elkaar toe copiëren, zou je misschien kunnen investeren in een el-cheapo RocketRaid PCI kaartje, zodat elke harddisk z'n eigen IDE-kanaal heeft.

[Verwijderd]

Thanx voor the reply Hawk,
maar zoals ik aangaf gaat kopieren van hdc naar hdd snel en andersom niet
ook gaat kopieren van hda naar hdc traag. Dus verschillende kanalen is ook de oplossing niet.

800KiB/s zou ook met een kanalen probleem echt te traag zijn. Mijn internet verbinding is nog sneller.

[Keiichi]

Staan er misschien opvallende dingen in je /var/log/messages of /var/log/syslog ?

[Verwijderd]

In me log staat geen rare dingen.
heb wel deze fouten gehad:
buffer I/O error
end_request I/O error

maar na herformateren van hdc zijn de problemen verdwenen.

[Boudewijn]

check je hdd eens met een smart-tool


ik gok brakke hardware namelijk.

[ Voor 32% gewijzigd door Boudewijn op 02-01-2007 01:25 ]

[Verwijderd]

heb smartmontools geinstalleerd, ben nu bezig een lange test uit te voeren op hdc. Gaat nog wel even duren (100 min).
De korte test gaf bij hdd en hdc dezelfde resultaten.

[Verwijderd]

test update
Na het uitvoeren van het volgende commando:
smartctl -t long /dev/hdc
En dan lang wachten (meer dan 100 minuten) zijn de resultaten binnen.

Geen fouten.

Heeft iemand nog een idee? wordt een beetje moe van het wachten 100+ GB kopieren gaat zoooooo traag.

[ Voor 23% gewijzigd door Verwijderd op 02-01-2007 16:52 ]

[Verwijderd]

Net nog een test uitgevoerd.
Het het filesystem van hdc vervangen door ext2 en reiserfs. In beide gevallen geen noemenswaardige verbetering. Kopiëren blijft traag.

[Verwijderd]

Heb je misschien andere opties in je fstab gebruikt voor hdc (vergeleken met hda en hdd)?

[Verwijderd]

Nee, mijn fstab ziet er als volgt uit.

code:

/dev/md1  /      ext3 noatime 0 1  (hda en hdb in software RAID)
/dev/hdc1 /data  ext3 noatime 0 0 
/dev/hdd1 /data2 ext3 noatime 0 0

[XTerm]

Verwijderd schreef op maandag 01 januari 2007 @ 23:13:
In me log staat geen rare dingen.
heb wel deze fouten gehad:
buffer I/O error
end_request I/O error

maar na herformateren van hdc zijn de problemen verdwenen.

Dat is dan toch echt een brakke schijf -> als je die vervangt zijn je problemen waarschijnlijk van de baan.

[Verwijderd]

Zit er nog verschil in de output van hdparm /dev/hdc of hdparm /dev/hdd ?

[Verwijderd]

Verwijderd schreef op dinsdag 02 januari 2007 @ 18:14:
Zit er nog verschil in de output van hdparm /dev/hdc of hdparm /dev/hdd ?

Nee, zie start post zo goed als dezelfde waarden

[ Voor 67% gewijzigd door Verwijderd op 02-01-2007 18:40 ]

[Verwijderd]

Verwijderd schreef op dinsdag 02 januari 2007 @ 18:15:
Nee, zie start post zo goed als dezelfde waarden

Ik bedoel staat DMA aan, read ahead IO support etc...voor beide schijven ?

[Verwijderd]

de instellingen van beide schijven staan gelijk

code:

/dev/hdc:
 multcount    =  0 (off)
 IO_support   =  0 (default 16-bit)
 unmaskirq    =  0 (off)
 using_dma    =  1 (on)
 keepsettings =  0 (off)
 readonly     =  0 (off)
 readahead    = 256 (on)
 geometry     = 30515/255/63, sectors = 490234752, start = 0

code:

/dev/hdd:
 multcount    =  0 (off)
 IO_support   =  0 (default 16-bit)
 unmaskirq    =  0 (off)
 using_dma    =  1 (on)
 keepsettings =  0 (off)
 readonly     =  0 (off)
 readahead    = 256 (on)
 geometry     = 30515/255/63, sectors = 490234752, start = 0

Heb net een nog wat uitgebreidere test gedraaid. Heb hier 2 pc's staan verbonden met een 100Mbit netwerk. Heb een bestand (700+MB) heen en weer gezet, hieronder de resultaten.

bron	doel	snelheid
hda	hdc	8000K
hda	hdd	29M
hdc	hdd	30+ M
hdc	hda	20+ M
hdd	hda	8000K
hdd	hdc	800K
ftp	hda	7,6M
ftp	hdc	2M
ftp	hdd	6,7M
hda	ftp	11 M
hdc	ftp	11 M
hdd	ftp	11 M

Wat mij opviel met het ftp kopiëren van ftp naar hdc is dat de snelheid eerst hoog (zelfde als hdd) en dan instort. En dat instorten is eigenlijk snel - nietsdoen - snel - nietsdoen - snel.
Dat viel mij ook al op met het kopieren van hdd naar hdc dan knippert mijn hd activity led.

Het probleem lijkt dus in hdc te zitten. Snap alleen niet waarom zowel smart als hdparm wel mooie resultaten laten zien. Weten jullie nog een leuk proggie om wat meer tests te runnen?

[u_nix_we_all]

De doorvoer (lezen/schrijven) testen met bonnie:
http://www.garloff.de/kurt/linux/bonnie/
Let even op dat je -o_direct gebruikt, anders beinvloed je caching/buffering het resultaat

Hdparm test alleen lees snelheid, en het probleem lijkt te zitten in het schrijven naar hdc

[Verwijderd]

Ok ik heb bonnie geinstalleerd.

geen -o optie
usage: Bonnie [-d scratch-dir] [-s size-in-Mb] [-html] [-m machine-label]

voer het nu uit met bonnie -d /data (voor hdc)
en bonnie -d /data2 (voor hdd)
beide 2 keer uitgevoerd

1e resultaat data:

code:

File '/data/Bonnie.9133', size: 104857600
Writing with putc()...done
Rewriting...done
Writing intelligently...done
Reading with getc()...done
Reading intelligently...done
Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done...
              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
          100 15165 98.6 115305 93.5 148322 98.5 17415 100.0 361055 98.7 16309.2  97.9

2e resultaat data:

code:

File '/data/Bonnie.9138', size: 104857600
Writing with putc()...done
Rewriting...done
Writing intelligently...done
Reading with getc()...done
Reading intelligently...done
Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done...
              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
          100 15184 98.9 116800 91.3 149122 100.5 17318 99.6 358635 98.1  84.6  0.4

1e resultaat data2:

code:

File '/data2/Bonnie.9144', size: 104857600
Writing with putc()...done
Rewriting...done
Writing intelligently...done
Reading with getc()...done
Reading intelligently...done
Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done...
              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
          100 14785 98.8 110104 93.5 122819 90.0 16852 98.9 319024 96.6 16301.8 89.7

2e resultaat data2:

code:

File '/data2/Bonnie.9148', size: 104857600
Writing with putc()...done
Rewriting...done
Writing intelligently...done
Reading with getc()...done
Reading intelligently...done
Seeker 1...Seeker 2...Seeker 3...start 'em...done...done...done...
              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
          100 15070 98.5 110782 93.0 125646 87.1 17140 99.4 377858 99.6 19065.7 95.3

Vooral de seeks van hdc zijn erg verschillend

[u_nix_we_all]

Hmm, vreemd ook dat de seek resultaten voor de eerste en tweede run op hdc zo verschillend zijn.

Ik krijg ook het idee dat die disk gewoon een beetje gaar is.

Overigens, ik weet niet welke versie je gebruikt, maar de optie "-o_direct" zit alleen in 1.3 en hoger dacht ik. En zonder die optie is 100 MB een beetje weinig, dat zou in principe helemaal in je cache buffer passen, dan meet je meer hoe je diskcache perfromt, ipv je disk zelf

[Verwijderd]

Heb de file vergroot naar 2000MB

resultaten van hdc

code:

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
         2000  1792 11.9  1859  1.7  1801  1.3  9160 52.4 55940 18.8  62.4  0.6

resultaten van hdd

code:

              -------Sequential Output-------- ---Sequential Input-- --Random--
              -Per Char- --Block--- -Rewrite-- -Per Char- --Block--- --Seeks---
Machine    MB K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU K/sec %CPU  /sec %CPU
         2000 14650 96.8 54124 54.5 24981 22.4 16225 92.5 57081 21.2 105.3  0.8

Denk dat er nog maar 1 test mogelijk is en dat is hdc aansluiten als hdd en dan kijken of de resulten nog steeds slecht blijven.