Optimaliseren PAR2 en WinRAR

[Nox]

Ik gebruik PAR2 en WinRAR (beiden ingebakken in sabnzbd+) vrij intensief. Gezien ik wel eens met grote bestanden werk merk ik dat PAR2 en WinRAR langer bezig zijn dan het downloaden zelf (50mbit).

Nu het internet enorm snel is, is de volgende bottleneck dus mijn PC. Iemand enig idee hoe ik deze programma's kan optimaliseren? Is dat meer geheugen of een snellere CPU? Of is juist mijn HDD erg belangrijk? Of weet iemand een manier om het anders te versnellen? Wat ik al heb gedaan is een van mijn snelste schijven (seagate barracuda 7200RPM, 320GB) gebruiken als temporary schijf waar geen OS op staat. Vervolgens wordt daar alles tijdelijk neergezet en PAR2 op uitgevoerd en WinRAR leest van deze schijf en schrijft naar een 1TB WD Green caviar. Op deze manier heb ik al geen last van lees/schrijfacties tegelijk op een schijf met winrar, dit scheelt wel.

Ik heb, indien er hardware gekocht moet worden ongeveer 150 euro over voor bijv. een snellere CPU ofzo.

Mijn screensaver defragmenteert overigens alles al, maar weinig effect. Met een bestand van 5GB ben ik 10m bezig met downloaden, maar bijna 20 minuten voor PAR2 en WinRAR.

Mijn specs:

MSI K9A2 Platinum
AMD Athlon X2 4600+ @ 3ghz
4GB DDR2

2x Seagate Barracuda 7200RPM 320GB (1 OS, 1 data)
2x Western Digital Caviar Green 5400RPM 1TB (beiden data)

[Adames]

processor doet het rekenwerk

gezien je am2+ socket zou ik gaan voor deze

maar vraag me eigenlijk af waarom die x2 4600 er zó lang over doet, mag toch bijna niet. ik heb een e6400@2,13 en par en rar in enkele minuten (alleen heb ik een pauper verbinding)

[feep]

Ik denk eerder dat de hardeschijf een beperkende factor is. Je kan 2 schijven in raid0 zetten dan moet het wel een stukje sneller gaan.

Komen de bestanden wel goed binnen? Als er veel beschadigde bestanden binnen komen duurt het ook langer om te repareren.

[Room42]

Je harddisk is heel belangrijk, vooral tijdens het parren. Maar ook tijdens het unrarren zit de processor, afhankelijk van het compressie niveau lekker uit z'n neus te graven. Kijk maar eens met 'perfmon' (start -> uitvoeren)*. De Avg. Disk Queue Lenght vliegt omhoog bij het parren/rarren en de processor zal halverwegen blijven hangen, zo niet lager.

Als je echt prioriteit stelt bij snel parren/rarren, zet je je 'temp' dir op een SSD. Na (of bij) het uitpakken zorg je dat de data naar goedkopere media verplaatst wordt, zoals een normale harddisk.

* Dit geldt voor XP. Voor Vista is de perfmon er ook, geloof ik, maar ik weet niet of de benamingen gelijk zijn.

[ Voor 39% gewijzigd door Room42 op 04-08-2009 02:00 ]

[Verwijderd]

Room42 schreef op dinsdag 04 augustus 2009 @ 01:53:


* Dit geldt voor XP. Voor Vista is de perfmon er ook, geloof ik, maar ik weet niet of de benamingen gelijk zijn.

Is hetzelfde En inderdaad is de HD vaak de beperkende factor, zeker op een gefragmenteerde schijf.

[Spider.007]

Uitzoeken wat de bottleneck is, is in dit geval echt niet zo lastig. Open je taakbeheer; en kijk op welke momenten de CPU wordt gebruikt. Als deze op 100% zit is dit de beperkende factor, anders moet je toch verder zoeken

[Sparhawk]

Spider.007 schreef op dinsdag 04 augustus 2009 @ 09:47:
Uitzoeken wat de bottleneck is, is in dit geval echt niet zo lastig. Open je taakbeheer; en kijk op welke momenten de CPU wordt gebruikt. Als deze op 100% zit is dit de beperkende factor, anders moet je toch verder zoeken

50%, want hij heeft een dual core, en quickpar is een single threaded applicatatie...

[jan99999]

Denk je harde schijf.
Dus downloaden naar schijf 1, en uitpakken naar schijf 2, hiermee verdubbel je je uitpak snelheid(en niet je par2 kontrole snelheid).

Defrag hoef je niet te doen, is gewoon onzin om dit vaak te doen.
Je kan je c schijf af en toe defrag doen(1x per half jaar), je data schijf die steeds wijzigt heeft dus helemaal geen zin om defrag te doen.
En defrag in je screensaver te zetten is ook niet goed, bij een crash kun je files beschadigen.

[ Voor 49% gewijzigd door jan99999 op 04-08-2009 10:01 ]

[dik_voormekaar]

Je harde schijf is de beperkende factor.
Raid0 kan een hoop opleveren.
Ook uitpakken naar een fysiek andere schijf.

Overigens is Winrar vanaf versie 3.80 64-bit.
Die kan dan ook met dual-core snelheidswinst opleveren, hoewel de CPU niet de beperkende factor is.

[Cloud]

NoxiuZ schreef op dinsdag 04 augustus 2009 @ 01:32:
[...]

Mijn screensaver defragmenteert overigens alles al, maar weinig effect. Met een bestand van 5GB ben ik 10m bezig met downloaden, maar bijna 20 minuten voor PAR2 en WinRAR.

[...]

Dat is wel heel lang zeg. Nu gebruik ik Newsleecher, die dus meteen PAR2 uitvoert op elk bestand wat gedownload is dus daar hoef ik nooit op te wachten. Maar zelfs het uitpakken van 5GB (zeg een DVD iso), duurt geen 15 minuten bij mij, hooguit 5.

En ik heb echt een standaard, standaard pc (C2D E6300). Misschien een tikkeltje snellere HD (Maxtor MaxlineIII), maar verder niets speciaals.

Heb je toevallig niet een overactieve on-demand virusscanner die tijdens het PAR2-en en uitpakken flipt?

jan99999 schreef op dinsdag 04 augustus 2009 @ 09:58:
[...]
En defrag in je screensaver te zetten is ook niet goed, bij een crash kun je files beschadigen.

Tenzij je een echt brak stuk defrag software gebruikt, met FAT32, kun je echt niets fout doen bij defragmenteren hoor

[Quakie]

sabnzbd+ is niet een snelheidsmonster en zeker niet met standaardsettings.

heb je config verder getweakt? Je kunt bijv instellen dat hij geheugen gebruikt en eens in de zoveel tijd naar hardeschrijft schrijft. Standaard is het blank of 0, als je hier -1 invult gebruikt hij zoveel mogelijk geheugen voordat hij naar hardeschrijf schrijft.
ik heb sterk het idee dat je download (schrijfacties) je herstelwerkzaamheden (leesacties) in de weg zitten.
je kunt instellen dat ie ook stopt met downloaden als hij aan het herstellen is.

dit alles bij elkaar zou het moeten versnellen.. hun helppage is erg nuttig. Er is ook sectie wat dit allemaal behandeld.

[B2]

Wat ik op mn macbook merkte was de harde schijf echt het probleem. CPU was snel zat (2,4Ghz C2D).
Doe nu met mn WD Scorpio Blue gemiddeld iets minder dan 4 minuten over het unrarren van een dvd, 1,5 minuten voor het parren.

[jan99999]

Virusscanner kan ook nog in de weg zitten, die controleren tegenwoordig ook steeds meer.

[Sypher]

- Sabnzbd laat je zoveel mogelijk in het geheugen cachen ipv op je schijf. Heb hem hier op 50MB staan geloof ik
- Download / Unpack location scheiden van je OS disk
- Par kan je ook nog tweaken,

FYI: Sabnzbd gebruikt géén winrar maar gewoon unrar

Des te groter je te controleren set is, des te langer je bezig bent met parren en unrarren. Vanzelfsprekend is par snel klaar als het enkel om een controle gaat.

[punisher007]

Als je veel moet repareren kun je natuurlijk ook concluderen dat een andere usenet provide uitkomst kan bieden Ofwel .... hoeveel tijd zit er in het controleren/repareren en hoeveel tijd in het unrarren ?

[Nox]

Excuus voor het late reageren, verjaardag gevierd en te mooi weer om binnen te zitten

Even een voorbeeldje, een klein bestand is echt zo klaar:

Stage Download
[Time-Taken]: 3 minutes 29 seconds
[Avg-Speed]: 5809kB/s

Stage Par2
[PAR-INFO] orenji-x264-burn.notice.309-sample.mkv: => Verified in 2.5s, all files correct
[PAR-INFO] orenji-x264-burn.notice.309: => Repaired in 4.6s
[DEL-INFO] orenji-x264-burn.notice.309-sample.mkv: => Deleted 2 file(s)
[DEL-INFO] orenji-x264-burn.notice.309: => Deleted 3 file(s)

Stage Unrar
[RAR-INFO] orenji-x264-burn.notice.309: => Unpacked 1 files/folders in 14.3s
[DEL-INFO] orenji-x264-burn.notice.309: => Deleted 24 file(s)

Maar bij grotere bestanden (dit bestand is een factor 10 groter, full-HD) loopt de tijd exponentieel op.


Stage Download
[Time-Taken]: 38 minutes 58 seconds
[Avg-Speed]: 5557kB/s

Stage Par2
[PAR-INFO] Duplicity 2009 1080p BluRay DTS x264: => Verified in 1476.0s, all files correct
[DEL-INFO] Duplicity 2009 1080p BluRay DTS x264: => Deleted 2 file(s)

Stage Unrar
[RAR-INFO] Duplicity 2009 1080p BluRay DTS x264: => Unpacked 1 files/folders in 310.3s
[DEL-INFO] Duplicity 2009 1080p BluRay DTS x264: => Deleted 86 file(s)

Unrar doet er 2x zo lang over dan normaal, par2 zelfs, zonder fouten, doet er een 30x zo lang over?

Ik unrar al naar een fysiek andere schijf.

En dit zijn de instellingen van sabnzbd:

__version__ = 18
[misc]
log_dir = logs
auto_browser = 0
permissions = ""
check_new_rel = 1
replace_spaces = 1
fail_on_crc = 0
enable_filejoin = 1
enable_unzip = 1
enable_unrar = 1
enable_par_cleanup = 1
par_option = ""
config_lock = 0
safe_postproc = 0
pause_on_post_processing = 1
cleanup_list = ,
ignore_samples = 0
send_group = 0
download_dir = G:\incomplete
download_free = 2000
complete_dir = F:\
script_dir = ""
nzb_backup_dir = C:\Documents and Settings\Administrator\My Documents\NZB\backups
cache_dir = cache
dirscan_dir = C:\Documents and Settings\Administrator\My Documents\NZB
dirscan_speed = 5
refresh_rate = 5
rss_rate = 60
bandwith_limit = 0
cache_limit = 0
email_server = ""
email_to = ""
email_from = ""
email_account = ""
email_pwd = ""
email_endjob = 0
email_full = 0
schedlines = ,
dirscan_opts = 3
dirscan_script = None
top_only = 1
auto_sort = 0
enable_tv_sorting = 0
tv_sort_string = ""
web_color = darkblue
web_color2 = ""
host = localhost
port = 8080
web_dir = Default
web_dir2 = ""
username = ""
password = ""
[logging]
enable_cherrypy_logging = 1
log_level = 1
max_log_size = 5M
log_backups = 5
[newzbin]
overig, servers etc. (eweka) series maar niks over par2 voor zover ik weet.

[Blaat]

Ik denk dat je os ook mee kan spelen. Op xp deed mijn sempron 3000+ er +/- 12 minuten over om een film van 5gb te repareren. Toen ik overstapte naar Windows 7 werd dat 2,5 minuut. Vervolgens upgradde ik naar een c2d e5200 en toen werd het zelfs 1,5 minuut. En dat met een simpele maxtor pata schijf.

Is misschien stom, maar sinds ik ben overgestapt op Intel komen mijn downloads bijna altijd compleet binnnen. Bij mij amd waren er altijd 5 tot 10 delen incompleet.

[mcDavid]

R420R schreef op zaterdag 08 augustus 2009 @ 00:22:

Is misschien stom, maar sinds ik ben overgestapt op Intel komen mijn downloads bijna altijd compleet binnnen. Bij mij amd waren er altijd 5 tot 10 delen incompleet.

Ah eindelijk het bewijs: Toeval bestaat wél!

Overigens heb ik zelf een jaar terug gemerkt dat na een geheugenupgrade (512 naar 1024 MB) het parren/rarren veel sneller gaat. Het maakt ook uit welk programma je gebruikt. Sommige newsreaders doen er echt jaren over, maar SABnzbd+ is juist een van de snelsten dus daar zal het niet aan liggen...

[Joolee]

Een download waarvan ik wist dat deze incompleet op de server stond heb ik binnengehaald met SABnzbd+ . Tijdens het downloaden heb ik Quickpar laten draaien welke bij iedere nieuwe rar deze direct controleerde.
Als je Quickpar opnieuw start dan herkent hij de voortgang van de vorige keer en gaat verder waar hij gebleven was. Vlak voor het eind van het downloaden heb ik Quickpar gesloten.

SABnzbd+ vond het nodig de hele riedel nogmaals te scannen, wat veeeel langer duurde dan Quickpar dat deed. en uiteindelijk is hij gestopt omdat hij niet kon repareren.

Daarna heb ik Quickpar nogmaals gedraaid (welke ook overnieuw moest beginnen maar wel een heel stuk sneller was dan SABnzbd+ en die kon in 10 minuutjes de nodige archieven repareren.

Ik weet niet welk Par2 programma SABnzbd+ gebruikt maar hij is veel slechter dan quickpar. Ook weet ik dat Winrar vanaf versie 3.8 gebruik kan maken van 64 bit processoren en multicores, ik heb geen idee of de rar software die SABnzbd+ gebruikt dat ook kan.

_{SABnzbd+ 0.4.11 overigens}

[ID-College]

R420R schreef op zaterdag 08 augustus 2009 @ 00:22:

Is misschien stom, maar sinds ik ben overgestapt op Intel komen mijn downloads bijna altijd compleet binnnen. Bij mij amd waren er altijd 5 tot 10 delen incompleet.

Is dit een garp?

Maargoed TS, ik zou een RAID0 configuratie proberen. Draai ik hier ook, een DVD pakt uit in 3.5 min. Moet makkelijk lukken dus

[Nox]

R420R schreef op zaterdag 08 augustus 2009 @ 00:22:
Ik denk dat je os ook mee kan spelen. Op xp deed mijn sempron 3000+ er +/- 12 minuten over om een film van 5gb te repareren. Toen ik overstapte naar Windows 7 werd dat 2,5 minuut. Vervolgens upgradde ik naar een c2d e5200 en toen werd het zelfs 1,5 minuut. En dat met een simpele maxtor pata schijf.

Is misschien stom, maar sinds ik ben overgestapt op Intel komen mijn downloads bijna altijd compleet binnnen. Bij mij amd waren er altijd 5 tot 10 delen incompleet.

Dat laatste is allicht mogelijk met een oud nvidia bord dat je de firewall hebt ingeschakeld. Die was enorm corrupt. Anderzijds is het een andere factor geweest. Ik denk dat de kans dat het aan de CPU ligt minder dan een promille is.

Ik zal binnenkort eens even updaten naar windows 7. Mijn neefje gebruikt het ook op een superoude bak maar is er wel tevreden mee. Ik draai nu xp64.

Windows 7 zal nu wel een heel ander algoritme gebruiken om schijven te benaderen.

Ik draai nu .4.11 en ik merk in de resultaten een klein verschil. Het uitpakken verloopt ietsje sneller. Even uitgerekend zou ik 83 MB/s write moeten hebben. Snel genoeg voor een 5400 RPM schijfje.

Ook ingesteld dat het geheugen gebruikt mag worden, 700 MB lijkt me ruim voldoende.

Ik zit wel aan een SSD te denken maar dan draait het OS + Apps + Temp erop. Zou dit werken? Of het OS apart houden? Alleen ben ik bang dat ik dan wel met windows 7 moet werken om de clusters goed bij te houden. Overigens, volgens mij is par2 echt een aanslag op een SSD als ik eens wat groots moet repareren of valt dit te overzien?