Trage download door VBox netwerk / CIFS sharing probleem

[Webjunkie]

Ik heb VirtualBox 4.1.14 draaien op W7 Enterprise x64
In een Debian Squeeze VM heb ik sabnzbdplus, sickbeard, couchpotato en spotweb draaien.

Tot zo ver geen problemen

maar..

Op windows heb ik SAB ook native draaien en een download ziet er zo uit:

SAB haalt de volledige snelheid van m'n tweaknews account (rond de 2MB/s)

Maar als ik in de VM iets download, ziet het er zo uit:

en haalt SAB maar 1.5MB/s

De download van de VM gaat naar een CIFS share op de windows host.
De windows SAB download rechtsstreeks naar de zelfde drive.

Als ik in de VM naar de virtual disk download haal ik dezelfde 1.5 MB/s.
Helaas krijg ik dan in taskmanager op de host niets te zien dus weet ik niet of er dan ook van die spikes zijn.

De windows host doet het allemaal met 2 vingers in de neus dus aan gebrek aan CPU power kan 't niet liggen, denk ik

Beide SABs hebben 128MB download cache

[Turdie]

Mount je vanuit je Linux VM de share, of gebruik je Share Manager als je de Guest Additions hebt geinstalleerd?

Je zou trouwens ook VMware Player kunnen installeren en kijken of je daarmee hetzelfde probleem hebt.

[ Voor 32% gewijzigd door Turdie op 28-05-2012 14:12 ]

[Webjunkie]

ik mount de share via linux.

VMplayer bewaar ik nog even voor het geval ik hier echt niet uit kom.
ben op het moment ook al bezig met XenServer en ESXi en ik moet zeggen dat virtualisatie software een beetje m'n neusgaten uit komt

[Turdie]

Hmmm, ESXi dan komt het wel goed denk ik. Mocht je daarmee hulp nodig hebben, laat het even weten.

[Webjunkie]

hahaha ben bang dat ik met ESXi zeker nog heel veel hulp nodig zal hebben =)

anyways,

het kopieren over het netwerk is ook al erg traag.
niet zo traag als een SAB download, maar toch.

code:

root@Asgard:~# rsync --progress 128MB-file.bin /mnt/main
128MB-file.bin
   134217728 100%    3.90MB/s    0:00:32 (xfer#1, to-check=0/1)

sent 134234187 bytes  received 31 bytes  4006991.58 bytes/sec
total size is 134217728  speedup is 1.00

kopieren op de vdi van de VM:

code:

root@Asgard:~# rsync --progress 128MB-file.bin /Downloads
128MB-file.bin
   134217728 100%   82.14MB/s    0:00:01 (xfer#1, to-check=0/1)

sent 134234187 bytes  received 31 bytes  53693687.20 bytes/sec
total size is 134217728  speedup is 1.00

[Turdie]

Gebruik dan eens de Share Manager van Virtualbox.

Virtualbox Shared Folders

[ Voor 130% gewijzigd door Turdie op 28-05-2012 16:33 ]

[Webjunkie]

dat scheelt idd een hoop bij het kopieren van de guest naar de host (10x zo snel )

code:

root@Asgard:~# rsync --progress 128MB-file.bin /media/sf_htpcdata
128MB-file.bin
   134217728 100%   51.39MB/s    0:00:02 (xfer#1, to-check=0/1)

sent 134234187 bytes  received 31 bytes  38352633.71 bytes/sec
total size is 134217728  speedup is 1.00

maar helaas blijft de sabnzbd download nog steeds steken op 1.5 MB/s.
het lijkt wel of de netwerk adapter niet sneller kan?

[ Voor 6% gewijzigd door Webjunkie op 28-05-2012 17:41 ]

[leuk_he]

Andere netwerkcard emuleren?

http://www.howtogeek.com/...tualbox-xp-guest-edition/

switching over to the PCnet-PCI II adapter fixed the issue.

Ja, dat was in de link een oplossing voor XP. maar lijkt me simpel te proberen in jouw config. is immers ook weer zo ongedaan te maken.

[Webjunkie]

met pcnet-fast3 heb ik wel de meeste snelheidswinst met het kopieren via de linux mount.
die gaat dan naar 10MB/s, maar SAB blijft op die 1.5MB/s hangen



het eerste stukje is de copy met rsync en het vreemde-pieken-stukje is SAB.

je zou haast denken dat SAB een speedlimit heeft aanstaan in scheduling, maar helaas is dat niet zo.
ook krijg je dan natuurlijk niet van die pieken.

die pieken zitten trouwens ook allemaal rond de 6-7.5 MB/s dus de snelheid is er wel alleen wordt dat teniet gedaan door de dalen van 0 MB/s

hier onder is SAB de download aan het unrarren via de linux mount (dus niet de guest additions shared folder)



het netwerk is, denk ik, dus niet het probleem maar zit 't 'm echt in SAB?

[ Voor 37% gewijzigd door Webjunkie op 29-05-2012 09:57 ]

[leuk_he]

Lijkt of je maar 1 connectie aan hebt staan in sab. Je hoort 2-4 connecties open te hebben naar de usenet server om dat soort hikken op te lossen.

[TheVMaster]

Ehh...ik zie hier weinig Windows Server-achtigs aan.... MOVE >> CSA

[Verwijderd]

Je gebruikt dus een CIFS share als locatie voor de tijdelijke data van SABnzbd? Dat lijkt mij niet erg handig, zeker gezien elk bestand van usenet uit vele kleine losse bestanden bestaat. Kijk maar eens in de incomplete map tijdens een download.

Ik zou een VDI aanmaken voor je tijdelijke data en die op de CIFS share zetten. Ik denk dat dit vele malen sneller zal gaan.

[Webjunkie]

leuk_he schreef op dinsdag 29 mei 2012 @ 12:31:
Lijkt of je maar 1 connectie aan hebt staan in sab. Je hoort 2-4 connecties open te hebben naar de usenet server om dat soort hikken op te lossen.

SAB heeft 7 connecties tot z'n beschikking.

Verwijderd schreef op dinsdag 29 mei 2012 @ 13:20:
Je gebruikt dus een CIFS share als locatie voor de tijdelijke data van SABnzbd? Dat lijkt mij niet erg handig, zeker gezien elk bestand van usenet uit vele kleine losse bestanden bestaat. Kijk maar eens in de incomplete map tijdens een download.

Ik zou een VDI aanmaken voor je tijdelijke data en die op de CIFS share zetten. Ik denk dat dit vele malen sneller zal gaan.

ik heb ook geprobeerd om rechtstreeks naar de VDI waar de VM van opstart te downloaden (complete en incomplete), maar zelfs zonder bebruik te maken van shares kom ik niet boeven de 1.5MB/s uit.

vanmiddag heb ik de SAB logs na geplozen maar ook daar geen errors.

eigenlijk zit ik een beetje te wachten op iemand die SAB ook in een linux VM draait en geen problemen heeft, want misschien wil ik nu iets wat helemaal niet kan.
maarre.. die schijnen er niet te zijn?

[ Voor 3% gewijzigd door Webjunkie op 29-05-2012 14:49 ]

[Mental]

SABnzbD+ maakt ook gebruik van een temp locatie; als je zegt dat downloaden naar een cifs share of lokaal geen verschil maakt dan klinkt dat wel vrij logisch ja.
Doe eens een benchmark op je lokale storage binnen die VM, het klinkt een beetje als een vm met ontzettend trage storage namelijk.

[Verwijderd]

Webjunkie schreef op dinsdag 29 mei 2012 @ 14:46:
eigenlijk zit ik een beetje te wachten op iemand die SAB ook in een linux VM draait en geen problemen heeft, want misschien wil ik nu iets wat helemaal niet kan.
maarre.. die schijnen er niet te zijn?

Ik heb in het verleden met VirtualBox en een Ubuntu Server guest op een OS X host geen problemen gehad met SABnzbd. Dat ging met de maximale snelheid (30 megabit'. De temporary mappen stonden echter wel op een VDI die vervolgens weer op een lokale SSD stond.

[Webjunkie]

de VDI staat hier ook op een SSD.

code:

root@Asgard:~# hdparm -t /dev/sda

/dev/sda:
 Timing buffered disk reads: 962 MB in  3.00 seconds = 320.26 MB/sec

[Turdie]

Wellicht een andere NZB client proberen zoals bijvoorbeeld hellanzb

[Webjunkie]

even geen tijd gehad vanwege een verse ssd install en ... werk...

op een debian VM op m'n xenservertje heb ik dezelfde langzame download als in virtualbox.
lijkt er dus op dat ik iets niet goed heb staan in debian.

ik zal vandaag even ubuntu server gaan installeren, kijken of dat misschien helpt.

mocht dat ook niet werken dan zal ik hellanzb proberen.

[Hero of Time]

Hoeveel cores heb je toegewezen aan de VM, en hoeveel RAM? Installeer htop in de VM en houd die in de gaten tijdens het downloaden van SAB. Ik denk dat je dan zal zien dat het toch wat druk is in je resources. Je zegt tevens dat resources geen probleem is omdat de Host het prima doet met z'n snelheid, maar ik geloof dat niet echt. Wat zegt je taakbeheer bij beide download acties?

Zelf heb ik ook TweakNews en als jij maar 2 MB/s haalt, vind ik dat wat langzaam. Voordat ze hun snelheid verhoogden deze maand, haalde ik met NewsLeecher makklijk 3 MB/s met 't 20 Mbit abbo. En dat met Linux en Wine! Nu ze 't verhoogd hebben naar 50 Mbit haal ik zelfs 7 MB/s.
Ga dus zeker eens kijken naar een andere client als je lagere snelheden haalt dan ik, met hetzelfde abbo (tenzij je eigen internet lijn niet sneller gaat, maar dat lijkt mij sterk, met gelijke snelheid moet je ook boven de 2 MB uit kunnen komen).

[leuk_he]

Je test toch wel met een download die uit meerdere parts bestaat he? want sabnzb gebruikt 1 connectie per part. dus als je download niet uit meerdere parts bestaat dan krijg je 1 connectie. Net als tijdens het downloaden van het laatste stukje van een file, dat gaat hierdoor ook soms langzaam.

[Webjunkie]

Hero Of Time schreef op donderdag 07 juni 2012 @ 13:31:
Hoeveel cores heb je toegewezen aan de VM, en hoeveel RAM? Installeer htop in de VM en houd die in de gaten tijdens het downloaden van SAB.

Op het moment 1 core en 512MB RAM.
Ik heb ook 2 cores geprobeerd met 1 en 2 GB maar dat maakte niets uit (op de i3).

Net een bestand van 400MB gedowload:


Htop op de i3: CPU 20-35%, RAM 328/496MB en Swap usage: 9/382MB (maar de VM draait al een weekje)
Snelheid fluctuerend tussen de 1.6 en 1.7 (gemiddeld 1.6Mbit)

Daarvoor al even Ubuntu 12.04 LTS op m'n desktop (i7) geprobeerd met 1 core en 512 MB
Htop gaf CPU 6-20% , RAM 290/491MB en swap usage 0 aan.
Snelheid zat tussen de 1.6 en 1,8 Mbit/s. (toch gemiddeld ook 1.6)

Wat zegt je taakbeheer bij beide download acties?

van de i3 zie je 2 plaatjes van taakbeheer in m'n OP
Download native op W7: 8% CPU
Download in de VM: 16% CPU

In de i7 kost de de download maar enkele procenten.

Zelf heb ik ook TweakNews en als jij maar 2 MB/s haalt, vind ik dat wat langzaam.

Overdag is de windows SAB gecapped op 2MB/s, maar met tweaknews kom ik daar toch amper boven.
Een paar maanden geleden heb ik lightningusenet gebruikt vanwege een conflict met tweaknews en die ging wel naar de 3.
Ik heb een beetje het gevoel dat ze me lopen te sarren, want de 4MB/s die je met standaard IPB van KPN moet halen zie ik nooit.. maar ja da's een ander verhaal

leuk_he schreef op donderdag 07 juni 2012 @ 13:55:
Je test toch wel met een download die uit meerdere parts bestaat he?

yup, er werden 25 threads gebruikt in deze test.

Oh btw, de windows SAB deed dezelfde download in 2MB/s.
Tussendoor heb ik 'm een aantal keren laten downloaden (nee, niet tegelijkertijd )

[Verwijderd]

25 threads is wat onzinnig. Wat als je dat terugzet naar 4 tot 8?

[Webjunkie]

tot de snelheidsverhoging van tweaknews (1 juni) heb ik altijd met 7 threads gedownload.
sinds 1 juni mag je 30 threads gebruiken, maar ik hou er nu vijf over voor spotweb en aardstralen

alle SABs gebruiken dezelfde config, maar de VM SABs halen gewoon niet de snelheid van de W7 versie.

morgen maar even linux rechtstreeks installeren op een oude E6600 die ik nog heb staan.
als SAB dan nog de snelheid niet haalt rust er waarschijnlijk een vloek op.. en geef ik m'n pogingen op

[Webjunkie]

Nou... Schiet mij maar lek.

Ubuntu 12.04 geinstalleerd op een E6600 met 2GB RAM.
SABnzbd+ geinstalleerd, usenet server ingevoerd en download gestart... 1.6MB/s !!

Meteen daarna dezelfde nzb gedownload met SAB op m'n windows machine.. 2.1 MB/s

Meteen daar weer na in ubuntu de article cache op 256MB gezet en weer dezelfde nzb gedownload...1.6MB/s

dat zijn dus nu al 4 verschillende computers waar de linux versie van SAB gewoon niet boven de 1.6MB/s komt.
1x op een xenserver (amd x2 250) VM (debian 6)
1x op een virtualbox VM draaiend op een i3,
idem maar draaiend op een i7,
en als laatste op ubuntu op een e6600

ik begin nu wel te denken dat het niet door mijn gepruts komt maar dat het probleem gewoon in linux zit.

[Hero of Time]

Ik zal eens kijken wat ik zelf krijg bij mij thuis. Aangezien ik lekker kan pompen, zelf Linux als Host heb en VB gebruik voor verschillende zaken kan ik een sabbie ook wel bij proberen. Heb genoeg Linux VMs die kan ik misbruiken hiervoor.

[Hero of Time]

Goed, net ff een NZB gedownload: 6-7 MB/s. Sabbie+ direct uit de Debian repo, versie 0.6.15. Download ging naar VDI.

Je hebt dus zelf een probleem ergens zitten, Sab is het niet, TweakNews is het niet, VB is het niet. Misschien versie van Ubuntu die bugged is? Ubuntu zelf gaar? Je internet lijn vaag? Noem het maar op, maar het zit ergens in je systeem. De software is in orde.

[Webjunkie]

Het enige wat ik dan nog kan bedenken is dat mijn windows SAB een verkeerde snelheid aangeeft en eigenlijk ook maar met 1.6MB/s download.

M'n lijn kan de snelheid wel aan:


Ik zal van het weekend m'n VM eens meenemen naar iemand anders.
Kijken of het aan m'n router of modem ligt.

[Webjunkie]

Nou, ben er uit

VM meegenomen naar een maat van en daar een download gestart... 3.4MB/s
Zijn hele PC meegenomen naar mijn huis en dezelfde download gestart... 1.6MB/s

Router (Vigor 2200VG) er tussenuit gehaald, de download weer gestart en... 3.7MB/s (had ik misschien wel eerder kunnen proberen ).
De oude trouwe vigor is dus blijkbaar aan het doodgaan.

Ben een beetje op het verkeerde been gezet doordat SAB op windows sneller downloadde dan SAB op linux.

Dit is met router:


Dit is zonder router:


Blijft het nog wel een beetje raar dat SAB op linux niet dezelfde sneheid haalt als SAB op windows.. maar ja..

Iedereen bedankt voor het meedenken iig

[Hero of Time]

Denk dat die snelheidsweergave komt door het OS, niet SAB. SAB vraagt waarschijnlijk de snelheid op van het OS, en in Windows krijg je het in MB/s en in Linux MiB/s. Beetje groot verschil, maar toch. Kan het maar net zijn.