1 TB + testdata downloaden

[Jeanke117]

Hebben jullie een site waar ik 1 minimaal 1 tb aan testdata kan downloaden. Deze bestanden moeten identiek zijn en niet 10 keer hetzelfde bevatten. Ik heb gezocht naar websites, maar die leveren maximaal 10 GB of minder.

Het gaat om een antivirusscanner te testen op een Synology NAS, namelijk de Antivirus Essential.

[NielsNL]

Ik vraag me af wat je probeert te bereiken. Stress-testen okay, maar wat wil je met 1TB doen? Waarom niet 100GB, 0f 10?
En waarom wil je je bestand per se downloaden, je kunt 'm toch ook zelf creëren?
Voor een 100MiB file:

code:

dd if=/dev/urandom of=file.txt bs=1048576 count=100

Link

[ Voor 58% gewijzigd door NielsNL op 27-11-2018 16:53 ]

[Anoniem: 320788]

Jeanke117 schreef op dinsdag 27 november 2018 @ 16:41:
Deze bestanden moeten identiek zijn en niet 10 keer hetzelfde bevatten.

Als bestanden identiek moeten zijn. Dan bevatten ze toch het zelfde?
Tenminste volgens mij is dat de betekenis van identiek.. hetzelfde.

[ Voor 40% gewijzigd door Anoniem: 320788 op 27-11-2018 16:50 ]

[energydrank]

Anoniem: 320788 schreef op dinsdag 27 november 2018 @ 16:49:
[...]


Als bestanden identiek moeten zijn. Dan bevatten ze toch het zelfde?
Tenminste volgens mij is dat de betekenis van identiek.. hetzelfde.

Waarschijnlijk bedoelt hij dat de bestanden niet identiek aan elkaar moeten zijn maar opzich zelf, beetje een rare woordkeuze inderdaad.

maar 1TB aan data? pfoe, ik zou zeggen koop een paar games op steam van 50+GB
of een paar films op legale manier zien te verkrijgen

[Jeanke117]

Bedankt voor de reactie. Ik zou inderdaad niet identieke data willen om het zoveel mogelijk realistisch te houden. Maar als jullie zeggen dat een virusscanner er even lang over doet om 10GB aan identieke/dezelfde bestanden te scannen, dan is dat ook prima. Ik wil het zo realistisch mogelijk maken.

[reb3lzrr]

Jeanke117 schreef op dinsdag 27 november 2018 @ 17:08:
Bedankt voor de reactie. Ik zou inderdaad niet identieke data willen om het zoveel mogelijk realistisch te houden. Maar als jullie zeggen dat een virusscanner er even lang over doet om 10GB aan identieke/dezelfde bestanden te scannen, dan is dat ook prima. Ik wil het zo realistisch mogelijk maken.

Denk je zelf dat het realistisch is dat je virusscanner 1 TB aan nieuwe data in één keer moet scannen? Gezien de moeite die je hebt met het vinden van een enkele file van dit formaat zal je een hint moeten geven.

[MAX3400]

En toen? Ik kan je zo een aantal bestanden geven die schoon lijken tot je ze gaat gebruiken waar ze voor bedoeld zijn; toen zat er wel ineens "iets smerigs" is.

Ik snap je test niet ongeacht de grootte van de bestanden.

[FreshMaker]

Dan nog ligt het niet aan het formaat van de file, maar voornamelijk aan de doorvoersnelheid van je schijf/schijven
Elke instelling heeft voor en nadelen, heb je je Synology op EXT4 of BTRFS, staat de boel in een raid variant ( van JBOD tot aan RAID15 )

De ene file van 10GB is de andere niet.

En reken er op dat de Synology de virusscanner een andere prioriteit zal geven dan andere pakketten.
Zo zal filestation en downloadstation hoger op de lijst staan, en een backup / sync sessie verder op de achtergrond.
Een combinatie van verschillende pakketten heeft allemaal invloed op de schijven, en de datadoorvoer

[zetje01]

Als ik een virusscanner zou willen testen, dan zou ik diverse soorten malware (al of niet schadelijk) downloaden, en kijken welke malware hij detecteert en welke niet.

Een willekeurig file van een TB lijkt me nutteloos.

[NielsNL]

Het lijkt me dan beter om een paar duizend files te maken van elk 10MB, en ze .zip en .exe te noemen. Dat lijkt me een betere stress-test dan 1 enkele file.
En wat hierboven al genoemd wordt, er zijn meer factoren om rekening mee te houden.
En wat wil je met de uitkomst doen?

[Jeanke117]

Ik wil dus eigenlijk de twee antivirusprogramma's vergelijk Av essential en AV by McAfee. Aangezien ik op internet niet kan vinden wat er anders kan zijn aan de McAfee versie. Ik heb al geprobeerd met een bestand van eicar.com maar beide scanners pakten dit bestand eruit. Heeft er iemand dan een andere website waarbij er meerdere varianten van test virusses gedownload en gebruikt kunnen worden?

Hoe maak ik een paar duizend files aan en deze vervolgens .zip en/of .exe noemen?

[HKLM_]

Jeanke117 schreef op dinsdag 27 november 2018 @ 20:12:
Ik wil dus eigenlijk de twee antivirusprogramma's vergelijk Av essential en AV by McAfee. Aangezien ik op internet niet kan vinden wat er anders kan zijn aan de McAfee versie. Ik heb al geprobeerd met een bestand van eicar.com maar beide scanners pakten dit bestand eruit. Heeft er iemand dan een andere website waarbij er meerdere varianten van test virusses gedownload en gebruikt kunnen worden?

Hoe maak ik een paar duizend files aan en deze vervolgens .zip en/of .exe noemen?

Wat ik op de synology website zie is dat de essentials versie wat beperkingen heeft.

Bekende beperkingen voor de ClamAV-motor:
Bestanden groter dan 2048MB worden niet gescand.
De kans om verborgen virussen in archiefbestanden (zoals ZIP, RAR, ARJ, Tar, Gzip, Bzip2) te vinden, zal lager zijn.
Gekoppelde externe mappen (CIFS) in File Station worden bij volledig scannen niet gescand.

Antivirus by McAfee beperkingen
Gekoppelde externe mappen (CIFS) in File Station worden bij volledig scannen niet gescand.
De tijd die nodig is voor het bijwerken van virusdefinities is afhankelijk van uw internetverbinding.

De verschillen staan gewoon op de synology website:

https://www.synology.com/.../AntiVirus-McAfee/av_desc
https://www.synology.com/...SM/help/AntiVirus/av_desc

[ Voor 12% gewijzigd door HKLM_ op 27-11-2018 20:23 ]

[Jeanke117]

HKLM_ schreef op dinsdag 27 november 2018 @ 20:20:
[...]


Wat ik op de synology website zie is dat de essentials versie wat beperkingen heeft.

Bekende beperkingen voor de ClamAV-motor:
Bestanden groter dan 2048MB worden niet gescand.
De kans om verborgen virussen in archiefbestanden (zoals ZIP, RAR, ARJ, Tar, Gzip, Bzip2) te vinden, zal lager zijn.
Gekoppelde externe mappen (CIFS) in File Station worden bij volledig scannen niet gescand.

Antivirus by McAfee beperkingen
Gekoppelde externe mappen (CIFS) in File Station worden bij volledig scannen niet gescand.
De tijd die nodig is voor het bijwerken van virusdefinities is afhankelijk van uw internetverbinding.

De verschillen staan gewoon op de synology website:

https://www.synology.com/.../AntiVirus-McAfee/av_desc
https://www.synology.com/...SM/help/AntiVirus/av_desc

Bedankt! Maar dit zijn niet alle beperkingen? Ik zie ook geen functie van real-time scannen?

[MAX3400]

First things first: hoe komen de bestanden op je NAS terecht? Staat dat ding zelf "meuk" binnen te trekken zonder toezicht?

[Bor]

Wat wil je nu precies testen? De performance impact, de detectiegraad of iets anders? De test die je in de topicstart aangeeft stelt niet zo veel voor. Geen enkele scanner zat TB's aan data actief scannen (vanwege de performance impact) en het scannen van random bestanden heeft als test weinig nut. Ik zou niet met echte malware gaan testen gezien het risico in relatie tot de vraag die je hier stelt.

[The Eagle]

Als ik het zo lees zoek je naar een combinatie van programma's, documenten, foto's muziek, etc. Dat wat op een doorsnee desktop staat dus eigenlijk.

Wat let je dan om bij wat bekenden te vragen of je hun HDD mag kopieren, windows install plus documenten etc te kopieren? Zeg dat dat een 100GB aan data is...dupliceer dat een aantal keer en je zit aan je 1TB.

Mocht je op zoek zijn naar grote datasets van plain data: ook dat kan, google dan even op big data testsets.

[Jeanke117]

Het is een stage-opdracht waarin ik een NAS van een klant wil simuleren. Ik heb als opdracht om deze twee antivirus scanners uit te zoeken en hier een verslag van te maken. Ik vind het zelf leuk om dingen te ontdekken en daarom klooi ik wat aan.

Ik wil dus zoveel mogelijk verschillende bestanden testen en kijken hoelang het duurt voordat deze gescand zijn. Ook wil ik kijken of de volgende keer precies hetzelfde aantal is getest en of dit even snel is gegaan. Soort van statistieken dus van beide versies. Ook kijk ik dan mee hoeveel performance dit vreet van de NAS en of deze nog bruikbaar is enz.

Via deze link: https://www.windows-comma...-create-large-dummy-file/ kan ik dummy bestanden maken. Deze moet ik wel nog vullen.

[MAX3400]

Jeanke117 schreef op dinsdag 27 november 2018 @ 21:50:
Windows Command Line.

Lekker handig; je creeert het dus op een andere machine. En welke antivirus draait er op de PC? En hoe is de NAS gekoppeld? Want je kan een NAS ook via iSCSI aan een server (what's in a name) koppelen en dan moet je antivirus op de server hebben.

Ben een beetje bang dat je stage-opdracht wat lastiger te voltooien is dan ik denk; in een gemiddeld (!!!) MKB-bedrijf, kan een NAS op verschillende manieren aan het netwerk hangen; al die factoren sluit je een beetje uit.

[Jeanke117]

MAX3400 schreef op dinsdag 27 november 2018 @ 22:08:
[...]

Lekker handig; je creeert het dus op een andere machine. En welke antivirus draait er op de PC? En hoe is de NAS gekoppeld? Want je kan een NAS ook via iSCSI aan een server (what's in a name) koppelen en dan moet je antivirus op de server hebben.

Ben een beetje bang dat je stage-opdracht wat lastiger te voltooien is dan ik denk; in een gemiddeld (!!!) MKB-bedrijf, kan een NAS op verschillende manieren aan het netwerk hangen; al die factoren sluit je een beetje uit.

Ik gebruik hiervoor een "leennas" die op dit moment niet gebruikt wordt. Ik heb deze aan het reguliere netwerk hangen en om bij deze nas te komen, moet ik gebruik maken van het bedrijfsnetwerk, want op het gastnetwerk kom ik er niet aan (logisch).

Ik heb het net getest zonder data in de aangemaakte bestanden, maar hier was die wel heel erg snel klaar mee. Dit was zo'n 50 GB aan bestandEN. Ik ga nu proberen om er veel tekst in te duwen.

[MAX3400]

@Jeanke117 ik geloof niet dat je helemaal begrijpt wat ik bedoel ongeacht of het een leen-NAS is of niet.

Succes met je tests in ieder geval!