Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie
Toon posts:

ideeën hoe ik 180 hdd kan managen of inrichten

Pagina: 1
Acties:

  • ari2asem
  • Registratie: november 2002
  • Laatst online: 28-05 23:31
ik wil graag jullie mening hoe ik 120 hdd (en misschien in de tokomst 180 hdd) kan managen of inrichten??

wat heb ik?
- 2 behuizingen van hgst 4u60 generation 1. elke behuizing heeft plaats voor 60 hdd's 3,5 inch. alle behuizingen aansluiten op 1 host

en misschien dat ik ook dit jaar 3e behuizing aanschaf (weer hgst 4u60).
dit is een jbod behuizing die met qsfp+ kabel aangesloten zal worden op één host, het liefst Windows. ik ben niet zo bekend met Linux. maar ben ook open voor Linux.

wat zal er opgeslagen worden??
- bewakingscamera beelden
- bedrijfsbackup

waar moet er rekening mee gehouden worden??
- ik kan niet alle 60 hdd's in één keer aanschaffen. dus uitbreiding vh aantal hdd zal in stappen gaan.
- verschilende grootte's door elkaar mixen / gebruiken, evt mijn huidige hdds met data
- hoe ga ik 60 hdd's verdelen?? hoeveel data en hoeveel parity?? of misschien 2 behuizingen (120hdd) data en 1 behuizing (60hdd) parity?? dus per behuizing verdelen ??

waar ik aan dacht:
- zfs: voordeel real-time bit-rot (of silent error) bescherming.
nadeel: je kunt je pool niet met 1 schijf uitbreiden. je hebt dan altijd een paar hdd's nodig om een nieuwe pool te maken.
en je kunt geen gebruikte hdd met data gebruiken, je bent jouw data kwijt, want er moet eerst geformateerd worden.
en zfs gaat tot 3 parity hdd.

snapraid: voordeel je kunt elke hdd gebruiken (met of zonder data) (verschillende groottes mixen) die je maar kan krijgen op dat moment.
nadeel: handmatig SYNC en SCRUB. je kunt je voorstellen dat dit enorme klus wordt met 120 (of 180] hdd's.

snapraid + stablebit drivepool: ??

op dit moment gebruik ik snapraid met 4 hdds (2 data en 2 parity).

graag jullie ideeën, suggesties, opties...

mocht er iets niet duidelijk zijn, vraag het dan, aub.

alvast bedankt voor jullie tijd en moeite.

gr erik

Acties:
  • +13Henk 'm!

  • kwibox
  • Registratie: mei 2015
  • Laatst online: 01:43
uhmm 180 hdds aan data gebruiken opslag van belangrijke data voor de bedrijfsvoering van een opdrachtgever en dan op een forum om advies vragen?

no offence maar ik hoop dat je opdrachtgever d de volgende keer om een professional vraagt. tenzij het je eigen toko is en je meer dan bereid bent om daar de gevolgen voor te dragen zou ik hier niet aan willen beginnen als ik jou was

[Voor 22% gewijzigd door kwibox op 23-05-2020 23:52]


Acties:
  • +12Henk 'm!

  • ari2asem
  • Registratie: november 2002
  • Laatst online: 28-05 23:31
@kwibox de opdrachtgever ben ik zelf...het is voor mijn eigen bedrijf.

ik probeer zoveel mogelijk mijn computerzaken zelf te doen.
tot nu toe is dat zonder (grote en ernstige) downtime gegaan.

dus aub, niet te snel conclussies trekken.

Acties:
  • +2Henk 'm!

  • azerty
  • Registratie: maart 2009
  • Laatst online: 28-05 21:58

azerty

McFly

Ik zou eerst beginnen met het uitrekenen van hoeveel data je nu plant op te slaan aan backup van bedrijfsdata, en hoeveel data je aan camerabeelden plant te verzamelen... Want 120/180 schijven kan gaan van 120TB/180TB bruto (als je 1TB schijven zou nemen) tot grofweg 1680TB/2520TB als je voor de 14TB schijven zou gaan...

Ter info, het bedrijf waar ik werk (4K medewerkers WW) hebben bij de helpdesk een infographic hangen waar het hele bedrijf (inclusief originele data, backups) iets van 450TB verbruikt...

Acties:
  • +3Henk 'm!

  • PilatuS
  • Registratie: september 2002
  • Niet online
Linus heeft wat video's op YouTube staan met weet ik hoeveel HDD's voor zijn bedrijf, misschien heb je daar wat aan ?

Acties:
  • 0Henk 'm!

  • ari2asem
  • Registratie: november 2002
  • Laatst online: 28-05 23:31
PilatuS schreef op zondag 24 mei 2020 @ 00:01:
Linus heeft wat video's op YouTube staan met weet ik hoeveel HDD's voor zijn bedrijf, misschien heb je daar wat aan ?
een link voor video wat je bedoelt?? ik heb een paar van zijn video's gezien. maar niet hetgeen met zoveel hdd

Acties:
  • +2Henk 'm!

  • azerty
  • Registratie: maart 2009
  • Laatst online: 28-05 21:58

azerty

McFly


Acties:
  • 0Henk 'm!

  • PilatuS
  • Registratie: september 2002
  • Niet online
Dat is 1 van die video's inderdaad. Over de jaren heen heeft ie er een aantal gemaakt. Verder ook links waar nog meer te vinden is. Precies wat de TS zoekt en iemand anders al heeft gedaan dus.

Acties:
  • +5Henk 'm!

  • kwibox
  • Registratie: mei 2015
  • Laatst online: 01:43
ari2asem schreef op zaterdag 23 mei 2020 @ 23:58:
@kwibox de opdrachtgever ben ik zelf...het is voor mijn eigen bedrijf.

ik probeer zoveel mogelijk mijn computerzaken zelf te doen.
tot nu toe is dat zonder (grote en ernstige) downtime gegaan.

dus aub, niet te snel conclussies trekken.
die conclusie trek ik vanwege je vraagstelling; het is immers veel relevanter om hoeveel data het gaat dan over hoeveel hdd's dat verdeelt gaat worden. ook mist er belangrijke informatie en een duidelijk plan. bijvoorbeeld hoe belangrijk is die data? wat als er brand uitbreekt? of die machine waar het allemaal aan hangt kaduuk gaat. waar is je data dan?

daarbij kan je ook stellen dat je tot nu toe geluk hebt gehad dat je weinig problemen heb gehad, maar geloof mij: met zo'n hoeveelheid data en de kennis die blijkt uit je vraagstelling is de instelling "dat regel ik zelf wel even" de goden verzoeken

ik snap dat je het leuk of het je intresseert om dit soort dingen zelf te doen (dat heb ik zelf ook als niet-prof). Maar als het om iets gaat waar je je brood mee verdient en het niet je core business zou ik niet zelf gaan hobby'en, dat is besparen op de verkeerde dingen

[Voor 15% gewijzigd door kwibox op 24-05-2020 00:20]


Acties:
  • 0Henk 'm!

  • Remz
  • Registratie: mei 2008
  • Laatst online: 30-05 17:28
De reacties hier boven laten zien dat het mogelijk is. Maar ik vraag me echt af wat de noodzaak is om backups en camera beelden op zo'n gigantisch systeem op te slaan.

Ik zou ook eens kijken wat bedrijven je kunnen bieden als oplossing, dat gaat je veel moeite, risico en waarschijnlijk verkeerde keuzes besparen. Lijkt me dat partijen zoals Backblaze vast wel oplossingen hebben voor wat jij wilt.

Acties:
  • 0Henk 'm!

  • ari2asem
  • Registratie: november 2002
  • Laatst online: 28-05 23:31
kwibox schreef op zondag 24 mei 2020 @ 00:13:
[...]


die conclusie trek ik vanwege je vraagstelling; het is immers veel relevanter om hoeveel data het gaat dan over hoeveel hdd's dat verdeelt gaat worden. ook mist er belangrijke informatie en een duidelijk plan. bijvoorbeeld hoe belangrijk is die data? wat als er brand uitbreekt? waar is je data dan?
kijk, dit is dus opbouwende kritiek waar ik totaal geen problemen/moeite mee heb :-)

de belangrijkste data (backup vh bedrijf) wordt via 3-2-1 principe geregeld. dus dit zit wel goed.

de video,s vd bewakingscamera...gewoon voor de lol zoveel opslaan. wat er tijdens brand mee gebeurt, zal ik er niet over treuren
daarbij kan je ook stellen dat je tot nu toe geluk hebt gehad dat je weinig problemen heb gehad, maar geloof mij: met zo'n hoeveelheid data en de kennis die blijkt uit je vraagstelling is de instelling "dat regel is zelf wel even" de goden verzoeken
misschien indd geluk, maar 4 of 8 hdds managen is veel makkelijker dan 120hdd :-)

mijn core bezigheid heeft niets met computers te maken. comouters is mijn grootste hobby.

en welke hdd had ik in de gedachten?? beginnend vanaf 6tb

nogmaals...dit is puur voor hobby...geen bedrijfskritische dingen

[Voor 9% gewijzigd door ari2asem op 24-05-2020 00:32]


Acties:
  • 0Henk 'm!

  • joopv
  • Registratie: juli 2003
  • Niet online
Een stevige internet verbinding en een opslagdienst op internet afhuren. Heb je al doorgerekend of dat misschien goedkoper / veiliger is dan zelf aan de slag te gaan?

Acties:
  • 0Henk 'm!

  • kwibox
  • Registratie: mei 2015
  • Laatst online: 01:43
there is more where that came from: ;)
hoe heb je die 321 ingericht? welke stap hiervan komt er dan op dit storagecluster te staan?

over hoeveel data hebben te het eigenlijk? zijn er eisen omtrent snelheid of fysieke veiligheid? welke systemen of processen moeten allemaal toegang hebben en op welke manier/protocol/OS (zfs kan je bv namelijk vergeten op een windows server os). Is een UPS noodzakelijk? of neem je maar het risco dat er wat data of hdds stuk mogen na stroomuitval. kan een UPS uberhaupt op jouw lokatie?

vergeet niet dat linus een heel team om zich heeft die wrs meer kaas hebben gegeten van bepaalde zaken dan hij zelf

grote opslagboeren zoals blackblaze hebben ~ 2% annual failure rate (denk dat dat in jouw situatie (suboptimale omstandigheden tov datacentrum) wel wat hoger gaat liggen: dat is dus jaarlijks 2/3 hdds die overlijden. Hoe ga je daar mee om?

Bedenk ook dat als je nú start je de eerste paar jaar significant meer uitval gaat hebben dan dit omdat je hdds allemaal even oud zijn.

[Voor 47% gewijzigd door kwibox op 24-05-2020 00:44]


Acties:
  • +1Henk 'm!

  • Satch
  • Registratie: mei 2004
  • Niet online
ari2asem schreef op zondag 24 mei 2020 @ 00:02:
[...]

een link voor video wat je bedoelt?? ik heb een paar van zijn video's gezien. maar niet hetgeen met zoveel hdd
Volgens mij gebruik Linus Unraid voor dit soort builds. Ik heb het zelf thuis ook draaien (met maar 4 Hard-disks overigens). Het is geen raid, maar je maakt gebruikt van parity disk(s). Ik vind het hele mooie software, maar weet niet of het voor bedrijfsmatig gebruik ook echt geschikt is. Wel kan je zonder veel gedoe disks aan je array toevoegen. Kan geen kwaad om er naar te kijken i.i.g.

Acties:
  • 0Henk 'm!

  • ari2asem
  • Registratie: november 2002
  • Laatst online: 28-05 23:31
kwibox schreef op zondag 24 mei 2020 @ 00:34:
there is more where that came from: ;)
hoe heb je die 321 ingericht? welke stap hiervan komt er dan op dit storagecluster te staan?
. off-site backup op 2 verschillende ssd's
. 5 kopieën. 1 op de server (staat in hetzelfde pand maar andere ruimte), 2 offsite, en 1 op de clients (alweer andere ruimte in het pand) en 1 op de grote storage. waarom op zoveel plekken? omdat het kan :-)
.
over hoeveel data hebben te het eigenlijk? zijn er eisen omtrent snelheid of fysieke veiligheid? welke systemen of processen moeten allemaal toegang hebben en op welke manier/protocol/OS (zfs kan je bv namelijk vergeten op een windows server os)
per week is het rond 100gb (verdeeld over 5 werkdag), en per maand komt er rond 200gb erbij. dus in totaal per maand rond 600-700gb aan backup.

ik ben de enige met toegang tot de hele storage.
performance ?? in ieder geval niet lager dan 1gbit netwerk (rond 115-120mb). beter is natuurlijk 10gbit. maar voorlopig 1gbit is voor mij genoeg.
vergeet niet dat linus een heel team om zich heeft die wrs meer kaas hebben gegeten van bepaalde zaken dan hij zelf

grote opslagboeren zoals blackblaze hebben ~ 2% annual failure rate (denk dat dat in jouw situatie (suboptimale omstandigheden tov datacentrum) wel wat hoger gaat liggen: dat is dus jaarlijks 2/3 hdds die overlijden. Hoe ga je daar mee om?

Bedenk ook dat als je nú start je de eerste paar jaar significant meer uitval gaat hebben dan dit omdat je hdds allemaal even oud zijn.
bedankt voor de tip...

Acties:
  • +5Henk 'm!

  • FreshMaker
  • Registratie: december 2003
  • Niet online
ari2asem schreef op zaterdag 23 mei 2020 @ 23:34:


wat zal er opgeslagen worden??
- bewakingscamera beelden
Hou er rekening mee dat bewakingsbeelden niet oneindig bewaard mogen blijven, tenzij er een kritische noodzaak is ( bewijsvoering )

Ik zou met de door jou genoemde hoeveelheden niet naar zoveel hdd's gaan
Energie, onderhoud en redundant inventory kosten allemaal (indirect) geld.
Persoonlijk zou ik dan de directe noodzaak voorhanden houden, en de rest in cold storage houden ( ontkoppelde hdd's in een kluis - offsite )
de video,s vd bewakingscamera...gewoon voor de lol zoveel opslaan. wat er tijdens brand mee gebeurt, zal ik er niet over treuren
nogmaals - wet en regelgeving ...

[Voor 3% gewijzigd door FreshMaker op 24-05-2020 05:02]


Acties:
  • 0Henk 'm!

  • PetervdM
  • Registratie: augustus 2007
  • Niet online
als je JBOD bedoelt als in spanning disks, besef je dan dat een defect aan één disk je hele opslag ontoegankelijk kan maken? zeker met een dergelijke hoeveelheid disks zou ik een vorm van redundancy willen hebben. de kans dat één disk van 120 stuk is, is 120 keer groter dan de MTBF van één disk ....

Acties:
  • +2Henk 'm!

  • Theo
  • Registratie: januari 2005
  • Laatst online: 22:53

Theo

moederbord

ari2asem schreef op zondag 24 mei 2020 @ 00:25:
[...]
de video,s vd bewakingscamera...gewoon voor de lol zoveel opslaan. wat er tijdens brand mee gebeurt, zal ik er niet over treuren
Misschien een botte vraag; maar waarom zou je data bewaren die niet belangrijk is, maar wel geld kost om te bewaren? Helemaal als het om zoveel data gaat waarvoor je significante kosten moet maken.

Maak een goed backupplan voor je belangrijke data, en verspil spendeer geen resources aan een backupplan voor data waarvan je het niet boeit als je het kwijt bent. Dan kun je wellicht met 1/10e van de opslagcapaciteit al uit.

Edit: Al eens gedacht om je camera's iets slimmer te maken, en deze enkel te laten opnemen als ze iets detecteren? Dan kan ook zomaar meer dan 95% in schijfruimte schelen. Of is het belangrijk om (bijv) een filmpje van 24 uren te hebben waarop een statisch beeld te zien is?

[Voor 16% gewijzigd door Theo op 24-05-2020 09:25]

7400 Wp op het dak


Acties:
  • +1Henk 'm!

  • Blommie01
  • Registratie: juli 2010
  • Laatst online: 30-05 15:21
@ari2asem

Op deze schaal bouw je de meest robuuste storage omgeving met Gluster en ZFS. Je geeft echter niet aan om hoeveel camera's het gaat. Hier zit namelijk de uitdaging. Als je een paar honderd camera's op wil nemen, terugkijken en weergeven moet je planmatig te werk gaan.

Verder is Gluster Icm ZFS voor Debian of Redhat distributies wel redelijk simpel op te zetten, makkelijk te onderhouden en in fases uit te breiden. Er is veel documentatie over te vinden.

Voorbeeld:
https://www.supermicro.co...edhat_Gluster_Storage.pdf

[Voor 50% gewijzigd door Blommie01 op 24-05-2020 09:37]


Acties:
  • +1Henk 'm!

  • powerboat
  • Registratie: december 2003
  • Laatst online: 30-05 13:31
FreshMaker schreef op zondag 24 mei 2020 @ 04:57:
[...]


Hou er rekening mee dat bewakingsbeelden niet oneindig bewaard mogen blijven, tenzij er een kritische noodzaak is ( bewijsvoering )

Ik zou met de door jou genoemde hoeveelheden niet naar zoveel hdd's gaan
Energie, onderhoud en redundant inventory kosten allemaal (indirect) geld.
Persoonlijk zou ik dan de directe noodzaak voorhanden houden, en de rest in cold storage houden ( ontkoppelde hdd's in een kluis - offsite )


[...]


nogmaals - wet en regelgeving ...
Volgens mij is dat volgens de AVG max 30 dagen.

Acties:
  • 0Henk 'm!

  • chrisborst
  • Registratie: april 2004
  • Laatst online: 21:30
ari2asem schreef op zaterdag 23 mei 2020 @ 23:34:

wat zal er opgeslagen worden??
- bewakingscamera beelden
Kies hiervoor gewoon een netwerk video recorder (NVR) van het merk waar je nu camera's van heb. Koppel dit dus los van je bedrijfsgegevens en server.
Ik heb zelf voor onze VVE een NVR van Hikvision. Hierin zit een speciale HDD voor de opslag van camerabeelden:
pricewatch: WD Purple (2019) 7200rpm, 256MB cache, 8TB

Op 8 TB zou je met zeg 4 camera's voor bijna een jaar beelden kunnen opslaan. Na zoveel tijd worden gewoon de eerste beelden overschreven.

En voor de AVG moet je een goed verhaal hebben waarom je de beelden wil opslaan en voor hoelang. En je moet netjes stickers neerhangen. Sowieso wordt er redelijk soepel omgegaan in Nederland als het gaat om dit soort zaken. De politie vraagt zelfs om je beveiligingscamera te registeren als deze op de straat is gericht. Zo kunnen ze om die beelden vragen als er een misdrijf is gepleegd. Officieel mogen die beelden helemaal niet van de openbare weg worden gemaakt, maar blijkbaar vindt zelfs de politie dit niet zo'n probleem.
Anders wordt het natuurlijk als je iedereen actief in de gaten gaat houden.
Maar een camera die draait en alleen geraadpleegd wordt als daar aanleiding voor is, lijkt mij prima.

Acties:
  • 0Henk 'm!

  • falconhunter
  • Registratie: juli 2009
  • Laatst online: 21:11
Unraid is echt de enige optie voor iets dergelijks maar een geschikt chassis voor 180 disks kost een godsvermogen.

Acties:
  • 0Henk 'm!

  • Blommie01
  • Registratie: juli 2010
  • Laatst online: 30-05 15:21
falconhunter schreef op zondag 24 mei 2020 @ 09:34:
Unraid is echt de enige optie voor iets dergelijks maar een geschikt chassis voor 180 disks kost een godsvermogen.
Er is meer te krijgen dan Unraid wat ook nog beter voor videostorage is. Zeker als je het hebt over het verwerken van beelden van honderden zo niet duizenden camera's.

Daar ga ik dan maar even vanuit bij 180 harde schijven ;)

[Voor 19% gewijzigd door Blommie01 op 24-05-2020 09:49]


Acties:
  • 0Henk 'm!

  • powerboat
  • Registratie: december 2003
  • Laatst online: 30-05 13:31
Zou eerder kijken naar cehpstorage deze is nl. ontworpen om grote hoeveelheden data te verwerken op datacenter niveau.

Acties:
  • +1Henk 'm!

  • Blommie01
  • Registratie: juli 2010
  • Laatst online: 30-05 15:21
powerboat schreef op zondag 24 mei 2020 @ 09:44:
Zou eerder kijken naar cehpstorage deze is nl. ontworpen om grote hoeveelheden data te verwerken op datacenter niveau.
Precies.

Ceph of Gluster lijken in mijn ogen de toe te passen oplossingen.

Ceph is wel wat complexer dan Gluster. Aangezien TS geen Linux ervaring heeft lijkt Gluster wat meer voor de hand te liggen.

Al vraag ik me af of je als leek hier op deze schaal aan moet beginnen..

Acties:
  • 0Henk 'm!

  • majic
  • Registratie: april 2000
  • Laatst online: 29-05 12:11

majic

Art = Life

Is het niet een idee dat in plaats van in hardeschijven je in terabytes gaat praten? Ik heb nog steeds geen flauw idee over wat voor soort datavolume we het nou hebben.

Het is nogal een verschil of je 120 stuks 1tb schijven of 120 stuks 14tb schijven gaat aansluiten. Dus, concrete vraag :

Hoeveel TB denk je nodig te hebben per jaar én de 'forever data'. Bewakingsbeelden heb je niet al te lang nodig dus die kunnen automatisch na X tijd gewist worden, je bedrijfsbackup is dan weer wél permanent. Overigens is een lokale, fysieke backup natuurlijk niets waard als je pand in de brand vliegt of er diefstal plaats gaat vinden. Dus je moet ook even nadenken over hoe waardevol de camera data is en of je die dus off-site (cloud of andere fysieke locatie) nog ergens hebt staan.

http://www.instagram.com/suahuatica


Acties:
  • 0Henk 'm!

  • Blommie01
  • Registratie: juli 2010
  • Laatst online: 30-05 15:21
majic schreef op zondag 24 mei 2020 @ 09:52:
Is het niet een idee dat in plaats van in hardeschijven je in terabytes gaat praten? Ik heb nog steeds geen flauw idee over wat voor soort datavolume we het nou hebben.

Het is nogal een verschil of je 120 stuks 1tb schijven of 120 stuks 14tb schijven gaat aansluiten. Dus, concrete vraag :

Hoeveel TB denk je nodig te hebben per jaar én de 'forever data'. Bewakingsbeelden heb je niet al te lang nodig dus die kunnen automatisch na X tijd gewist worden, je bedrijfsbackup is dan weer wél permanent. Overigens is een lokale, fysieke backup natuurlijk niets waard als je pand in de brand vliegt of er diefstal plaats gaat vinden. Dus je moet ook even nadenken over hoe waardevol de camera data is en of je die dus off-site (cloud of andere fysieke locatie) nog ergens hebt staan.
Vanuit CCTV is de vraag dan zelfs: hoeveel camera's met welke kwaliteit heb je, hoelang wil je de beelden bewaren en wat is je eis met betrekking tot beschikbaarheid van de beelden?

Dit bij elkaar bepaalt het aantal servers en de bijbehorende opslagcapaciteit alsmede het inrichten van netwerk.

Acties:
  • +3Henk 'm!

  • Tens
  • Registratie: maart 2006
  • Laatst online: 20:04

Tens

up and running

ari2asem schreef op zaterdag 23 mei 2020 @ 23:34:
op dit moment gebruik ik snapraid met 4 hdds (2 data en 2 parity).
OK
ari2asem schreef op zondag 24 mei 2020 @ 01:00:

per week is het rond 100gb (verdeeld over 5 werkdag), en per maand komt er rond 200gb erbij. dus in totaal per maand rond 600-700gb aan backup.
Dus zit je aan 8-10 terabyte per jaar... zeg 30-40 met raid en fysieke kopie on site, past best op vier schijven dus

storage van 120-180 schijven begrijp ik dan niet helemaal.
ari2asem schreef op zondag 24 mei 2020 @ 01:00:
off-site backup op 2 verschillende ssd's
Begrijp de case niet helemaal, hoe denk je aan zoveel data te komen.

mea sunt, calceamenta politum


Acties:
  • +1Henk 'm!

  • powerboat
  • Registratie: december 2003
  • Laatst online: 30-05 13:31
Blommie01 schreef op zondag 24 mei 2020 @ 09:48:
[...]


Precies.

Ceph of Gluster lijken in mijn ogen de toe te passen oplossingen.

Ceph is wel wat complexer dan Gluster. Aangezien TS geen Linux ervaring heeft lijkt Gluster wat meer voor de hand te liggen.

Al vraag ik me af of je als leek hier op deze schaal aan moet beginnen..
Eens! Gluster is opzich prima, maar ik vraag me af hoe dit performed met grote bestanden.

Ceph doet dit nl. op blockniveau wat een pak efficienter is.

Acties:
  • 0Henk 'm!

  • heuveltje
  • Registratie: februari 2000
  • Laatst online: 23:29

heuveltje

KoelkastFilosoof

Tens schreef op zondag 24 mei 2020 @ 10:09:
[...]


Dus zit je aan 8-10 terabyte per jaar... zeg 30-40 met raid en fysieke kopie on site, past best op vier schijven dus

storage van 120-180 schijven begrijp ik dan niet helemaal.
Die rekensom greep ik dus ook op mis.


Ik zou zeggen. 2 6TB disken in raid1

Om de 4 maanden, die moven naar een snapraid, en die dan syncen met 2 verschillende paraty disks.
Maar ik heb geen idee hoe je zo aan 120 disks komt :?

[Voor 8% gewijzigd door heuveltje op 24-05-2020 10:39]

tomorrow the sun will come up again, and I'm pretty sure that whatever happens we won't have found Freedom, and there won't be a whole lot of Justice, and I'm damn sure we won't have found Truth. But it's just possible that I might get a hard-boiled egg.


Acties:
  • +5Henk 'm!

  • Q
  • Registratie: november 1999
  • Laatst online: 02:43

Q

Au Contraire, mon capitaine!

- 1 TB per maand aan opslag valt best mee
- Ceph of Gluster is erg overtrokken en past denk ik niet bij de expertise van de topic starter (no offence)
- 1 simpele NAS 8 schijven kan makkelijk 70+ TB aan en dat is genoeg opslag voor meer dan vijf jaar
- Wil je ook nog een kopie van die data elders, koop een 2e NAS en configureer synchronisatie. Snel internet vereist.

Maar wat is je budget voor dit verhaal eigenlijk, wat mag je oplossing kosten?

Blog | 71TB NAS | 450MB/s over Gigabit | Thinking about ZFS for NAS? | The Perfect NAS


Acties:
  • 0Henk 'm!

  • KopjeThee
  • Registratie: maart 2005
  • Niet online
Is e.o.a. cloud opslag een optie? Dan hoef je niet zelf met schijven in de weer. Even aanklikken en gaan. Vlot internet is dan wel een vereiste.

Acties:
  • 0Henk 'm!

  • michielRB
  • Registratie: juli 2019
  • Laatst online: 21:22

michielRB

back to the future

Je zou niet opnieuw het wiel moeten gaan uitvinden. Backblazze heeft hun storage oplossing online staan: 60 HDD's per 'pod'. Dus met 2 of 3 van die enclosures ben je klaar.
https://www.backblaze.com/b2/storage-pod.html

Hun laatste versie van de storage pod: v6. inclusief design tekeningen.
https://www.backblaze.com...urce-data-storage-server/

[Voor 24% gewijzigd door michielRB op 24-05-2020 11:34]

De S in IoT staat voor Security


Acties:
  • +2Henk 'm!

  • Blokker_1999
  • Registratie: februari 2003
  • Laatst online: 30-05 17:58
Ik zie zelf nog altijd geen noodzaak voor zo een formaat van storage cluster. TS spreekt van schijven van 6TB te gebruiken wat hem met 120 stuks 720TB aan ruwe capaciteit geeft terwijl we over enkele honderden GB per maand spreken aan data (die vermoedelijk ook niet allemaal tot het einde der tijden dient bijgehouden te worden).

Ook voor de camerabeelden. We weten nog altijd niet of die data vervat zit in die honderden GB per maand, maar let daar ook op dat o.a. de GDPR stelt dat die beelden niet langer bewaard mogen worden dan strikt noodzakelijk. In de praktijk hoogstens enkele dagen, in meer uitzonderlijke gevallen kan het tot 4 weken. Maar daarna moeten die beelden toch echt gewist zijn.

Tenzij er iets is dat nog niet werd meegedeeld, zie ik helemaal geen noodzaak voor een opslagsysteem van dit formaat. Een simpele, relatief kleine NAS zou hier al voldoen en direct veel hoofdpijn besparen.

No keyboard detected. Press F1 to continue.


Acties:
  • +3Henk 'm!

  • Renault
  • Registratie: januari 2014
  • Laatst online: 30-05 18:02
Dit vraagstuk is niet op te lossen zonder de meest essentiële gegevens:
1. wat is je doel? Camerabeelden opslaan naast normale bedrijfsdata en alles bewaren zonder ooit iets te moeten wissen? Of iets anders?
2. Hoeveel opslagcapaciteit denk je op welke termijn nodig te hebben? (180 disks van 500 GB is iets anders dan 180 disks van 10 TB).
3. Hoeveel data heb je nu op welke hoeveelheid disks die hoe groot zijn?
4 welke transfersnelheden denk je structureel nodig te hebben en voor welke parallelle doelen is dat?
5. ga je een backupregime toepassen of doe je het zonder?
6. is het noodzakelijk dat het totale volume aan data per direct toegankelijk is, welke hersteltijd kan je je veroorloven, of mag dat ook offline met een vertraging van bv. 1 dag als dan wel de data gegarandeerd beschikbaar is?
7. welk budget zou je willen inzetten voor dit doel?
8. zijn er motieven die professionele dienstverlening rechtvaardigen (zoals bedrijfscontinuïteit, vertrouwelijkheid of aansprakelijkheid)?
9. ga je het beheer hierover helemaal handmatig uitvoeren ("JBOD" met data op 180 disks?) of ga je liefst dingen automatiseren (zoals backups maken en controleren)?

[Voor 6% gewijzigd door Renault op 24-05-2020 13:51]


Acties:
  • 0Henk 'm!

  • ari2asem
  • Registratie: november 2002
  • Laatst online: 28-05 23:31
wat was mijn doel met deze posting??

discussie op gang brengen zoals het nu gaat.

ik geef eerlijk toe...mijn eerste post wekt nogal amateuristische aanpak op. dat was misschien ook de bedoeling, zodat ik door jullie vragen veel kan leren en nadenken hoe ik zoiets groots het beste kan aanpakken.

hoeveel cameras, hoeveel data, AVG, is op dit moment NOG NIET relevant. want ik ben nog bezig met een "schets".

bedankt voor jullie alle inputs en overwegingen.

ik ga nog paar maanden hierover nadenken.

dank jullie wek

Acties:
  • +2Henk 'm!

  • FrankHe
  • Registratie: november 2008
  • Laatst online: 26-05 10:48
powerboat schreef op zondag 24 mei 2020 @ 09:22:
[...]

Volgens mij is dat volgens de AVG max 30 dagen.
Er staat eigenlijk vier weken voor, dus 28 dagen. Ik heb mijn dataretentie zelf ook nog op 30 dagen staan, was nog een oude instelling van 'voor' de AVG. Zou dat eigenlijk nog een keer moeten aanpassen.

Acties:
  • 0Henk 'm!

  • Gomez12
  • Registratie: maart 2001
  • Laatst online: 30-05 01:33
ari2asem schreef op zaterdag 23 mei 2020 @ 23:34:
waar moet er rekening mee gehouden worden??
- ik kan niet alle 60 hdd's in één keer aanschaffen. dus uitbreiding vh aantal hdd zal in stappen gaan.
- verschilende grootte's door elkaar mixen / gebruiken, evt mijn huidige hdds met data
- hoe ga ik 60 hdd's verdelen?? hoeveel data en hoeveel parity?? of misschien 2 behuizingen (120hdd) data en 1 behuizing (60hdd) parity?? dus per behuizing verdelen ??
Waarom kan je geen 60 hdd's in een keer aanschaffen?

Dat is namelijk een redelijk essentieel setup dingetje... Je wilt je schijven of veelal gelijk houden of je krijgt actief onderhoud in de vorm van dat je hot-data en cold-data hebt etc. waarbij een nieuw toegevoegde schijf dus of snel of langzaam kan zijn..
ari2asem schreef op zaterdag 23 mei 2020 @ 23:34:
en je kunt geen gebruikte hdd met data gebruiken, je bent jouw data kwijt, want er moet eerst geformateerd worden.
Wat is hier het probleem aan? Dit lijkt me vrij evident bij zo'n opstelling, je wilt het hot-swappable hebben en je moet er gewoon op rekenen dat je als je vandaag een hdd inplugt dat deze pas volgende week beschikbaar wordt.
En ik zie niet in wat je met bestaande data zou willen doen? Dan heb je over 180 hdd's allerlei restjes data staan die niet 1 geheel vormen, die in principe geen vrije ruimte meer hebben etc.

Ik zou eerder zeggen plaats dan lokaal een 8 of 16-poort synology neer, daar kopieer je dan eerst je data op voordat je die disken toevoegt aan je 120 hdd array. En daarna kopieer je je data van synology weer naar je 120 hdd array terug.

Acties:
  • 0Henk 'm!

  • sam_vde
  • Registratie: februari 2012
  • Laatst online: 24-05 18:35
Ik dacht eerst ook "oeioei" maar blijkbaar heb je tijd en middelen voor een érg leuke hobby :-)

Dan zou ik ook zeggen: herbegin minstens 5x. Probeer dingen uit. Je gaat niet zomaar van 8 disks naar 100+ en echt belangrijk schijn je het ook niet te vinden (want dan zoek je best professionele hulp).

Als je spreekt van 100+ hdd beginnend vanaf 6TB kom ik toch sowieso bij ZFS uit. Dan kan je nog steeds kiezen voor een appliance zoals FreeNAS of alles handmatig doen in bv een Ubuntu.

Windows zou ik je niet aanraden - anderzijds kan het wel leuk zijn disk manager eens te openen als je 160 JBODs hebt... Maar als dit een storage server wordt heb je meer aan een goede storagecentric webinterface als een GUI OS denk ik.

Ik zou neigen naar FreeNAS als startpunt. Dat is gekend, erg stabiel, en goede support. Dat ZFS je niet toelaat disks te mixen is relatief: binnen een VDEV mix je normaal gezien niet, maar je kan wel alle HDD in een VDEV vervangen door grotere en daarna je VDEV zelf vergroten. Jij hebt voldoende disks om op die manier oudere disks uit roulatie te nemen, een echt krimpscenario zie ik niet bij je gebeuren, ik denk niet dat je hier meteen tegenaan gaat lopen.

Ik zou eerst wat dingen uitproberen, maar sowieso richting ZFS kijken en dan zeker een basislayout kiezen voor de VDEVs (bv 10 data + 2 parity) en die aanhouden voor je ganse configuratie. Dat is misschien de belangrijkste tip: hou dezelfde datalayout en pariteit aan voor al je storage, en voeg ook in die basisconfig hdd toe.

[Voor 6% gewijzigd door sam_vde op 24-05-2020 18:35]


Acties:
  • +1Henk 'm!

  • Q
  • Registratie: november 1999
  • Laatst online: 02:43

Q

Au Contraire, mon capitaine!

ari2asem schreef op zondag 24 mei 2020 @ 14:42:
wat was mijn doel met deze posting??

discussie op gang brengen zoals het nu gaat.

ik geef eerlijk toe...mijn eerste post wekt nogal amateuristische aanpak op. dat was misschien ook de bedoeling, zodat ik door jullie vragen veel kan leren en nadenken hoe ik zoiets groots het beste kan aanpakken.
Tja, dat klinkt om eerlijk te zijn een beetje als een achteraf redenering ;)
hoeveel cameras, hoeveel data, AVG, is op dit moment NOG NIET relevant. want ik ben nog bezig met een "schets".

bedankt voor jullie alle inputs en overwegingen.

ik ga nog paar maanden hierover nadenken.

dank jullie wek
Hoeveel data, de AVG, allemaal super relevant als je van ons hier nuttig advies / ideeën verwacht. Zonder dat is er niets om over mee te denken.

Je kunt van een RAID 1 in een PC naar een 8-Bay QNAP tot aan een 19" 24-bay rackmount gaan met drives, maar het hangt allemaal af van de:

"Requirements"

Daar start alles mee en tot die tijd is de rest betekenisloos.

Blog | 71TB NAS | 450MB/s over Gigabit | Thinking about ZFS for NAS? | The Perfect NAS


Acties:
  • 0Henk 'm!

  • Arjant2
  • Registratie: augustus 2007
  • Laatst online: 29-05 16:18
ari2asem schreef op zondag 24 mei 2020 @ 00:25:
[...]

kijk, dit is dus opbouwende kritiek waar ik totaal geen problemen/moeite mee heb :-)

de belangrijkste data (backup vh bedrijf) wordt via 3-2-1 principe geregeld. dus dit zit wel goed.

de video,s vd bewakingscamera...gewoon voor de lol zoveel opslaan. wat er tijdens brand mee gebeurt, zal ik er niet over treuren.

nogmaals...dit is puur voor hobby...geen bedrijfskritische dingen
Je gaat voor de lol videobewakingsbeelden opslaan?
En vervolgens zeg je dat AVG er niet toe doet want zover ben je nog niet?
Volgens mij juist wel van belang want zo te lezen ga je juist de AVG overtreden door zoveel mogelijk op te slaan.
En op overige revante vragen komt geen antwoord.
Vaag verhaal!

[Voor 3% gewijzigd door Arjant2 op 24-05-2020 19:41]


Acties:
  • 0Henk 'm!

  • ari2asem
  • Registratie: november 2002
  • Laatst online: 28-05 23:31
inderdaad is het nog vaag verhaal, omdat ik nog in de "schets"-fase zit. oftewel niets is nog concreet. ik kan nog alle kanten op :-)

daarom geef ik ook geen antwoord op vragen als:
- hoeveel cameras?
- hoeveel data?

laat staan dat ik me met juridische vraagstukken bezig moet houden. dit is nog niet aan de orde. nog niet. voor later moet ik hier ook rekening mee houden als ik weet welke kant op ik ga.

[Voor 30% gewijzigd door ari2asem op 24-05-2020 19:47]


Acties:
  • +2Henk 'm!

  • To_Tall
  • Registratie: september 2004
  • Laatst online: 30-05 17:17
ari2asem schreef op zondag 24 mei 2020 @ 14:42:
wat was mijn doel met deze posting??

discussie op gang brengen zoals het nu gaat.

ik geef eerlijk toe...mijn eerste post wekt nogal amateuristische aanpak op. dat was misschien ook de bedoeling, zodat ik door jullie vragen veel kan leren en nadenken hoe ik zoiets groots het beste kan aanpakken.

hoeveel cameras, hoeveel data, AVG, is op dit moment NOG NIET relevant. want ik ben nog bezig met een "schets".

bedankt voor jullie alle inputs en overwegingen.

ik ga nog paar maanden hierover nadenken.

dank jullie wek
Wat ik heel vaag vind is dat je momenteel nog in de "schets" fase zit :+

je hebt wel 2 disk enclosures met een capaciteit van 60 disk elk.
Hoe kan je dan nog in schets fase zitten..

Kleine berekening..
1TB disk a 28 euro ex btw.. x 60 = 1680 euro
als je zou kiezen voor 8TB disks. zit je op 120 euro ex BTW.. == 7200

Dan heb ik nog niet over een systeem dat deze enclosures zou moeten aansturen. en of software om het in te richten.. Denk bv aan ZFS per TB heb je 1 GB geheugen nodig.. dat is een beetje de stel regel.
Das dan een duur kaartje om dan achter af een schets te maken.

Think first, buy then.

[Voor 3% gewijzigd door To_Tall op 24-05-2020 20:08]

A Soldiers manual and a pair of boots.


Acties:
  • +1Henk 'm!

  • Q
  • Registratie: november 1999
  • Laatst online: 02:43

Q

Au Contraire, mon capitaine!

To_Tall schreef op zondag 24 mei 2020 @ 20:04:
Denk bv aan ZFS per TB heb je 1 GB geheugen nodig.. dat is een beetje de stel regel.
Dit is absoluut niet waar voor tweakers thuis en kleine bedrijfsomgevingen.

:)

Blog | 71TB NAS | 450MB/s over Gigabit | Thinking about ZFS for NAS? | The Perfect NAS


Acties:
  • +1Henk 'm!

  • Q
  • Registratie: november 1999
  • Laatst online: 02:43

Q

Au Contraire, mon capitaine!

Das wel waar ;)

Blog | 71TB NAS | 450MB/s over Gigabit | Thinking about ZFS for NAS? | The Perfect NAS


Acties:
  • 0Henk 'm!

  • To_Tall
  • Registratie: september 2004
  • Laatst online: 30-05 17:17
Q schreef op zondag 24 mei 2020 @ 20:43:
[...]


Dit is absoluut niet waar voor tweakers thuis en kleine bedrijfsomgevingen.

:)
Ik ben wel benieuwd hoe je dit bedoeld.
Technisch gezien of je nu 100TB of 10TB hebt liggen. De systeem vereisten veranderen niet lijkt mij.

A Soldiers manual and a pair of boots.


Acties:
  • +1Henk 'm!

  • redfox314
  • Registratie: december 2004
  • Laatst online: 30-05 11:15
My 2 cents. Als je de omzet hebt om hier de capex voor te doen kan je de cloud ook betalen.
Naar mijn bescheiden mening ben je elke moment dat je hier mee bezig bent niet bezig met het uitbouwen van je bedrijf. Je bedrijf bloedt dan ofwel geld ofwel begrip van je gezin.

Acties:
  • +1Henk 'm!

  • Yankovic
  • Registratie: juli 2007
  • Laatst online: 00:37
ari2asem schreef op zondag 24 mei 2020 @ 19:45:
inderdaad is het nog vaag verhaal, omdat ik nog in de "schets"-fase zit. oftewel niets is nog concreet. ik kan nog alle kanten op :-)

daarom geef ik ook geen antwoord op vragen als:
- hoeveel cameras?
- hoeveel data?

laat staan dat ik me met juridische vraagstukken bezig moet houden. dit is nog niet aan de orde. nog niet. voor later moet ik hier ook rekening mee houden als ik weet welke kant op ik ga.
Ik denk dat de verwarring die ik bij veel mensen hier voorbij zie komen is dat je doel wel een beetje onduidelijk is. In wat jij de "schets" fase noemt moet je doel wel duidelijk zijn/worden en wat je nodig hebt om dat te bereiken.

Over het algemeen heb je in een bedrijf/project een probleem dat je wil oplossen. Dat is je doel. Oftewel je hebt 1000 beveiligingscamera's hangen waarvan je de data 28 dagen moet kunnen bewaren. Of je hebt elke maand 100TB aan data die je wil backuppen. Pas als je dat duidelijk hebt ga je daadwerkelijk een "schets" maken over hoe je dat kan gaan realiseren. Immers door een "schets" te maken zonder te weten waarvoor levert je mogelijk een ruimteschip naar de maan op in plaats van de onderzeeër die je eigenlijk nodig had.

Maar als ik jou goed begrijp is je doel eigenlijk dat je dikke hardware hebt liggen of wil aanschaffen waar je gewoon een vet hobbyprojectje mee wil uitvoeren. Of er dan uiteindelijk wel of niet beelden van 1000 camera's op terecht kunnen doet er dus niet toe (dat dit uiteindelijk niet gaat lukken is dus een mogelijke uitkomst omdat het nu geen voorwaarde is!). Je wil gewoon aan een leuk projectje sleutelen en ziet wel of dat een ruimteschip of een onderzeeër wordt..

Klopt dat een beetje? Want dan kunnen mensen denk ik ook wat makkelijker meekwijlen over de hoeveelheid geld die je hierin kan stoppen ipv naar kritische bedrijfsprocessen te kijken

Acties:
  • 0Henk 'm!

  • Hatsjoe
  • Registratie: februari 2008
  • Laatst online: 23:23
ari2asem schreef op zondag 24 mei 2020 @ 19:45:
inderdaad is het nog vaag verhaal, omdat ik nog in de "schets"-fase zit. oftewel niets is nog concreet. ik kan nog alle kanten op :-)

daarom geef ik ook geen antwoord op vragen als:
- hoeveel cameras?
- hoeveel data?

laat staan dat ik me met juridische vraagstukken bezig moet houden. dit is nog niet aan de orde. nog niet. voor later moet ik hier ook rekening mee houden als ik weet welke kant op ik ga.
Uh... Dat zijn toch wel hele belangrijke vragen tijdens de "schets fase". Hoe kan je in godsnaam tot een definitief ontwerp komen zonder alle requirements duidelijk te hebben? Hier hoort dus ook bij, hoeveel camera's, hoeveel data, hoeveel data per minuut/uur/dag en hoe je van plan bent je aan de wet te houden. Zoals al aangegeven heb je te maken met de AVG zodra je bewakingsbeelden gaat opslaan.

Gaat dit enkel om bewakingsbeelden? Zo ja, kijk eens naar AWS S3. Hele goedkope opslag en nog goedkopere "archiving" opties voor "long term storage". Daarnaast hele simpele in te regelen policies m.b.t. data na X tijd verwijderen om te voldoen aan wetgeving. Heb je hier echter geen kaas van gegeten, dan loont het zeker om hiervoor een expert om hulp te vragen.

Acties:
  • +1Henk 'm!

  • FuaZe
  • Registratie: april 2014
  • Laatst online: 20:03
Verdeel je CCTV server en je storage server.

Imho weet je qua CCTV heel goed hoeveel storage je nodig hebt, hoeveel je gebruikt qua resources en netwerk.

Maar je storage server kan in eens heel veel vraag krijgen, gaat dan je CCTV offline?

Imho wil je ook beide op een ander netwerk, dit kan natuurlijk virtueel. Maar geklooi met je office server betekend dan ook issues met CCTV.

Acties:
  • +1Henk 'm!

  • killercow
  • Registratie: maart 2000
  • Laatst online: 30-05 10:32
Als je 60+ disks vol aan bewakingsbeelden gaat opslaan voor 'niet bedrijfskritische zaken', maar "omdat het je hobby is" ben jij volgens de privacywetgeving in ieder geval al gediskwalificeerd.

Je mag namelijk alleen opnemen als het niet anders kan, en je andere minder ingrijpende oplossingen al geprobeerd hebt.

Als je alleen thuis opneemt (waarom hebben we het dan over een bedrijf), snap ik niet goed waarom je vrienden nog bij je op bezoek willen komen.
Als je toch wel op bedrijf opneemt, wie wil je dan opnemen? Jezelf? je werknemers? (terug naar af), of je klanten? (terug naar af). Want dan ga je simpelweg niet langer mogen bewaren dan strikt noodzakelijk en uberhaupt alleen als je geen andere oplossingen voor een daadwerkelijk groot probleem kon vinden. (een probleem dat blijkbaar meer kost dan 60+ hdd's, stroom, tijd en de rest van de hardware).

Daarnaast, voor videobeelden is een goedkope archive disk of SMR disk prima, maar die wil je *niet* in een redundant ZFS pool stoppen (of nog erger voor je performance in een ceph pool). Voor je andere projecten en data hangt het vooral af wat voor verwachtingen je hebt aan read/writes, en hoe je gebruiksprofiel er dan uit ziet, veel kleine read? Veel writes? welke afmetingen?

[Voor 8% gewijzigd door killercow op 24-05-2020 23:48]

Ook zin in een outdoor geek-fest? eth-0.nl


Acties:
  • 0Henk 'm!

  • Wim-Bart
  • Registratie: mei 2004
  • Laatst online: 02:31

Wim-Bart

Zie signature voor een baan.

https://vib-netwerken.nl/blog/privacy-camerabeelden-tips/

28 dagen maximaal bewaren.
Zodra u camerabeelden langer dan 28 dagen wil bewaren, moet u daarvan melding maken bij het College Bescherming Persoonsgegevens (CPB) en vermelden hoe lang u de beelden wilt bewaren.
En zeker van belang, je moet aangeven en aan kunnen tonen wat de toegang is, de reden waarom je langer wil bewaren.

Beheerders, Consultants, Servicedesk medewerkers. We zoeken het allemaal. Stuur mij een PM voor meer info of kijk hier De mooiste ICT'er van Nederland.


Acties:
  • +1Henk 'm!

  • Tsurany
  • Registratie: juni 2006
  • Niet online
To_Tall schreef op zondag 24 mei 2020 @ 22:15:
[...]

Ik ben wel benieuwd hoe je dit bedoeld.
Technisch gezien of je nu 100TB of 10TB hebt liggen. De systeem vereisten veranderen niet lijkt mij.
Gebruik bepaald de systeemeisen. Als je het systeem gebruikt voor grotendeels statische data die niet frequent benaderd wordt of waar schrijf- en leessnelheiden niet heel relevant zijn dan kan je met veel minder RAM af.


@ari2asem je bent nu puur gericht op de hardware zonder dat je duidelijke requirements hebt. Voor je backup heb je kennelijk de ruimte niet nodig, waarom wil je dan 1080TB aan data gaan opslaan? Trek daar desnoods 40% vanaf voor een RAIDZ opstelling en je hebt alsnog 600TB aan data. Als je dat met video materiaal gaat vullen kan je, uitgaande van een bitrate van 20Mbit (2.5Mbyte), meer dan vijf jaar aan videodata op opslaan. Heeft dat zin? Is dat realistisch? Ga je die kosten betalen? Heb je software om dat te managen?

En je komt met eisen als uitbreidbaar met losse schijven en het kunnen mixen en matchen van verschillende diskformaten. Je wilt een oplossing realiseren die uiteindelijk tienduizenden euro's gaat kosten maar dit uitbreiden door losse schijven te kopen van 100 euro de stuk, dat past echt niet bij elkaar. En dan denk je aan software als Snapraid? Dat is echt niet geschikt hiervoor.

En je kan wel gaan antwoorden dat dit allemaal nog niet relevant is maar je verwacht van ons dat wij meedenken aan een systeem terwijl de achterliggende eisen totaal niet realistisch ogen en dat de kans dat dit in de praktijk uitgevoerd gaat worden vrijwel nihil is. Dat is toch echt zonde van de tijd?

Acties:
  • 0Henk 'm!

  • Q
  • Registratie: november 1999
  • Laatst online: 02:43

Q

Au Contraire, mon capitaine!

To_Tall schreef op zondag 24 mei 2020 @ 22:15:
[...]

Ik ben wel benieuwd hoe je dit bedoeld.
Technisch gezien of je nu 100TB of 10TB hebt liggen. De systeem vereisten veranderen niet lijkt mij.
Er is geen relatie tussen de hoeveelheid opgeslagen data en hoeveel ram je nodig hebt.

https://serverfault.com/q...-of-memory-per-tb-of-phys

https://www.reddit.com/r/...m=ios_app&utm_name=iossmf

[Voor 10% gewijzigd door Q op 25-05-2020 03:28]

Blog | 71TB NAS | 450MB/s over Gigabit | Thinking about ZFS for NAS? | The Perfect NAS


Acties:
  • 0Henk 'm!

  • ari2asem
  • Registratie: november 2002
  • Laatst online: 28-05 23:31
Yankovic schreef op zondag 24 mei 2020 @ 23:01:
[...]


Ik denk dat de verwarring die ik bij veel mensen hier voorbij zie komen is dat je doel wel een beetje onduidelijk is. In wat jij de "schets" fase noemt moet je doel wel duidelijk zijn/worden en wat je nodig hebt om dat te bereiken.

Over het algemeen heb je in een bedrijf/project een probleem dat je wil oplossen. Dat is je doel. Oftewel je hebt 1000 beveiligingscamera's hangen waarvan je de data 28 dagen moet kunnen bewaren. Of je hebt elke maand 100TB aan data die je wil backuppen. Pas als je dat duidelijk hebt ga je daadwerkelijk een "schets" maken over hoe je dat kan gaan realiseren. Immers door een "schets" te maken zonder te weten waarvoor levert je mogelijk een ruimteschip naar de maan op in plaats van de onderzeeër die je eigenlijk nodig had.

Maar als ik jou goed begrijp is je doel eigenlijk dat je dikke hardware hebt liggen of wil aanschaffen waar je gewoon een vet hobbyprojectje mee wil uitvoeren. Of er dan uiteindelijk wel of niet beelden van 1000 camera's op terecht kunnen doet er dus niet toe (dat dit uiteindelijk niet gaat lukken is dus een mogelijke uitkomst omdat het nu geen voorwaarde is!). Je wil gewoon aan een leuk projectje sleutelen en ziet wel of dat een ruimteschip of een onderzeeër wordt..

Klopt dat een beetje? Want dan kunnen mensen denk ik ook wat makkelijker meekwijlen over de hoeveelheid geld die je hierin kan stoppen ipv naar kritische bedrijfsprocessen te kijken
het klopt precies zoals je zegt. ik heb hardware en ik wil er iets mee doen. maar wat, weet ik niet...beetje klooien

Acties:
  • 0Henk 'm!

  • Dacuuu
  • Registratie: maart 2009
  • Nu online
falconhunter schreef op zondag 24 mei 2020 @ 09:34:
Unraid is echt de enige optie voor iets dergelijks maar een geschikt chassis voor 180 disks kost een godsvermogen.
How many devices does unRAID Server OS Support?

unRAID OS supports up to 30 devices in the parity-protected array (28 data and 2 parity) and up to 24 devices in the cache pool. Additional devices can still be utilized directly with other unRAID features such as virtual machines or the unassigned devices plugin.

Mijn Youtube reviews: https://www.youtube.com/user/BartjuhB/videos


Acties:
  • +1Henk 'm!

  • MikeyMan
  • Registratie: februari 2003
  • Laatst online: 23:56

MikeyMan

Vidi, Vici, Veni

Opslaan is een ding... Maar hoe ga je dit indexeren? Ik bedoel, je slaat zooi op, lijkt me dat je er ook bij wilt kunnen en kunt vinden wat je zoekt. Met duizenden uren video lijkt me dat niet perse makkelijk.

Acties:
  • +1Henk 'm!

  • itsalex
  • Registratie: januari 2003
  • Niet online
Het is leuk zo'n hobby maar heb je wel gedacht aan, hoe en wat ga je dit monteren, herrie, stroomvoorziening, airco voor extra koeling, UPS, welke RAID ga je gebruiken, meestal kan je niet direct deze storage pool benaderen, wat te doen bij simpele uitval van bv 2 schijven, welke switch ga je gebruiken want er komt aardig wat data overheen dus ook de randzaken zijn erg belangrijk. Ook hoe ga je bv over een paar jaar alle schijven vervangen als het nodig is en eventueel ook de apparatuur.

Kan je niet beter een server pakken waar je 48 schijven direct in hangt en deze gaat gebruiken. Let wel op het totale gewicht want zoiets wil je niet op een houten vloertje hebben want dan ligt het zsm op je bord beneden waar je rustig zit te eten.

Acties:
  • +2Henk 'm!

  • F_J_K
  • Registratie: juni 2001
  • Niet online

F_J_K

Moderator CSA/PB

Front verplichte underscores

powerboat schreef op zondag 24 mei 2020 @ 09:22:
[...]
Volgens mij is dat volgens de AVG max 30 dagen.
offtopic:
Nee, je mag het bewaren zolang het nodig is. Die termijn moet je zelf bepalen - en overtuigend kunnen uitleggen aan de autoriteit. Een richtlijn voor die termijn is dan max. 4 weken maar misschien is het hier wel max. 2 weken als enige diefstal wel binnen die twee weken wordt opgemerkt. Dan is alles langer bewaren niet nodig dus niet toegestaan.

Als het puur een technische vingeroefening / gedachtespel is: leuk. Daadwerkelijk alle bewakingsbeelden 'eeuwig' opslaan is verboden. Juist ook als het voor de leuk is.

Dit juridische aspect is heel relevant, want geeft een bovengrens aan de hoeveelheid data.

[Voor 5% gewijzigd door F_J_K op 25-05-2020 10:07]

'Multiple exclamation marks,' he went on, shaking his head, 'are a sure sign of a diseased mind' (Terry Pratchett, Eric)


Acties:
  • +1Henk 'm!

  • Wim-Bart
  • Registratie: mei 2004
  • Laatst online: 02:31

Wim-Bart

Zie signature voor een baan.

FrankHe schreef op zondag 24 mei 2020 @ 15:40:
[...]

Er staat eigenlijk vier weken voor, dus 28 dagen. Ik heb mijn dataretentie zelf ook nog op 30 dagen staan, was nog een oude instelling van 'voor' de AVG. Zou dat eigenlijk nog een keer moeten aanpassen.
Daarom hebben wij een retentie van 28 dagen minus 12 uur voor het geval een erase gemist wordt. Overige data is per deelgebied onderhevig aan maximale bewaartijd, zo is er onderscheid te maken tussen soorten data en waar deze opgeslagen wordt. We zijn er heel actief mee bezig om het goed in te richten en te beheren. GDPR is niet wat je er even bij doet. Zeker met de boetes die er bij kunnen horen.

Beheerders, Consultants, Servicedesk medewerkers. We zoeken het allemaal. Stuur mij een PM voor meer info of kijk hier De mooiste ICT'er van Nederland.


Acties:
  • +1Henk 'm!

  • Renault
  • Registratie: januari 2014
  • Laatst online: 30-05 18:02
Wellicht heeft TS nu de sche(r?)tsfase doorlopen en zijn doelen nauwer kunnen bepalen: hij weet immers wat het gerechtvaardigde doel van het opslaan van de camerabeelden is, hoeveel data hij per dag kan vergaren/verwachten en wat de max opslagtijd zal zijn die hij nodig gaat hebben.

Daaruit is gemakkelijk een target-opslagvolume (= # TB of PB) te bepalen, wat gemakkelijk te herleiden is tot # disks (target / capaciteit per disk) maal RAID-keuzevereisten.
En ook het target backup-regime is nu te bepalen.

Als TS dat nu hier bekend maakt, gaat dit topic doelgerichte en meer steekhoudende bijdragen leveren aan zijn behoeften.

Acties:
  • 0Henk 'm!

  • ari2asem
  • Registratie: november 2002
  • Laatst online: 28-05 23:31
dit grote project is voor lange duur (de komende 2-3 jaar). ik heb nog geen concrete plannen of hardware (dwz camera's).

dus helaas kan ik geen zinnige uitspraken doen. excuses hiervoor.

maar wat er tot nu gezegd is, is het genoeg stof voor mij om na te denken hoe ik het precies ga doen. genoeg om maanden hierover na te denken
Pagina: 1


Apple iPhone SE (2020) Microsoft Xbox Series X LG CX Google Pixel 4a CES 2020 Samsung Galaxy S20 4G Sony PlayStation 5 Nintendo Switch Lite

'14 '15 '16 '17 2018

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2020 Hosting door True