CCTV FTP en disk fragmentatie

[Fairy]

Ik heb een aantal IP camera's in gebruik die via FTP hun beelden streamen naar een HDD. Dit gebeurd via Filezilla Server.

Het probleem dat ik heb is dat de schijf enorme bestandfragmentatie oploopt. Er lopen zo'n 10 streams tegelijk en Filezilla reserveert geen ruimte maar schrijft rechtstreeks, hierdoor lopen die 10 streams door elkaar.

Na een weekje heb ik 1.000.000+ fragmentaties op de schijf en deze deze ook vrijwel niet meer te defragmenteren.

Als de FTP software bij het openen van de connectie een blok van bijvoorbeeld 256MB in 1x zou reserveren en dan vullen, dan zou dit probleem vrijwel opgelost zijn.

Zijn hier programma's voor die beter werken dan Filezilla waarbij je de blokgrootte kan bepalen, of heb ik deze feature in Filezilla nog niet gevonden?

De camera's kunnen ook via ONVIF werken trouwens, maar ik ben nog geen software tegengekomen die dit goed en eenvoudig kan. Ik heb wel geëxperimenteerd met Agent DVR maar ik vind dat een draak van een programma met veel te veel features en is erg onoverzichtelijk.

EDIT: Ik zie net pas dat ik hem w.s. in de verkeerde categorie heb gepost. Excuus daarvoor!

[ Voor 4% gewijzigd door Fairy op 04-03-2025 11:36 ]

[Frogmen]

Als ik het heel erg bod zeg leuk je hebt heel veel beelden succes met zoeken naar de speld in de hooiberg.
Anders gezegd heb je wel eens geprobeerd een incident/situatie terug te vinden?
Dat is namelijk wat vaak vergeten wordt, beelden hebben is 1 de juiste vinden is wat anders.
Persoonlijk zou ik zeker bij zoveel camera's naar iets als Zoneminder kijken. Deze kan beelden analyseren en ook afhankelijk van meer of minder FPS opslaan tevens is ook de opslag beter geregeld. Overigens is het open source en werkt het met onvif.

[Fairy]

Frogmen schreef op dinsdag 4 maart 2025 @ 10:03:
Als ik het heel erg bod zeg leuk je hebt heel veel beelden succes met zoeken naar de speld in de hooiberg.
Anders gezegd heb je wel eens geprobeerd een incident/situatie terug te vinden?
Dat is namelijk wat vaak vergeten wordt, beelden hebben is 1 de juiste vinden is wat anders.
Persoonlijk zou ik zeker bij zoveel camera's naar iets als Zoneminder kijken. Deze kan beelden analyseren en ook afhankelijk van meer of minder FPS opslaan tevens is ook de opslag beter geregeld. Overigens is het open source en werkt het met onvif.

Ga ik zeker naar kijken, dank!

Vinden van zaken heb ik niet veel moeite mee tot nu toe. Elke bewegingsdetectie levert ook JPG plaatjes op en elke 15 minuten wordt er ook een foto gemaakt. Hiermee kan ik vrij snel zaken terugvinden.

Een goede applicatie heeft uiteraard de voorkeur dit daar ga ik me zeker in verdiepen.

[Mijzelf]

Je zou natuurlijk 10 partities aan kunnen maken, en iedere camera zijn eigen partitie geven. Je loopt dan wel het risico dat de kop te veel moet bewegen, waardoor hij de datastroom niet bijhoudt.

[ Voor 35% gewijzigd door Mijzelf op 04-03-2025 11:36 ]

[Duke of Savage]

Stop er een SSD in

[FredvZ]

Fairy schreef op dinsdag 4 maart 2025 @ 09:46:
Na een weekje heb ik 1.000.000+ fragmentaties op de schijf en deze deze ook vrijwel niet meer te defragmenteren.

Dat is de constatering. Maar waarom wil je er iets aan doen?

Mislukt het opslaan van de streams?
Lukt het terugkijken niet?
Gaan je schijven massaal stuk?

[jeroen3]

Mijzelf schreef op dinsdag 4 maart 2025 @ 11:35:
Je zou natuurlijk 10 partities aan kunnen maken, en iedere camera zijn eigen partitie geven. Je loopt dan wel het risico dat de kop te veel moet bewegen, waardoor hij de datastroom niet bijhoudt.

Daar is wd purple voor.

[GarBaGe]

Kan je niet de cluster size van je HDD vergroten?
Standaard WIndows NTFS is doorgaans 4K cluster size. Als je hier 64K van maakt, worden je clusters 8x zo groot en heb je 8x minder fragmentatie.
Voor echte streaming, wil je wellicht eerder richting 1M cluster size, maar ik denk niet dat NTFS dat ondersteunt.

[Ben(V)]

Fragmentatie is al heel lang nauwelijks een probleem meer met de huidige filesystemen, dus waar maak je je druk om?

[Fairy]

GarBaGe schreef op dinsdag 4 maart 2025 @ 12:48:
Kan je niet de cluster size van je HDD vergroten?
Standaard WIndows NTFS is doorgaans 4K cluster size. Als je hier 64K van maakt, worden je clusters 8x zo groot en heb je 8x minder fragmentatie.
Voor echte streaming, wil je wellicht eerder richting 1M cluster size, maar ik denk niet dat NTFS dat ondersteunt.

Cluster size naar 64K had ik al gedaan. Dat helpt wel iets, maar het blijft door elkaar lopen.
Het nadeel is dat na een tijdje het een grote gefragmenteerde bende is geworden. Na x periode worden de oudste bestand verwijderd en nieuwe data wordt er weer tussendoor geschreven.

Defragmenteren van de disk is absoluut onbegonnen werk, dat duurt weken, zelfs als je de streams tijdelijk stopt.

Alles werkt op zich ook wel, maar het is niet optimaal. Ik zou liever zien dat alles in grote blokken van bijvoorbeeld 256MB wordt gereserveerd.

[FredvZ]

Fairy schreef op dinsdag 4 maart 2025 @ 16:34:
Alles werkt op zich ook wel, maar het is niet optimaal.

If it ain't broken, don't fix it.