Willekeurige bestanden verdwenen van file-server

[Josefien]

Mijn vraag
...
Ik heb thuis een server met Debian 8.0. Deze biedt via Samba en NFS data aan. Op Linux-werkstations wordt de server op /home gekoppeld. Windows gebruikt domein-logins i.c.m. roaming profiles. En op Android-telefoons wordt de SMB functie van "ES File Explorer" gebruikt om bestanden op te vragen.

De data op de server staat op een software RAID1 array. Ext4 bestandssysteem.

Ik merk vandaag toevallig op dat er willekeurig bestanden en mappen zijn verdwenen

Ik heb onder /home naast de home-directories van de gebruikers ook enkele mappen staat zoals:
- sw_dist (software/drivers)
- shared (gedeelde zaken als familiefoto's/games/software)
- tftpboot (root van de tftp-bootservice)


Als ik een "ls -l" doe op /home valt me op dat "shared" en "tftpboot" op 20 november (2017?) rond 10:30u gewijzigd zijn. En toevallig zijn deze 2 mappen grotendeels plots leeg, op een paar mappen na

Het gekke ook is dat van "sw_dist" de wijzigingsdatum niet is aangepast, maar er toch minimaal een submap (Driver) leeg is... en heel specifiek een map met Imation LS-120 drivers. Die map heeft toevallig als enige de eigenaar root.root en rechten 777 (kan ik ook terugzien op een back-up van 1-nov.) en is leeg. De andere mappen in dezelfde sub-dir met eigenaar josefien.users is op het eerste gezicht nog redelijk compleet.

En dan de submap "shared"... dat is vreemd... vrijwel de hele inhoud had eigenaar shared.users. Allemaal weg. Ook losse bestanden van josefien.users zijn weg. Alleen een 5-tal directories van josefien.users zijn blijven staan.

Ik heb op dit moment geen tijd om in detail te gaan checken wat er precies weg is (moet morgen vroeg op ) en kan derhalve ook niet uitsluiten dat er niks is verdwenen uit de persoonsgebonden home-directories

Of ik op 20 nov. 2017 om 10:30u thuis was, weet ik niet meer omdat ik normaal tussen 10:15u-11:00u thuiskom voor de middagpauze afhankelijk v/d verkeersdrukte. Al lijkt het me sowieso niet waarschijnlijk dat ik tijdens m'n pauze software en drivers zat weg te gooien Moeder (enige huisgenoot) was volgens mij ook op het werk en zij weet sowieso vrijwel niks af van computers, kan dit niet gedaan hebben. En toch deze wijzigingsdatum

Dit vind ik erg verontrustend Wat kan hier gebeurd zijn?

Een stuk uit de "ls -l" op /home:

code:

josefien@ws45:/home$ ls -l
drwxr-x---  27 foto          users      4096 mrt  6  2012 foto
drwxr-xr-x   2 messagebus    nogroup    4096 mei  9  2007 ftp
drwx------ 100 josefien      users     16384 feb 13 20:39 josefien
drwxrwxr-x   4 root          users      4096 apr  2  2011 knoppix
drwxrwxr-x   5 root          dmadmins   4096 nov  8  2008 netlogon_old
drwxr-xr-x   5 root          root       4096 feb 19  2012 samba
drwxrwxr-x  36 net       users      4096 jul 14  2015 samba_share
drwxrwxr-x   7 shared        users      4096 nov 20 10:28 shared
drwxr-xr-x  54 jwong         users      4096 jan 19  2017 sw_dist
drwxrwxr-x   5 root          users      4096 nov 20 10:27 tftpboot

Spijtig ook dat ik onregelmatig slechts eens in de 4-6 weken een back-up maak. Handmatig met rsync op een externe HDD die ik daarna afkoppel. Er kunnen maar 3 back-ups worden bewaard. De enige back-up van voor 20 nov. is die van 1-nov


Hoe en met wat zou ik veilig deze back-up kunnen vergelijken met de actuele stand van zaken om te zien wat precies is verdwenen, zonder de back-up te beschadigen? Ik vrees dat dit sowieso onder "root" moet op een Linux-machine, omdat het om home-directories gaat, deze hebben de rechten 0700 ofwel alleen leesbaar voor de desbetreffende eigenaar en aangezien het een back-up is zijn de eigenaar/permissie parameters meegenomen naar de back-up.


Er worden op de server geen diensten naar buiten toe aangeboden.


Relevante software en hardware die ik gebruik
...
- Debian 8.0 op de server
- Ubuntu 16.04 LTS op de werkstations
- Enkeling Windows XP/7 die eens in de zoveel tijd inlogd.


Wat ik al gevonden of geprobeerd heb
...
Vooralsnog weet ik niet wat te doen. Ik heb enkel een "steekproef" gehouden onder het kijken wat er weg was.

Ik weet niet wat er nu aan de hand is geweest en wat ik kan doen om nader te kunnen vergelijken wat er weg is t.o.v. de back-up van begin november.


Ik ben trouwens vandaag erachter gekomen dat er bestanden weg waren toen ik een nieuwe back-up met rsync aan het maken was en toevallig op het scherm voorbij zag komen dat er op vreemde plekken dingen verwijderd werden van de oude back-up, dingen die zeker weten niet veranderd waren zoals die Imation drivers. Dit had ik eigenlijk in januari dus al moeten zien... maar helaas... ik start vaak de backup en loop dan weg Ik back-up met "rsync -a -v --delete".

[jan99999]

Op je server file version gebruiken, en dat je ver terug in de tijd kunt gaan.
Bij verkeerd verwijderen, of door virus kun je terug in de tijd gaan , waar je wel files kunt vinden.

En natuurlijk je backup bijhouden, dus handmatig is belangrijk,
en natuurlijk een geautomatiseerd backup, ook met file version.
En bij bijv de 2e nas/server, aan iedereen zo min mogelijk rechten geven(of alleen de 1e server/nas rechten geven), en dat de nas file version regelt, en dat anderen hier niks aan kunnen veranderen, behalve als je als admin inlogt.

[Josefien]

Maar daar is het nu te laat voor. En los daarvan, kost dat niet veel extra schijfruimte? De server heeft maar 1TB en daar moet het mee gedaan worden.

Zijn er virussen die bestanden verwijderen i.p.v. aantasten? En dan nog is het raar dat oogschijnlijk juist de home-directories niet zijn verwijderd

[unezra]

Josefien schreef op woensdag 14 februari 2018 @ 07:42:
Maar daar is het nu te laat voor. En los daarvan, kost dat niet veel extra schijfruimte? De server heeft maar 1TB en daar moet het mee gedaan worden.

Snapshots zijn delta's. In essentie kosten die relatief weinig schijfruimte tenzij je veel en grote bestanden wijzigd. Hoe dan ook moet je schijfruimte monitoren en bij kunnen plaatsen als het nodig is. Als je nu maar 1T hebt en je denkt dat dat te weinig gaat zijn: Bijkopen.

Snapshots zijn, vind ik, in een hedendaags scenario essentieel om te maken. Het is je 1st line of defense. Zonder snapshots moet je veel eerder terug grijpen naar backups (op tape) en zijn je recoverytijden veel langer. De extra investering in snapshots is het ruim waard. (Snapshots zijn immutable, waardoor ook een cryptolocker enkel je live files aan kan tasten en nooit je eerdere gesnapshotte files. Het enige dat zou kunnen is dat malware hele snapshots verwijderd. Daar heb je dan weer reguliere backups voor.)

Zijn er virussen die bestanden verwijderen i.p.v. aantasten? En dan nog is het raar dat oogschijnlijk juist de home-directories niet zijn verwijderd

Virussen kunnen inderdaad ook bestanden verwijderen in plaats van aantasten. Zolang ze zichzelf maar niet verwijderen is er weinig aan de hand. Ik kan zo even niet op een specifieke naam komen, er zijn tienduizenden virussen gemaakt, maar het concept bestaat en kan bestaan.

Dat het de homedirs niet verwijderd kan ook allerlei redenen hebben. Misschien is het wel malware dat gerund word door een admin en juist target op alles behalve homedirs. Ook daar, als jij het kunt bedenken als admin, kan een virusschrijver het bedenken als virus.

[Josefien]

Ik weet om eerlijk te zijn uberhaupt niet hoe snapshots werken/ingesteld moeten worden bij het bestaande systeem. En volgens mij verwijderd het niet bestanden die je verwijderd heb, dus een filmpje van zeg 400MB wat je weggooit om ruimte te besparen blijft in de snapshots nog zitten en neemt dus nog ruimte in?

En het is een thuis-situatie. Bijkopen kost geld wat niet terug wordt verdiend. Er is jaren geleden destijds besloten om opslag te kopen en dat was een zelfbouw thuis-server met 2x 1TB in RAID1, samen met 3 stuks externe harde schijven die om de beurt voor back-ups worden gebruikt. Dat spul is pas net over de 7 jaar oud en gaat daarom niet vervangen worden nu. Het lijkt wel of men tegenwoordig erg makkelijk is met "koop maar bij" wat opslag betreft. Terwijl het spul niet goedkoper is geworden. In nov. 2010 heb ik voor deze 1TB schijven €47,- per stuk betaald. Nu kosten ze bijna net zoveel.

Los hiervan wordt back-uppen alleen nog maar lastiger en vooral duurder als je de opslag telkens zo snel uitbreidt. HDD's zijn niet veel sneller geworden dan zeg 8 jaar geleden.


En... ik weet alsnog nu niet wat er is gebeurd waarom mijn bestanden zijn verdwenen

Ik zit nu opgestart vanaf een Ubuntu live-CD met "Meld" de backup op de externe harde schijf te comparen met die op de NFS-share. Externe HDD met "mount -o remount,ro" als read-only gekoppeld. Maar het is verschrikkelijk traag, ik vrees dat 'ie voor bedtijd niet klaar is. Hoe lang hoort dit te duren op zeg 300GB aan data waarvan vrij veel kleine bestanden? Ik kan 'm wel onbeheerd aanlaten vannacht, maar liever niet omdat die externe HDD de enige back-up is op dit moment

[Rik.]

Josefien schreef op woensdag 14 februari 2018 @ 20:54:
Ik weet om eerlijk te zijn uberhaupt niet hoe snapshots werken/ingesteld moeten worden bij het bestaande systeem. En volgens mij verwijderd het niet bestanden die je verwijderd heb, dus een filmpje van zeg 400MB wat je weggooit om ruimte te besparen blijft in de snapshots nog zitten en neemt dus nog ruimte in?

En het is een thuis-situatie. Bijkopen kost geld wat niet terug wordt verdiend. Er is jaren geleden destijds besloten om opslag te kopen en dat was een zelfbouw thuis-server met 2x 1TB in RAID1, samen met 3 stuks externe harde schijven die om de beurt voor back-ups worden gebruikt. Dat spul is pas net over de 7 jaar oud en gaat daarom niet vervangen worden nu. Het lijkt wel of men tegenwoordig erg makkelijk is met "koop maar bij" wat opslag betreft. Terwijl het spul niet goedkoper is geworden. In nov. 2010 heb ik voor deze 1TB schijven €47,- per stuk betaald. Nu kosten ze bijna net zoveel.

Los hiervan wordt back-uppen alleen nog maar lastiger en vooral duurder als je de opslag telkens zo snel uitbreidt. HDD's zijn niet veel sneller geworden dan zeg 8 jaar geleden.


En... ik weet alsnog nu niet wat er is gebeurd waarom mijn bestanden zijn verdwenen

Ik zit nu opgestart vanaf een Ubuntu live-CD met "Meld" de backup op de externe harde schijf te comparen met die op de NFS-share. Externe HDD met "mount -o remount,ro" als read-only gekoppeld. Maar het is verschrikkelijk traag, ik vrees dat 'ie voor bedtijd niet klaar is. Hoe lang hoort dit te duren op zeg 300GB aan data waarvan vrij veel kleine bestanden? Ik kan 'm wel onbeheerd aanlaten vannacht, maar liever niet omdat die externe HDD de enige back-up is op dit moment

Als het voor een thuis-situatie is, vindt ik het persoonlijk zeer vreemd dat je een "zelfbouw server" hebt staan, terwijl je er zo lijkt het, niet erg veel verstand van hebt. Ik denk dat je beter af was geweest met een Synology NAS o.i.d. in jouw situatie.

Waarom de keuze voor die zelfbouw server?

[Josefien]

Rik. schreef op woensdag 14 februari 2018 @ 22:04:
[...]

Als het voor een thuis-situatie is, vindt ik het persoonlijk zeer vreemd dat je een "zelfbouw server" hebt staan, terwijl je er zo lijkt het, niet erg veel verstand van hebt. Ik denk dat je beter af was geweest met een Synology NAS o.i.d. in jouw situatie.

Waarom de keuze voor die zelfbouw server?

Een Synology heeft minder mogelijkheden en is ook een stuk duurder dan iets uit losse onderdelen samenstellen. De huidige doet naast file-sharing ook Samba domein-logins met roaming profiles, LDAP login voor de Linux machines, DHCP met boot-mogelijkheid i.c.m. TFTP-server en DNS voor de interne hostnames.

Ik moet zeggen dat ik ooit wel het e.e.a. kon, maar simpelweg de nieuwe ontwikkelingen niet meer heb gevolgd (en ook een hekel heb aan grote (OS) upgrades)

Hiervoor had ik trouwens ook al zelfbouw servers gehad. Eerst met overgebleven Pentium I/II en III's. Toen werd er voor thuis nog maar weinig gepraat over NAS en Synology's Snapshots volgens mij ook niet

[ Voor 10% gewijzigd door Josefien op 14-02-2018 22:17 ]

[Rik.]

Josefien schreef op woensdag 14 februari 2018 @ 22:11:
[...]

Een Synology heeft minder mogelijkheden en is ook een stuk duurder dan iets uit losse onderdelen samenstellen. De huidige doet naast file-sharing ook Samba domein-logins met roaming profiles, LDAP login voor de Linux machines, DHCP met boot-mogelijkheid i.c.m. TFTP-server en DNS voor de interne hostnames.

Ik moet zeggen dat ik ooit wel het e.e.a. kon, maar simpelweg de nieuwe ontwikkelingen niet meer heb gevolgd (en ook een hekel heb aan grote (OS) upgrades)

Hiervoor had ik trouwens ook al zelfbouw servers gehad. Eerst met overgebleven Pentium I/II en III's. Toen werd er voor thuis nog maar weinig gepraat over NAS en Synology's

Tja, dat is natuurlijk gewoon keuzes maken... Een Synology NAS kan tegenwoordig veel meer dan voorheen, waaronder hoogstwaarschijnlijk ook een paar van de zaken die jij nu gebruikt.

Als je data je zoveel waard is, zou ik toch echt investeren in een systeem waarvan je de betrouwbaarheid grotendeels kunt garanderen, en zorgen voor goede back-ups.
Zelf maak ik gebruik van Duplicati naar Stack (TransIP, gratis 1TB storage) en naar een oude simpele 1 bay NAS. Bij de back-up naar Stack bewaar ik 31 versies, en die naar de NAS die hier in huis staat 15 versies. Duplicati maakt enkel een nieuwe versie aan als er ook echt een wijziging is, waardoor het niet mega veel storage vereist.

Duplicati draait volgens mij ook op linux systemen, maar hoe je dit goed kunt inrichten zou je even uit moeten zoeken. Ik gebruik het namelijk op een Windows machine. Mijn home-server is ook zelfbouw en daarop draai ik Windows Server, dus ik kan je niet goed adviseren over back-ups vanaf een Linux machine. Maar zoek in ieder geval even iets op over de 3-2-1 back-upmethode, dan begrijp je daarna hoogstwaarschijnlijk goed hoe je back-ups het beste kunt regelen.

[Josefien]

Ik heb een gratis Stack van TransIP. Back-uppen vanuit de server kan echter alleen vanuit de CLI dus via WebDAV. De laatste keer dat ik erover las werkte dat nog niet zo goed, bleef wel een hangen bij grote hoeveelheden. En het ondersteunt destijds ook niet alle bestanden (zoals bijv. een .htaccess), wat dan als er toevallig zo'n bestand in een home-dir zit in van een oude website-backup?

En... 300GB back-uppen met een lijntje waar de upload maar 5 Mbit/s is... duurt heel lang. Nog voordat het klaar is zijn er alweer bestanden gewijzigd En het gaat volgens mij ook stuk als er op het moment van back-uppen een home-dir in gebruik is. Een gebruiker die is ingelogd lockt namelijk altijd wat bestanden.

Mijn "off-site" (euhh... is bewaren in de auto ook off-site? ) backup is eigenlijk altijd de recentste. De een-na-laatste bewaar ik thuis.

[ Voor 10% gewijzigd door Josefien op 14-02-2018 22:27 ]

[DukeBox]

Josefien schreef op dinsdag 13 februari 2018 @ 21:59:
Handmatig met rsync op een externe HDD die ik daarna afkoppel. Er kunnen maar 3 back-ups worden bewaard

fyi, met rsync kan je ook versioning doen

[Rik.]

Josefien schreef op woensdag 14 februari 2018 @ 22:26:
Ik heb een gratis Stack van TransIP. Back-uppen vanuit de server kan echter alleen vanuit de CLI dus via WebDAV. De laatste keer dat ik erover las werkte dat nog niet zo goed, bleef wel een hangen bij grote hoeveelheden. En het ondersteunt destijds ook niet alle bestanden (zoals bijv. een .htaccess), wat dan als er toevallig zo'n bestand in een home-dir zit in van een oude website-backup?

En... 300GB back-uppen met een lijntje waar de upload maar 5 Mbit/s is... duurt heel lang. Nog voordat het klaar is zijn er alweer bestanden gewijzigd En het gaat volgens mij ook stuk als er op het moment van back-uppen een home-dir in gebruik is. Een gebruiker die is ingelogd lockt namelijk altijd wat bestanden.

Mijn "off-site" (euhh... is bewaren in de auto ook off-site? ) backup is eigenlijk altijd de recentste. De een-na-laatste bewaar ik thuis.

Ik doe het zelf ook via WebDav, dat werkt redelijk goed en loopt bij mij nooit vast eigenlijk..

300GB overzetten duurt even, maar als je dit met Duplicati doet is dat eenmalig (Mocht het vastlopen, gaat het verder waar hij was gebleven), daarna zijn het enkel de wijzigingen, vaak zelfs maar een deel van een bestand dus, omdat het in stukken gehakt wordt.

Het lijkt mij niet dat je backups in de auto wilt bewaren... maak op zn minst gebruik van sowieso 1 echte off-site back-up.

[WouterG]

Misschien lees ik er overheen maar heb je al gekeken of je met een undele programma nog data terug kunt halen? Extundelete misschien? Ik heb er geen ervaring mee overigens.

[Renault]

Heb je al eens de Smart-data van de schijven bekeken?

[Josefien]

Ik moet er later naar kijken, die Meld-actie is nog steeds niet klaar. En ikzelf lig plots ziek wakker In 3 uur tijd van alleen stevige keelpijn naar rillingen, koorts, spierpijn en hoofdpijn. Lijkt op griep


Wat gebeurt er dan met de unsupported bestandstypes via WebDAV? En de gelockte bestanden als er gebruikers actief zijn.

SMART data is oké, waa een v/d eerste dingen waar ik naar keek. Geen bad/reallocated sectors.

De auto is de enige manier voor "off-site". Ik heb niemand waar ik regelmatig een schijf kan droppen en weer ophalen. Een draaiend systeem al helemaal niet. De auto is op diefstal na eigenlijk een best veilige optie, hij staat ver genoeg v/d woning af om bijv. brand te kunnen overleven. Schokken en temperatuurschommelingen zijn geen probleem, de schijven doen het na 5 jaar nog prima

[ Voor 6% gewijzigd door Josefien op 15-02-2018 03:50 ]

[unezra]

DukeBox schreef op woensdag 14 februari 2018 @ 22:28:
[...]

fyi, met rsync kan je ook versioning doen

rsync slaat geen binary delta's op én je files worden niet immutable zoals met snapshots wel het geval.

Nadeel van geen binary delta's is dat als je bijvoorbeeld 2x een bestand op slaat van 10MByte, je 20MByte ruimte in beslag neemt ook al is er maar 1 byte veranderd. Met snapshots kost het ongeveer 1 byte.

Het niet immutable zijn heeft een ander nadeel: In geval van malware, raakt ook je kopie corrupt. Det helpt dus eignelijk alleen tegen zeer beperkte vormen van user f*ckup. Snapshots helpen wél tegen malware, omdat malware de snapshots niet kan aantasten.

[Josefien]

Meld is ermee gestopt tijdens het comparen... misschien toch teveel bestanden...

Welke andere tool kan ik gebruiken voor het comparen? En dan zoek ik eigenlijk een tool die niet de inhoud van de bestanden gaat checken, maar alleen laat zien waar een bestand/map ontbreekt. Het moet op Linux draaien.

Zoeken op "Ubuntu compare directories" levert alleen Meld en vergekijkbare tools op, al dan niet CLI, die de inhoud v/d bestanden zelf gaat lopen vergelijken. En dat wil ik niet, duurt onnodig lang, het programma crasht zonder gedane zaken. Ik wil alleen maar weten in welke directory welke bestanden missen, in een GUI.

Zonder een bruikbare tool kan ik niet herstellen v/d back-up, ik kan niet alles blindelings gaan overschrijven met een oudere versie.

[DukeBox]

tldr:Dacht dat ik in het synology topic zat. TS heeft helemaal geen synology dus onderstaand is niet echt van toepassing.

unezra schreef op donderdag 15 februari 2018 @ 07:30:
rsync slaat geen binary delta's op én je files worden niet immutable zoals met snapshots wel het geval.

Klopt, al is voor binary delta's vaak eerder het filesystem wat de-duplicatie doet en niet de betreffende applicatie. Overigens kan het wel maar dan moet je data in een database constructie op gaan slaan.

Nadeel van geen binary delta's is dat als je bijvoorbeeld 2x een bestand op slaat van 10MByte, je 20MByte ruimte in beslag neemt ook al is er maar 1 byte veranderd. Met snapshots kost het ongeveer 1 byte.

Ik weet wel hoe het werkt, maar het was als reactie op je manier van backuppen naar een externe disk. Je geeft aan dat je niet meerdere versies kan bewaren maar in geval van incremental forever heb je vaak meer opties. Uiteraard heeft dit geen nut als het om alleen grote bestanden gaat (zoals sql dumps).

Het niet immutable zijn heeft een ander nadeel: In geval van malware, raakt ook je kopie corrupt. Det helpt dus eignelijk alleen tegen zeer beperkte vormen van user f*ckup. Snapshots helpen wél tegen malware, omdat malware de snapshots niet kan aantasten.

Dat hangt er vanaf hoe de snapshots werken.

Als de oorspronkelijke versie (kan zowel een bestand zijn maar ook een stuk block IO) bewaard wordt met daarna alleen de delta's dan gaat dat op maar wanneer je delta's bewaard tot aan de oorspronkelijke versie niet. In dat laatste geval heb je niets aan een alleen een vorige versie omdat die alleen de wijzigingen bevat. Beiden hebben voor en nadelen voornamelijk met betrekking tot performance en housekeeping.

Synology gebruikt geen van beiden maar doet snaps middels btrfs. Btrfs gebruikt geen delta's maar deelt de meta data. Ieder sub volume heeft zijn eigen 'view' op de data en kan binnen die view manipulaties bewaren/bijhouden. Je kan dus ook niet echt spreken van delta's om dat niemand het origineel heeft van de data. Daarom kan je ook snapshots (subvolumes) van snapshots (subvolumes) maken tot zover ik weet oneindig diep.

Om weer terug te komen op immutable, bij btrfs is dat ook niet het geval. De snapshots zijn gewoon subvolumes welke prima writable te maken zijn. Sterker nog, ik doe dat regelmatig als ik iets wil testen waar manipulatie van data noodzakelijk is maar ik het niet direct in mijn live data wil doen. (btrfs property set -ts /volume#/share/snapshot# ro false veranderen in btrfs property set -ts /volume#/share/snapshot# ro true)

Persoonlijk zou ik lokaal versioning backups doen middels snapshots en zoals je nu al doet een roulatie met externe HDD's als 'disaster recovery' (nog mooier zou een offsite snapshot sync zijn).

[ Voor 3% gewijzigd door DukeBox op 15-02-2018 10:25 ]