Ransomware veilige opzet voor een FreeNAS ZFS opstelling

[MainframeX]

Hoi,

Ik speel al een tijdje met de gedachte om mijn FreeNAS ZFS nas opstelling op te waarderen naar iets dat meer bestand is tegen ransomware en calamiteiten zoals het volledig uitbranden van mijn huis.

Nu heb ik een Dell r720xd met flink wat schijfruimte tot mijn beschikking en de mogelijkheid om dit buitenshuis te hosten. Dat opent wat deuren om het wat grondiger en beter aan te pakken .

Huidige opzet is:

Enkele FreeNAS installatie op een HP microserver met in een Raid z2 opstelling. Op deze installatie zit een enkele pool met een Samba/CIFS share voor toegang vanaf Windows systemen. Op de pool staan dagelijkse, naar ook wekelijkse snapshots ingesteld met een looptijd van een maand.

Mijn geplande nieuwe opzet is:

Eerdergenoemde FreeNAS installatie met incrementele backups naar de r720xd middels rsnapshot. Op deze r720xd staat Proxmox geïnstalleerd met een backup VM. De backup VM heeft een mount naar de hdd storage (welke heel toevallig net zo groot is als mijn FreeNAS pool ).

Het rottige aan deze opstelling is dat ik rsnaphot dus in een jail moet draaien en dat naar mijn ervaring FreeNAS jails niet altijd even robuust zijn. De r720xd bevat een raid controller kaart welke geen passthrough en/of HBA modus ondersteund. Hierdoor is het minder mooi om bijvoorbeeld ZFS te draaien omdat de hardware omsloten is door de raid controller en een eventuele FreeNAS VM één enkele disk gepresenteerd krijgt.

Kleine ransomware mitigatie/alarmering bonus:

Ik zit er ook aan te denken om iets aan alarmering te doen op moment dat het mis gaat. Het idee dat ik hiervoor heb is als volgt; Ik wil op verschillende plekken in FreeNAS pool soort "canary files" plaatsen welke een string bevatten die ik kan controleren door bijv. een Raspberry Pi elders op het netwerk. Deze files hebben allemaal gunstige namen zoals "00000AAAAA.txt" (en evt 99999ZZZZZ.txt voor de aanvallers die het andersom doen) zodat deze als eerste in een directory stat worden getoond. Zodoende zou dat dus de eerste file moeten zijn die versleuteld zou worden in een ransomware aanval. Indien deze check getriggerd wordt krijg ik middels een pushbericht alarmering op mijn telefoon. Evenueel zou ik hier nog een killswitch achter kunnen zetten die m'n router en/of NAS uitschakeld/onklaar maakt.

Mijn vraag is wat zijn jullie ideeën hierover? Is dit een beetje een deugdelijke opstelling? Zien jullie hier grote risico's in of zie ik dingen over het hoofd? Ik begin zo langzamerhand steeds meer belangrijke data te vergaren en met de enorme toename van ransomware aanvallen stelt de huidige opstelling me weinig gerust. Jullie input wordt zeer gewaardeerd!

[Renault]

Je enige failsafe methode is m.i. om periodieke handmatige backups te maken op een niet online toegankelijk en veilig (extern dus) opgeslagen medium. Als je dat bv. elk kwartaal doet, omzeil je door dat interval te kiezen met grote zekerheid de huidige "incubatietijd" van een ransomware besmettting. Je vermeld helaas niet je totale hoeveelheid belangrijke data, zodat de haalbaarheid van dit plan daaraan niet is te toetsen.
De tussenliggende tijd tussen de voornoemde full backups zou je kunnen opvullen met versleutelde incremental backups naar een exerne NAS of clouddienst: bij op de achtergrond uitgevoerde incremental backups is de transfersnelheid van minder belang door de zeer beperkte dagelijkse omvang.
Je zou dit plan zonder bezwaar kunnen uitvoeren parallel aan de huidige werkwijze.

Maar de basis voor succesvolle uitvoering, is het eenmalig uitproberen en goed documenteren van een succesvolle full restore met toevoeging van alle incrementals tot aan het besmettingstijdstip.

[MainframeX]

@Renault Bedankt voor je reactie!

De omvang van de dataset is nu nog vrij klein met 2TB in gebruik. De totale omvang van de pool is 5TB. De periodieke offline backup plan die je voorsteld is dus goed te realiseren zonder heel kostbaar te zijn. Ik zou bijvoorbeeld iedere kwartaal een schijf van 5TB aan de FreeNAS host kunnen hangen en deze na kopiëren weer loskoppelen om zo een offline backup te hebben.

Met incubatie tijd bedoel je de vertraagde aanvallen waarbij ze in een periode van 2 maanden o.i.d. alle bestanden versleutelen? Er zijn gevallen geweest waarbij ze de besmette systemen d.m.v. inflight decryptie de bestanden onversleuteld serveren. Het idee van de "canary files" is bedacht als eerste waarschuwing hiervan. Op de besmette Windows client zou ik de besmetting niet opmerken maar de Raspberry Pi die de canary files controleert wel. Ik zou de Raspberry dusdanig kunnen dichttimmeren dat je inkomend vanaf het netwerk er nooit in kunt, maar wel uitgaand vanaf de Pi om de controles uit te voeren.

[Renault]

Ja, dat bedoelde ik.
Met 5 TB kan je nog backups op externe schijven maken.
Omdat die dingen niet héél duur zijn, zou je twee externe schijven kunnen afwisselen, zodat je in nood een half jaar terug kunt. Ik doe dat zelf ook en ik laat via Duplicati2 elke dag versleutelde incrementals maken naar een gratis clouddienst. Zo kan ik altijd een half jaar terug, met de incrementals erbij terug tot aan de dag van de besmetting. En zo'n full backup is niet veel werk: aansluiten, aanzetten en na afronding weer afkoppelen.
Het is een goede gewoonte om voor het backuppen alle media (originele opslagplek en backupdisk) te controleren op consistentie en besmetting.

[Rannasha]

Maak je gebruik van de snapshot functionaliteit van ZFS? Want die kun je in principe ook als ransomware-canary gebruiken.

ZFS snapshots nemen geen ruimte in (behalve een klein beetje metadata) zolang de onderliggende data niet is gewijzigd. Pas als de bestanden in de snapshot gewijzigd (of verwijderd) worden, gaat de snapshot ruimte innemen. Je kunt de omvang van het snapshot dus gebruiken als een meting van de mate waarin de data verandert is ten opzichte van het moment dat de snapshot is genomen.

code:

zfs list -t snapshot

Met bovenstaande opdracht krijg je een overzicht van al je snapshots en de ruimte die ze innemen (kolom "USED").

[Q]

MainframeX schreef op zondag 23 augustus 2020 @ 14:48:
Mijn vraag is wat zijn jullie ideeën hierover? Is dit een beetje een deugdelijke opstelling? Zien jullie hier grote risico's in of zie ik dingen over het hoofd? Ik begin zo langzamerhand steeds meer belangrijke data te vergaren en met de enorme toename van ransomware aanvallen stelt de huidige opstelling me weinig gerust. Jullie input wordt zeer gewaardeerd!

Ik heb het idee dat je het leuk vind om een setup als deze te bouwen en ik lees niets verkeerds. Je hebt de kennis en het lijkt er op dat je ook de tijd wil besteden om alles goed aan te pakken.

Cryptolocker decectie is een leuk projectje, de impact is duidelijk, maar de kans niet. Wat is werkelijk het risico dat cryptolocker bij jou binnenshuis toeslaat, zeker met jouw kennis? Ik kan me voorstellen dat een echtgenoot of kinderen die minder handig zijn misschien een risico vormen, maar hoe groot is dat risico?

Als je het ook gewoon conform de eerdere context een leuke hobby/uitdaging vind om dit op te zetten, dan is dat prima natuurlijk, maar ik vraag me af hoe groot het risico werkelijk is voor jou (en je eventuele gezin).

Een (betaalde) cloud-backup oplossing is natuurlijk niet zo leuk om te bouwen en kost ook maandelijks geld. Maar het bespaard je tijd en je hoeft niet doorlopend sysadmin thuis te spelen. Een cloud-oplossing dekt al je risico's denk ik voldoende af.

Afhankelijk van de oplosing - maar dit hangt af van context - hoeven gezindsleden geen beroep op je te doen en kunnen ze zelfstandig data terug zetten als dat nodig is, alhoewel ik niet weet of dat iets is wat ze al kunnen.

Persoonlijk zou ik altijd mensen als stap 1 een cloud-backup-dienst aanraden en daar bovenop dan extra bescherming te bouwen, zodat je wat sneller weer bij je data kunt (internet is niet altijd even snel).

De r720xd is een leuk doosje, kun je dat allemaal gratis ergens ophangen voor de lange termijn of zitten daar ook kosten aan verbonden? Want dat zou je ook al weg kunnen strepen tegen een cloud backup dienst.

Dat alles gezegd hebbende zou ik gewoon op de r720xd de individuele schijven in een RAID 0 stoppen en aan ZFS geven (die er dan een RAIDZ(2) van maakt. Dat maakt de setup niet makkelijk over te zetten naar andere hardware, maar dit is een DR oplossing en dus minder kritisch (alleen nodig bij brand of diefstal).

Met ZFS send kun je dan leuk snapshots overzetten, er zijn genoeg scriptjes voor om dat te regelen.

De vraag is hoe complex je de setup wilt maken, hoeveel beheer je verwacht en wat de maandelijkse kosten mogen zijn.

[ Voor 4% gewijzigd door Q op 23-08-2020 23:13 ]

[MainframeX]

Renault schreef op zondag 23 augustus 2020 @ 22:57:
Ja, dat bedoelde ik.
Met 5 TB kan je nog backups op externe schijven maken.
Omdat die dingen niet héél duur zijn, zou je twee externe schijven kunnen afwisselen, zodat je in nood een half jaar terug kunt. Ik doe dat zelf ook en ik laat via Duplicati2 elke dag versleutelde incrementals maken naar een gratis clouddienst. Zo kan ik altijd een half jaar terug, met de incrementals erbij terug tot aan de dag van de besmetting. En zo'n full backup is niet veel werk: aansluiten, aanzetten en na afronding weer afkoppelen.
Het is een goede gewoonte om voor het backuppen alle media (originele opslagplek en backupdisk) te controleren op consistentie en besmetting.

Het idee van de incrementals (welke dus in de regel klein zijn) op een goedkope clouddienst te laten landen vind ik wel interessant. Ik heb even in de handleiding van duplicati gekeken en het lijkt er op dat deze incrementals maakt op file niveau i.p.v. block niveau. Op deze manier kan je dus een kopie van je data naar de schijf trekken en laat je duplicati incrementals maken van de storage pool die in de server zit. Ik zal er eens induiken hoe dat precies werkt.

Rannasha schreef op zondag 23 augustus 2020 @ 23:06:
Maak je gebruik van de snapshot functionaliteit van ZFS? Want die kun je in principe ook als ransomware-canary gebruiken.

ZFS snapshots nemen geen ruimte in (behalve een klein beetje metadata) zolang de onderliggende data niet is gewijzigd. Pas als de bestanden in de snapshot gewijzigd (of verwijderd) worden, gaat de snapshot ruimte innemen. Je kunt de omvang van het snapshot dus gebruiken als een meting van de mate waarin de data verandert is ten opzichte van het moment dat de snapshot is genomen.

code:

zfs list -t snapshot

Met bovenstaande opdracht krijg je een overzicht van al je snapshots en de ruimte die ze innemen (kolom "USED").

Ik gebruik ZFS snapshots. Ik zou inderdaad daar ook op kunnen monitoren. Ik zal eens nadenken hoe ik dat het beste kan doen. Mogelijk bevat het REFER kolom ook nog zinvolle data maar ik moet even kijken wat dat precies inhoud en hoe ZFS tot die getallen komt.

Q schreef op zondag 23 augustus 2020 @ 23:11:
[...]


Ik heb het idee dat je het leuk vind om een setup als deze te bouwen en ik lees niets verkeerds. Je hebt de kennis en het lijkt er op dat je ook de tijd wil besteden om alles goed aan te pakken.

Cryptolocker decectie is een leuk projectje, de impact is duidelijk, maar de kans niet. Wat is werkelijk het risico dat cryptolocker bij jou binnenshuis toeslaat, zeker met jouw kennis? Ik kan me voorstellen dat een echtgenoot of kinderen die minder handig zijn misschien een risico vormen, maar hoe groot is dat risico?

Als je het ook gewoon conform de eerdere context een leuke hobby/uitdaging vind om dit op te zetten, dan is dat prima natuurlijk, maar ik vraag me af hoe groot het risico werkelijk is voor jou (en je eventuele gezin).

De kans dat ik het zelf veroorzaak acht ik zeer klein tot niet aanwezig. Ik werk zelf in de IT (met name managed services) en ben door de aard van m'n werk erg voorzichtig. Mijn vriendin gebruikt de share op de NAS ook (hoofdzakelijk zelfs). Het probleem bij haar is dat ze een typische gebruiker is; ze weet in principe haar weg met de computer wel en krijgt er vanalles mee gedaan. Ze kent redelijk de risico's van bijlagen in mail, rare sites e.d. Waar het bij haar mis gaat is dat ze een enorme hekel heeft aan updaten en de veranderingen/storingen die het soms te weeg brengt. Ze heeft er dus een handje van om de updates tot in de einde der tijd uit te stellen en ik krijg het haar niet afgeleerd. Nu maak ik het nog een beetje goed door affentoe haar laptop te pakken en de boel te updaten maar het blijft naar mijn inzien een risico.

Een (betaalde) cloud-backup oplossing is natuurlijk niet zo leuk om te bouwen en kost ook maandelijks geld. Maar het bespaard je tijd en je hoeft niet doorlopend sysadmin thuis te spelen. Een cloud-oplossing dekt al je risico's denk ik voldoende af.

Afhankelijk van de oplossing - maar dit hangt af van context - hoeven gezindsleden geen beroep op je te doen en kunnen ze zelfstandig data terug zetten als dat nodig is, alhoewel ik niet weet of dat iets is wat ze al kunnen.

Persoonlijk zou ik altijd mensen als stap 1 een cloud-backup-dienst aanraden en daar bovenop dan extra bescherming te bouwen, zodat je wat sneller weer bij je data kunt (internet is niet altijd even snel).

De r720xd is een leuk doosje, kun je dat allemaal gratis ergens ophangen voor de lange termijn of zitten daar ook kosten aan verbonden? Want dat zou je ook al weg kunnen strepen tegen een cloud backup dienst.

De r720xd kan ik kosteloos ergens ophangen. Clouddiensten heb ik een tijdje terug naar gekeken. Bij bijvoorbeeld backblaze vond ik het al gauw kostbaar worden zodra je een beetje zekerheid wilt. Dit kan ondertussen veranderd zijn. Wellicht de moeite waard om daar weer eens in te duiken.

Dat alles gezegd hebbende zou ik gewoon op de r720xd de individuele schijven in een RAID 0 stoppen en aan ZFS geven (die er dan een RAIDZ(2) van maakt. Dat maakt de setup niet makkelijk over te zetten naar andere hardware, maar dit is een DR oplossing en dus minder kritisch (alleen nodig bij brand of diefstal).

Met ZFS send kun je dan leuk snapshots overzetten, er zijn genoeg scriptjes voor om dat te regelen.

De vraag is hoe complex je de setup wilt maken, hoeveel beheer je verwacht en wat de maandelijkse kosten mogen zijn.

Daar zeg je nog eens wat. Ik zal eens kijken of er bijzondere zaken zijn waar ik rekening moet houden als ZFS combineer met raid op deze manier. Het zou het over kopiëren van snapshot data in ieder geval een stuk simpeler maken.

Het mag wel wat kosten als het set and forget is. Qua beheer verwacht ik niet meer dan een kwartiertje ofzo per maand bezig te zijn. Onderhoud kan ik eventueel scripten, dan blijft alleen het wisselen van de fysieke schijf over als ik @Renault's offline backup plan volg.

[Q]

Dat je de Dell gratis op kan hangen is natuurlijk erg mooi, daar kan weinig tegen op. Ik betaal zelf 60 euro per jaar voor Backblaze, Dat is 5 euro per maand.

[MainframeX]

Q schreef op maandag 24 augustus 2020 @ 13:47:
Dat je de Dell gratis op kan hangen is natuurlijk erg mooi, daar kan weinig tegen op. Ik betaal zelf 60 euro per jaar voor Backblaze, Dat is 5 euro per maand.

Nou ben ik dus even in Backblaze gedoken en vind ik dat ook wel een hele aantrekkelijke optie. €5 per maand vind ik echt een schijntje en ze hebben ook nog een nieuwe feature uitgebracht:

"NEW FEATURE
Keep your old files versions for 1-Year or Forever

Backblaze keeps old file versions and deleted files for 30-days.
Now you can extend that time up to 1-Year for an additional $2/Month."

Dus voor €7 heb ik alle versies van mijn data gespiegeld staan bij Backblaze. Ik ga er van de week even voor zitten om te kijken of ik dat rechtstreeks vanaf Freenas kan draaien of dat ik dit vanaf de Dell kan draaien.

[Q]

@MainframeX Zo kijk ik er - qua kosten - ook tegenaan. Backblaze voor consumenten werkt alleen op Windows en Mac. Je kunt geen backups maken van netwerk shares (maar wel van iSCSI volumes en USB schijven). Ik zou zelf backblaze op de client draaien als dat kan.

Het alternatief is B2B wat met alle besturingssystemen gebruikt kan worden maar dat is duurder.

[MainframeX]

Q schreef op dinsdag 25 augustus 2020 @ 22:05:
@MainframeX Zo kijk ik er - qua kosten - ook tegenaan. Backblaze voor consumenten werkt alleen op Windows en Mac. Je kunt geen backups maken van netwerk shares (maar wel van iSCSI volumes en USB schijven). Ik zou zelf backblaze op de client draaien als dat kan.

Ik zou eventueel wat met tgtd op Freenas/linux en een Windows VM op de Dell in elkaar kunnen prutsen . De Windows VM houdt ik dan wel gewoon up to date met Ansible en WinRM dus daar zal ik ook niet zoveel werk aan hebben tenzij Microsoft een foutje maakt

[Q]

Tja, als de data op de Dell staat ben je al klaar, geen noodzaak voor Backblaze den ik.