Tape backup, welk file format is toekomst bestendig? LTFS?

[Le Mol]

Beste mede-tweakers,

Ik heb afgelopen najaar een reburb LTO-6 drive gekocht en wat nieuwe tapes, om mijn prive backups zowel on als offsite te kunnen opslaan en relatief goedkoop meerdere tapes met de zelfde data te kunnen verspreiden. (Een LTO-6 tape kost nu iets van 35-40 euro voor 2,5TB, zonder compressie)

Als FS op de inmiddels gemaakte tapes heb ik voor LTFS gekozen, maar voor mijn gevoel begint de ondersteuning daarvoor af te brokkelen, zeker onder Windows. Met mijn vorige desktop onder win 10, liep het nog wel, maar onder Win 11 is het al wat meer gedoe. Ook IBM geeft aan er onder windows er mee op te houden. Is de HP versie compatible met IBM LTFS, als je een IBM/Quantum drive hebt? (Ik ben absoluut niet vies van Linux, draai het al meer als 20 jaar op m’n server(tjes), maar daar hangt de tapedrive nu niet aan, maar zou wel kunnen)

In welk tape format zouden jullie nu nieuwe tapes gaan maken?

De keus voor LTO-6 vs hoger was mijn afweging tussen aanschafkosten vd refurbed drives, de tape kosten en mijn backup volume behoefte, daarover hoeft dit topic wat mij betreft niet over te gaan.

[ Voor 9% gewijzigd door Le Mol op 30-05-2024 02:20 ]

[Snow_King]

De vraag die je jezelf moet stellen: Over hoe veel jaar wil je een oude tape nog kunnen lezen?

Want als dat punt ver in de toekomst ligt zou ik kiezen voor een stuk hardware (lees: pc) die je tapedrive kan aansturen en daarbij ook de software veilig stellen om het uit te lezen.

Dan maakt het weinig uit welk format het is, jij kan het namelijk nog uitlezen. Ook in 2040 met een Windows 10 PC als voorbeeld.

[The_Doman]

Snow_King schreef op donderdag 30 mei 2024 @ 06:41:
Dan maakt het weinig uit welk format het is, jij kan het namelijk nog uitlezen. Ook in 2040 met een Windows 10 PC als voorbeeld.

Als je dan nog een goed werkende tape drive hebt natuurlijk.

Net zoals met oude videobanden, goed werkende afspeelapparatuur vinden wordt steeds lastiger op lange termijn.

[Kalculon]

Over 20 jaar een oude Windows op een oude PC kan natuurlijk, maar dan moet je die ook goed bewaren, alsmede de tapedrive zelf en heb je daar ook eigenlijk weer backups van nodig.

Voor de software (en dus ook driver) ondersteuning hoef je je met Linux weinig zorgen te maken.

Wel opletten met de adapterkaart. Maar ook daarvoor kan je nu kijken naar wat er momenteel nog op de markt is aan 20 jaar oude hardware om een inschatting te kunnen maken.

Daarnaast, als het je echt gaat om lange termijn opslag, zal je kunnen nadenken over het tussentijds overstappen naar andere opslag als deze beschikbaar komt.

[ymoona]

Is het niet makkelijker en goedkoper om gewone sata schijven te gebruiken? Een 4TB kost 100 euro en heeft geen extra lezer nodig.

[GarBaGe]

Wat voor functionaliteit heb je nodig van je tape filesysteem?
Als je low-level Linux tar direct naar tape stuurt, dan kan je dat gegarandeert over 40 jaar nog steeds lezen op die manier.

Ik ken LTFS niet, maar lees net: "While LTFS can make a tape appear to behave like a disk, it does not change the fundamentally sequential nature of tape"
Ziet er naar uit dat LTFS vooral interessant is al je regelmatiger leest en schrijft naar tape.
Maar dump je 1 archief naar tape en "that's it", dan heb je geen LTFS nodig.

[ Voor 46% gewijzigd door GarBaGe op 30-05-2024 10:23 ]

[Kalculon]

ymoona schreef op donderdag 30 mei 2024 @ 10:19:
Is het niet makkelijker en goedkoper om gewone sata schijven te gebruiken? Een 4TB kost 100 euro en heeft geen extra lezer nodig.

Duurder en veel minder betrouwbaar

[Le Mol]

Bedankt voor de antwoorden, de reden voor de mijn keus voor LTFS was dat je de tape dan gewoon als drive ziet en via de verkenner (of bijvoorbeeld terracopy) kan vullen, zonder gebruik te maken van property backup software.

Ook bij gebruik van LTFS blijft tape zeker een sequentieel medium, je kunt aan de root fijn mappen toevoegen blijven toevoegen, maar een los bestandje ergens in een sub-sub-sub dir etc opzoeken is vrij kansloos, dan staat de tape drive vele minuten heen en weer te spoolen. Als je zou willen recoveren, spool je toch liever een complete tape terug naar een disk, en zoek dan daar verder in, naar je bestand(en).

Tape is voor mij vooral als laatste recovery middel, bijvoorbeeld mocht hier onverhoopt alles afbranden. Lokaal heb ik ook wel offline harddisk backups van de belangrijke data, goed voor buiten die situatie.

Ik had vooral ook op een antwoord gehoopt hoe de HP en IBM LTFS implementaties zich tot elkaar verhouden.

[ Voor 5% gewijzigd door Le Mol op 01-06-2024 02:18 ]

[Snow_King]

Le Mol schreef op zaterdag 1 juni 2024 @ 02:11:
Tape is voor mij vooral als laatste recovery middel, bijvoorbeeld mocht hier onverhoopt alles afbranden. Lokaal heb ik ook wel offline harddisk backups van de belangrijke data, goed voor buiten die situatie.

Ik had vooral ook op een antwoord gehoopt hoe de HP en IBM LTFS implementaties zich tot elkaar verhouden.

Op de laatste vraag ga je denk ik beperkt antwoord krijgen. Tape wordt steeds minder gebruikt en dan ook nog eens met LTFS.

Om hoe veel data praten we nu echt die je moet backuppen? Is een cloud storage zoals Storj.io niet al voldoende? Of toch idd een paar HDD's die je af en toe even aan zet.

[99ruud99]

Bij het Nationaal Archief hebben ze deze formaten bepaald.

https://www.nationaalarch...k/lijst-voorkeursformaten

Als mensen die erboor gestudeerd hebben dit al bepaald hebben zou ik niet zelf het wiel opnieuw uitvinden.

[ Voor 54% gewijzigd door 99ruud99 op 01-06-2024 07:32 ]

[sh4d0wman]

Bluray bd-r/M-Disc nog een idee? Dat kan ook lange tijd mee. Maar geen idee over wat voor / hoe veel data we praten. Ik heb wel tapes opgegeten zien worden dus je moet dan ook daar meerdere versies van aanhouden.

[_JGC_]

sh4d0wman schreef op zaterdag 1 juni 2024 @ 07:34:
Bluray bd-r/M-Disc nog een idee? Dat kan ook lange tijd mee. Maar geen idee over wat voor / hoe veel data we praten. Ik heb wel tapes opgegeten zien worden dus je moet dan ook daar meerdere versies van aanhouden.

Opgegeten? Bij de DDS was dat idd een probleem, bij LTO nog nooit een falende tape meegemaakt. Voordeel van LTO is ook dat een latere generatie de eerdere versies nog kan lezen in bepaald opzicht (zitten wel beperkingen aan, met name LTO1 is problematisch, edit: 2 generaties terug lezen, vanaf LTO8 maar 1 generatie, so far backwards compatibiliteit...).

Tapes kan je overigens ook partitioneren. Ik heb ooit een tool gebruikt die een DDS tape in 2 stukken deelde, een stuk voor de index en een stuk voor de backup. Met behulp van de index kon je dan gericht de tape naar een bepaald stuk laten seeken, was stukken sneller dan de hele tar afspelen tot je bestandje voorbij kwam.

[ Voor 5% gewijzigd door _JGC_ op 01-06-2024 14:31 ]

[DeBolle]

Le Mol schreef op donderdag 30 mei 2024 @ 02:12:
In welk tape format zouden jullie nu nieuwe tapes gaan maken?

tar

Ervaring met tape/drives sinds 1983 en een van de weinige utils die altijd zijn gebleven tot en met heden is tar.
In de jaren 90 had SCO (ja, die) een tijdje hun system tapes in cpio, maar dat is nooit aangeslagen.

HP maakt HP-UX Ignite tapes met tar, IBM hun mksysb doet tar. Tapes van een Legato en Netbackup backupservers kunnen uitgelezen worden met tar, zodat je een DR oplossing hebt zonder hun software eerst te moeten installeren.

Zelfs Windows heeft tegenwoordig standaard tar aan boord (voorheen pax in de NT4 wereld).
Met een LTO-6 drive haal je ijzingwekkende transfersnelheden met tar & de hardware compressie ingeschakeld ( > 800 MB/sec op FC drives), met een SAS interface zul je iets minder halen ( 500 MB/sec).

LTFS lijkt een verdere ontwikkeling van oude shareware utils voor DDS/DAT tapes, waarbij inderdaad de tapedrive als een filesystem gemount kon worden. Propietary, dus onbruikbaar als je de software niet meer hebt en eerst moet installeren.

Een tar tape kun je verifieren door het te lezen, hoe doe je dat met LTFS?
Werkt de hardware compressie van de drive met LTFS?
Hoe voorkom je shoeshining met LTFS?

[Le Mol]

sh4d0wman schreef op zaterdag 1 juni 2024 @ 07:34:
Bluray bd-r/M-Disc nog een idee? Dat kan ook lange tijd mee. Maar geen idee over wat voor / hoe veel data we praten. Ik heb wel tapes opgegeten zien worden dus je moet dan ook daar meerdere versies van aanhouden.

MDisk is een leuk initiatief van een toko die verbatim uiteindelijk opgekocht heeft, maar gaat tot max 100GB op 1 disk en is echt als archief opslag bedoeld en dus ook maar 1 keer schrijfbaar, tapes kan je prima hergebruiken met een volgende iteratie van je data/backup.

Per 100gb disk kost MDisk iets van ruwweg 20 euro. Voor m’n LTO-6 drive zitten de kosten op 35 a 40 euro per 2.5tb.

Ik heb zelfs een Mdisk compatible dvd-rw drive in mijn systeem zitten, maar zie dit niet als heel zinnige frequente 2de laags backup tov tape, vooral door de hoge media kosten.

Voor data de je echt wil archiveren zou het een idee kunnen zijn, maar dan moet je minimaal 2 kopieën maken of 4 en ze verspreiden.

[ Voor 7% gewijzigd door Le Mol op 02-06-2024 02:57 ]

[Le Mol]

DeBolle schreef op zaterdag 1 juni 2024 @ 15:40:
[...]


tar

Ervaring met tape/drives sinds 1983 en een van de weinige utils die altijd zijn gebleven tot en met heden is tar.
In de jaren 90 had SCO (ja, die) een tijdje hun system tapes in cpio, maar dat is nooit aangeslagen.

HP maakt HP-UX Ignite tapes met tar, IBM hun mksysb doet tar. Tapes van een Legato en Netbackup backupservers kunnen uitgelezen worden met tar, zodat je een DR oplossing hebt zonder hun software eerst te moeten installeren.

Zelfs Windows heeft tegenwoordig standaard tar aan boord (voorheen pax in de NT4 wereld).
Met een LTO-6 drive haal je ijzingwekkende transfersnelheden met tar & de hardware compressie ingeschakeld ( > 800 MB/sec op FC drives), met een SAS interface zul je iets minder halen ( 500 MB/sec).

LTFS lijkt een verdere ontwikkeling van oude shareware utils voor DDS/DAT tapes, waarbij inderdaad de tapedrive als een filesystem gemount kon worden. Propietary, dus onbruikbaar als je de software niet meer hebt en eerst moet installeren.

Een tar tape kun je verifieren door het te lezen, hoe doe je dat met LTFS?
Werkt de hardware compressie van de drive met LTFS?
Hoe voorkom je shoeshining met LTFS?

LTFS ondersteund ook verificatie en compressie en zolang je de tape vult vanaf een ‘disk’drive die voldoende snelheid heeft bij het lezen, gaat die niet staan shoeshinen/poetsen. Terug lezen kan per losse file, maar dat is vrij kansloos, zoals ik eerder aangaf, dan gaat de tape drive eindeloos zoeken/poetsen/shoeshinen per sub map, of hoe je het ook wil noemen. Dat moet gewoon per hele tape doen, net als bij tar.

Ik heb eerder deze avond onder windows 11, met tar mn tape drive proberen te benaderen (bsdtar zit in het subystem), alleen die kan Tape0 (of \\Tape0 & \\.\Tape0, zowel met als zonder hoofdletter T) niet benaderen, terwijl apparaatbeheer wel aangeeft dat de drive als canolianname Tape0 heeft.

En googlen geeft helaas ook verder geen hints, hoe die drive wel aangesproken moet worden, iemand hier een idee?

[Le Mol]

99ruud99 schreef op zaterdag 1 juni 2024 @ 07:31:
Bij het Nationaal Archief hebben ze deze formaten bepaald.

https://www.nationaalarch...k/lijst-voorkeursformaten

Als mensen die erboor gestudeerd hebben dit al bepaald hebben zou ik niet zelf het wiel opnieuw uitvinden.

Bedankt voor de reactie, maar daar kan ik niets vinden over tape opslag formaten, zover ik kan zien of kijk ik niet goed?