Het grote mappenstructuur-topic

[Sando]

Sommige computergebruikers spelen alleen games. Anderen zijn schrijven stukjes, ontwerpen documenten, maken foto's, maken websites, programmeren software, maken videos, of hebben projecten met terabytes aan big data thuis opgeslagen. De hoeveelheid data die iemand produceert is erg variabel. Wat is nu een goede manier om dit allemaal op te slaan?

Iemand die minder data produceert ziet misschien minder nut in deze vraag. Ik ken mensen met een Bureaublad vol mappen. Anderen moeten soms flink zoeken in Mijn Documenten om iets van vorig jaar terug te vinden. Weer iemand anders houdt al 25 jaar lang methodisch een archief van projecten bij. De ordelijkheid van de data die men produceert is ook erg variabel.

Persoonlijk heb ik het gevoel dat ik al 10 jaar aan het sorteren en ordenen ben, en ik ben steeds maar niet tevreden, dus doe ik het weer anders en staat alles alsnog voor elkaar. Dus ik vroeg een paar vrienden hoe zij het doen, en kwam er achter dat eigenlijk niemand van mijn vrienden tevreden is met zijn/haar methode en vaak ook niet tevreden zijn met hun back-up strategie (als ze die al hebben).

Daarom de vraag, opdat wij allemaal van elkaar kunnen leren: Welke mappenstructuur hanteer jij eigenlijk?

Er zijn twee complicerende factoren waardoor je misschien niet alles daar neer kunt zetten waar je zou willen. Ten eerste, als je wat meer data produceert, bijvoorbeeld door - ik zeg maar wat - je hobby of werk als RAW-fotograaf en het maken van mountainbike videomontages, dan heb je waarschijnlijk opslag op twee of meer niveaus:

1. NVMe SSD - Supersnelle opslag voor de wat kleinere of recente projecten en documenten.
2. SATA SSD- of HDD-opslag, mogelijk in RAID. Trager maar groter. Voor je RAW-foto's bijvoorbeeld.
3. DAS of NAS, voor je video opnames en de multimedia die je consumeert.

Om die reden kan je niet alles in je home of Mijn Documenten zetten. Maar symbolic links naar alle verschillende locaties in Mijn Documenten is ook niet altijd een oplossing, vanwege de tweede complicerende factor: Verschillende bestanden hebben een verschillende back-up-strategie. Voor details heb je het grote Thematopic: Backups, maar het indelen van verschillende mappen als synchroniserende en back-uppende mappen zorgt dat je vanuit Mijn Documenten - die je misschien synchroniseert met al je computers - niet kunt linken naar je RAW foto's - die je automatisch periodiek back-upt - omdat de map met foto's veel te groot is om naar je laptop te synchroniseren.

Ik ben benieuwd of er mensen zijn die wel tevreden zijn met hun mapstructuur. Uit welke onderdelen bestaan jouw computerwerkzaamheden, en welke mappenstructuur hanteer jij daarbij?

[ Voor 194% gewijzigd door Sando op 29-04-2022 01:22 ]

[Sando]

Ik ben dus niet tevreden met mijn eigen indeling en hoop wat van dit topic te kunnen leren, maar ik moet natuurlijk zelf beginnen. Ik heb eigenlijk overal wel een mapje unsorted in staan, en ik gebruik om het nog iets verwarrender te maken Engels en Nederlands door elkaar.

• Documents (NVMe en Synced)
  • Apps (App-specifieke documenten)
  • Articles (Manuals, cheat sheets, e-books)
  • Business
    • Boekhouding
    • Contracten
    • Facturen in
    • Facturen uit
  • Incoming (ingescande post)
  • Notes (Archief van kladblok-ideeën en zettelkasten)
  • Others (ontvangen bestanden)
  • Outgoing (Brieven en te versturen post)
  • Personal
    • Finance
    • Insurance
    • Medical
  • src (recente programmeerprojecten die ik graag gesynced wil hebben)
  • unsorted (veel te grote map met oude meuk)
• /var/www (NVMe en Synced) (Nieuwe internet-projecten)
• Foto's (SATA en Back-upped offsite) (RAW foto's)
  • 2021
  • 2022
  • ... (een map per jaar)
• Projecten (SATA en Back-upped offsite)
  • Audio (Muziekopname's)
  • etc (Soort van unsorted)
  • Grafisch (Photoshop projecten)
  • Internet (Oude internet-projecten)
  • Programming (Oude programmeerprojecten die ik niet in de sync-map wil hebben staan)
  • src (Recente programmeerprojecten die te veel ruimte innemen voor de sync-map)
  • vagrant
• Video (NAS en Back-upped onsite)
  • archive (oude projecten)
  • Downloads (stock footage)
  • expo (geëxporteerde afgeronde videoprojecten)
  • Ore (oudere stock footage)
  • Others (projecten van anderen die ik moet graden oid)
  • Projects (alle video-related mappen die vroeger in "Projecten" stond maar die ik wegens ruimtegebrek hier heb gezet)
  • Video (Projecten)

Een pijnlijk slechte benadering waarop ik mezelf betrap is de strategie die elk jaar verandert met het voorgaande jaar in een mapje uitzoeken.

• uitzoeken2 - troep uit 2017
• uitzoeken 3 - troep uit 2018
• uitzoeken2019 - troep uit 2019

Om vervolgens elke uitzoeken een keer uit te zoeken en in het volgende mapje netjes te zetten, maar dat halverwege stoppen wegens teveel werk, waardoor de hele zooi, half uitgezocht en half onuitgezocht, in het volgende uitzoekenmapje komt.

Op een gegeven moment had ik zoveel duplicates ook, dat ik een keer met een script alle duplicates in mijn hele backuproot ging zoeken. Steekproefsgewijs verwijderde hij netjes de oude. Dus uitgevoerd. Bleek dat hij op een gegeven moment haast willekeurig duplicates ging verwijderen, dus nu zitten sommige bestanden van uitgezochte mappen alleen nog in de onuitgezochte mappen.

Ook ben ik door achterlijk gedoe wel eens wat kwijtgeraakt doordat ik dacht dat alles uitgezocht was en ik de oude mappen kon verwijderen, maar enkele voorheen duplicates stonden dus alleen nog in de oude map, en die had ik dan verwijderd.

Er moet toch een optimale slimme strategie zijn, voor zowel het ordenen van huidige projecten en oude projecten als het backuppen?

[macnerd]

Bekend probleem. Ook ik heb zat van die uitzoekmapjes en nooit tijd (en zin) om ze daadwerkelijk uit te zoeken.

Ik had ook een hoop kleinere externe schijven (van 500 MB, 1 TB, en 3 TB). Ik heb nu een paar grote harddisks (10 TB, 16 TB). Alle muziek staat nu bij elkaar en alle films/series staan nu bij elkaar. Dat ruimt al een heleboel op. Voor documenten heb ik een schijf van 5 TB.

In de toekomst wil ik een Document Management Systeem, echter ik heb nog niks gevonden wat voldoet aan mijn wensen (of het kan niet wat ik wil of het is gericht op grote bedrijven met navenante prijs). Ik vrees dat ik 'm zelf moet gaan bouwen

[dixet]

Of je vergeet mappen... en gebruikt een zoek/index.

Geef je je bestanden en documenten wel een zinvolle naam? Ik heb het logisch indelen in een mappenstructuur jaren geleden al opgegeven. Ik gebruik nog wel een grove indeling, maar hoe fijnmaziger je verdeling hoe lastiger bestanden op de juiste plek te zetten zijn - en weer terug te vinden.

Ik gebruik Powertoys Run in combinatie met de Everyting plugin en worstel nooit meer met mappen
Voorwaarde is wel dat je de bestanden een zinvolle naam geeft

[ Voor 5% gewijzigd door dixet op 03-05-2022 13:28 ]

[Sando]

macnerd schreef op dinsdag 3 mei 2022 @ 11:09:
Voor documenten heb ik een schijf van 5 TB.

Jij hebt een hoop documenten, of je hebt ook 10 jaar aan 600 DPI DTP designprojecten met assets in je Documenten staan.

In de toekomst wil ik een Document Management Systeem, echter ik heb nog niks gevonden wat voldoet aan mijn wensen

Ik heb in het verleden wel verschillende Digital Asset Management systemen gebruikt, en ik kan me voorstellen dat de frustraties bij een DMS het zelfde zijn: Het is niet portable en niet transparant.

Mooi dat de DAM automatisch je RAW foto's importeert en in een map met de importdatum als naam zet want dat gebruik je verder toch niet en je groepeert alles netjes in de DAM. Maar dan ga je verder vanaf een workstation waar de DAM niet op staat en dan zijn de mappen opeens heel onlogisch want je hebt 3 sd-kaartjes van het zelfde evenement op verschillende datums geïmporteerd. Dus zet je alles bij elkaar in het mapje evenementnaam maar dan is de DAM weer van slag.

Ook als je bijvoorbeeld van Windows naar Linux overstapt, of allebei tegelijk gaat gebruiken, dan zit de DAM opeens in de weg, en ben je gewoon een week bezig om de slimme DAM-imports logisch te ordenen.

Ik heb inmiddels wel voor mezelf besloten dat de mappenstructuur gewoon de "ground truth" moet zijn, en het liefst gebruik ik software dat gewoon direct op de mappen werkt (e.g. Exposure) in plaats van dat je assets ergens naartoe worden geïmporteerd (e.g. Lightroom iirc).

In de sidebar van mijn File Manager heb ik bookmarks (zoals "Boekhouding", "Facturen") en die link pas ik elk jaar aan naar het nieuwe jaargang (e.g. "~/Documents/Business/Financial/Invoices/2022")

[Sando]

dixet schreef op dinsdag 3 mei 2022 @ 13:28:
Of je vergeet mappen... en gebruikt een zoek/index.

Dat kan heel handing zijn, als je voornamelijk of exclusief op één dezelfde computer en één OS werkt. Maar persoonlijk vind ik dat niet portable genoeg.

Overigens, door je documenten op een NVMe te zetten gaat "gewoon" zoeken (zonder index) ook erg snel. Als je bestanden een zinvolle naam hebben inderdaad. Maar dan nog is het handig om alles ordentelijk te hebben opgeslagen, zodat je bijvoorbeeld zonder de boel uit te hoeven zoeken al je fotoprojecten van enkel 2022 naar je laptop kunt kopiëren.

Geef je je bestanden en documenten wel een zinvolle naam?

Sinds een jaar of twee wel, althans dat denk ik. Ik stop alles in jaarmappen en bestanden staan altijd op chronologische volgorde door te beginnen met yyyy-mm-dd in de naam. Geleerd van mijn fotocamera.

[ Voor 22% gewijzigd door Sando op 03-05-2022 13:37 ]

[HKLM_]

Ik knal al een aantal jaar alles in sharepoint met de metadata.

[Sando]

@Ferruginous Hwk schreef op dinsdag 3 mei 2022 @ 18:07:

Zelf ben ik qua mappenstructuur vorig jaar begonnen met PARA.
https://fortelabs.co/blog/para/

Dit is sowieso interessant om te lezen. Maar het is mij nog wel wat abstract. Want in grote lijnen doe ik dit eigenlijk al, maar de moeilijkheden die ik tegenkom komen niet aan bod:

• Hoe ga je om met verschillende backup-policies (lees: backup-roots) binnen één project?
• Hoe verdeel je bestanden van grote projecten logisch over snelle kleine en langzame grote storage?
• Op welk "niveau" maak je een archief?
• Hoe ziet een concrete voorbeeld-mappenstructuur eruit?

Als er nog meer van dit soort (uitgebreide) methodieken zijn specifiek voor bestandsbeheer, dan lees ik ze graag om extra inspiratie op te doen.

@Anoniem: 674295 schreef op woensdag 4 mei 2022 @ 06:48:

Op de PC (...) word /home ge-rsynced naar /storage/home (en de rest naar /storage/backup/).

De NAS is verdeeld in twee pools: storage (4 disk raidz1) en backup (1 disk, stripe).
[Mappen] onder /storage worden ge-rsynced naar /backup/local/+ (+= mapnaam).

Heb je dan een /storage op zowel je PC als je NAS, of wordt PC:/home ge-rsynced naar NAS:/storage/home?

Dankzij de snapshots van zfs (elk uur, elke dag of welke week, (respectievelijk /storage, /backup/local en /backup/remote) heb ik ook bescherming tegen corruptie of cryptolocker achtige ellende.

Op welke manier pas jij dat toe? Ook met zrepl? Of heb je een script gemaakt? Gooi je handmatig oude snapshots weg?

Je kunt met zfs send overigens ook die snapshots recursively versturen naar de externe NAS (in dit geval je ouders). Dat is een interessant alternatief voor rsync.

[MartenBE]

Ik probeer ook orde te scheppen, maar heb losgelaten om heel gedetailleerde mappenstructuren te voorzien.
Er bestaat hier trouwens al een toegewijde reddit-thread voor, maar ik moet er zelf nog eens doorgaan: https://www.reddit.com/r/datacurator/ .