Server voor het zoeken van bestanden?

[TokoDude]

Hey Tweakers,

Ik vroeg me af of het mogelijk was om een server in te richten voor het zoeken van bestanden op een NAS server en andere opslag locaties?

Ik werk namelijk in een media bedrijf waar heel veel gearchiveerd word en dat is op verschillende locaties opgeslagen. het gaat hier ook om rond de 60-100 TB aan data. En ik hoopte dat het mogelijk was om makkelijk oude data weer terug te vinden valt via een search.

Momenteel word alles in een excel document genoteerd waar het is opgeslagen ,maar dat werkt niet echt goed.


Met vriendelijke groet,

Toko

[CMD-Snake]

Windows heeft zelf de Indexing Service voor het versnellen van zoektochten. Maar dat werk enkel voor Windows systemen, ik denk niet dat het een NAS kan doorzoeken. Overig pittige NAS als je tot 100Tb kan opslaan erop. Echter al zou die service zoveel Tb moeten indexeren voor het eerst, dat duurt wel even.

Alternatief zou je kunnen overwegen een systeem dat met een database werkt, dat de media bestanden ook daadwerkelijk in de database opgeslagen worden.

[Trommelrem]

Vanaf Windows 2008 is dat toch de Windows Search Service geworden?
Indexing Service is volgens mij een overblijfsel van NT 5.x, maar op 2008 en 2008 R2 nog wel installeerbaar als File Server rol.

[F_J_K]

Je gebruikt niet bijv een ECM-achtig systeem of versiebeheersysteem, alles is "gewoon" obv directories ingedeeld? Aangezien de huidige werkwijze een Excelsheet is: wat wil je zoeken/vinden in wat voor bestandstypen?

Bestandsnamen en -paden, de inhoud van bestanden en/of ook bijv metadata als project/auteurs/onderwerp/...?

Misschien is goed nadenken over een goede directorystructuur en/of juist een goede metadateringmethode beter. Een zoekopdracht als 'alle audio- en video-opnamen waar Piet Paulusma in voorkomt' of 'alle foto's gemaakt in Rotterdam Noord' zal je niet obv filename vinden.

En aangenomen dat de indexer op de NAS moet draaien: welke NAS?

[ Voor 5% gewijzigd door F_J_K op 19-12-2013 11:44 ]

[Ultimation]

Misschien dat je ook wat meer details kan geven over de opslag media? Zijn dat inderdaad allemaal NAS apparaten of 1 groot storage cluster. Wat draait erop Windows Server, FreeBSD of Linux?

Hoe ziet de huidige opstelling eruit? Hoe worden de bestanden opgeslagen? Waar? Hoe heten de netwerkmappen e.tc.

[ Voor 23% gewijzigd door Ultimation op 19-12-2013 11:45 ]

[TokoDude]

Hoofd opslag punt is een 16 TB NAS van QNAP (linux)

De rest staat op externe HDD's maar daarvoor kunnen we wel soort van tekst bestand maken en dat op de NAS zetten of andere locatie om het makkelijk op te zoeken en de bij behorende schijf.

Het zijn trouwens voornamelijk MOV bestanden en andere bestandsformaten zoals mp4 en er zijn ook audio bestanden zoals AIF

We hebben zelf geen server ,maar die willen we daar voor aanschaffen.

In het excel bestand staat een kopje met schijf 1 of 2 met daaronder alle namen van de items die daar op zitten, en dat is per schijf zo beschreven.

[ Voor 30% gewijzigd door TokoDude op 19-12-2013 12:11 ]

[F_J_K]

Dus enkel filenames? Dat voldoet voor jullie? Vreemd. Het lijkt me erg verstandig om eerst te gaan nadenken over metadatering. Als dat voldoet, dan ben je er misschien al met de standaard Qnap search: http://docs.qnap.com/nas/en/web_file_manager.htm

Je beschrijving lijkt meer op een verzameling gedownloade films, series, etc. Prima, maar zeg dat dat gewoon zodat we beter kunnen helpen. Daar zijn namelijk veel standaardtools voor terwijl je voor eigen werk heel veel meer moeite moet doen

offtopic:
je hebt toch toch wel Nx een gebackup van die USB-disks staan, toch? Bedrijfsdata op een enkele USB disk is onverantwoord: als het belangrijk is moet het gebackupt, als het niet belangrijk is wil je het bij dit soort hoeveelheden data IMHO vernietigen

[ Voor 8% gewijzigd door F_J_K op 19-12-2013 12:38 ]

[TokoDude]

Nee , dit zijn geen downloads. Dit is echt video content voor TV zenders

Jah Filenames of eigenlijk het beste is eigenlijk alleen de MAP naam. voor de rest zit daar het content in maar de naam is belangrijk dan weten we gelijk waar het staat en alle zooi erin

Alleen moet ik effe kijken hoe ik dat goed kan indelen in de 16 TB NAS.

Waarschijnlijk ben ik van plan om een MAP naam te maken met HDD nummer en in die map moet ik maar die map namen er in gooien alleen zoek ik daar handig tooltje voor om handig die namen worden gemaakt in een klein bestandje wat ik er in kan gooien.

En misschien dat er nog beter alternatief is


Data is 3TB ongeveer per schijf staan er stuk of 39 in de kast achter slot.
En nee ik kan het niet vernietigen ,omdat oude video content weer later word uitgezonden.

[ Voor 11% gewijzigd door TokoDude op 19-12-2013 13:47 ]

[Ultimation]

Oke dus je hebt 39 hardeschijven in een kast liggen waar nu al het archief materiaal opstaat? En het huidige archief wordt aangelegd door de 16Tb QNAP te vullen voor dit jaar, of welke periode? Moet het archief materiaal permanent toegankelijk zijn?

1. Dus je wilt een server waar je alle bestanden kan opslaan: 100Tb opslag?
2. Je wilt de vindbaarheid van de bestanden in het archief verbeteren?
3. Je zoekt een soort van opslag strategie voor het archief?

Met punten 2 en 3 kan ik persoonlijk niet zoveel omdat archiveren niet echt iets is wat ik doe. Daarnaast zou je moeten gaan kijken naar een slimme manier van opslaan van de bestanden. Je kan prima een 100Tb opslag array maken die gedeeld wordt. Je moet dan alleen gaan kijken naar de mappenstructuur. Doe je dit bijvoorbeeld op programma/serie/show/film naam met daarin alle jaren dat het loopt, of maak je mappen per jaar aan met daarin mappen met programma/serie/show/film.

Ik weet niet of zoiets bestaat voor de film industrie, maar jou zou kunnen gaan kijken naar een project management systeem waarbij je grote hoeveelheden data kan opslaan. Dan zou je via dat programma de inhoud kunnen opvragen per project/serie/programma/show/film.

Nu ik al het bovenstaande lees merk ik dat je nog best weinig details geeft:
1. Hoe wordt deze video-content gemaakt? Is dat op programma/show/serie basis? Of zijn dit promotiefilmpjes voor bedrijven? Reclame?
2. Wat is nu precies je vraag: ben je op zoek naar een server om de bestanden op te slaan? Moet her archief materiaal ook toegankelijk zijn?
3. Heb je een indicatie van de totale hoeveelheid materiaal die je wilt opslaan? Als ik het zo lees: 39 * 3Tb + 16Tb = 133Tb aan opslag? Dat is een flinke server als je die wilt aanschaffen.
4. Wat is het budget?

[TokoDude]

1. word gemaakt op MAC computers met de progammas final cut pro en Adobe software en soms wat andere progammas. het zijn 3-5 minuten filmpjes over een bedrijf. (promotiefilmpjes dus) soms bedrijfsfilms van 20 minuten

2. Ik zoek eigenlijk een manier om makkelijk archief materiaal te door zoeken zonder alle externe schijven aan te sluiten op een computer.

3. Jah er komt geen speciale opslag server daarvoor kost te duur en blijf je aan de gang dat je uiteindelijk opslag ruimte te kort komt en moet upgraden naar grotere systeem of nogmaals het zelfde systeem aan te schaffen.

4. Budget is max 5.000

Als de NAS vol zit word er paar TB vrij gemaakt en word dus gewoon op een schijf gezet en maakt niet uit welk jaar het is als het maar ergens nog op een schijf staat.

Het hoeft niet permanent beschikbaar te zijn ze mogen in de kast blijven zitten als we maar makkelijk kunnen zoeken welk content op welke schijf staat zonder op de HDD te kijken in de toekomst.

Het grote punt is dus eigenlijk:

2. Je wilt de vindbaarheid van de bestanden in het archief verbeteren?

Ik weet verder ook niet veel hoe het in de Film industrie geregeld is daarmee.

Voor de rest ben ik trouwens ook maar een stagiair ICT-Beheer 2de jaar die in dit bedrijf stage loopt en komt klussen.

[F_J_K]

Is het nu de bedoeling dat er een nieuwe server komt met meer opslag (en verschillende backups!) of enkel een zoek-/indexeer-applicatie?

Ik weet verder ook niet veel hoe het in de Film industrie geregeld is daarmee.

Als het even kan worden er tijdens creatie veel meer bijgehouden: wie, wat, waar, waarom, onderwerpen, ...

Geen idee of het in een netwerk werkt maar je zou eens kunnen kijken naar iets als http://liquidfolders.net/start/en/

Edit: daarnaar kijkend, [google=search offline disks] geeft misschien opties. Let goed op hoe er wordt geïndexeerd: iets zegt me dat je dat niet handmatig kunt overlaten aan de gebruikers. Dus realtime indexeren, op de server.

[ Voor 36% gewijzigd door F_J_K op 19-12-2013 15:21 ]

[jimbo123]

Misschien dat een Google Appliance iets is?

[Ultimation]

Als ik eerlijk ben is die manier van werken in het bedrijf verre van ideaal. Die harde schijven die maar een beetje in de kast liggen kunnen altijd vallen = weg data. Ik denk daarom dat je het bedrijf best mag voorstellen om serieus naar netwerk opslag te gaan kijken en archivering van de projecten. Het beste kan je dat dan door een externe partij laten doen. Daarbij is een budget van €5000,- voor een goed (lees veilig + doorzoekbaar) archief misschien wat mager.

Als het bedrijf door wilt gaan met deze manier van 'archivering' dan is die manier waarbij projecten in een Excel sheet worden gekoppeld aan een harde schijf nummer misschien wel de beste. Persoonlijk zou ik als ICT Beheerder niets met die manier van werken willen hebben, alleen al om het feit wat er allemaal mis kan gaan als je een harde schijf laat vallen.

[josvane]

Los van het feit wat een goede oplossing is, zou ik ook kijken naar een backup oplossing. Een simpel brandje kan desastreuze gevolgen hebben. Of is er van elke disc een replica buiten de deur.

[ElCondor]

Ultimation schreef op donderdag 19 december 2013 @ 17:40:
Als ik eerlijk ben is die manier van werken in het bedrijf verre van ideaal. Die harde schijven die maar een beetje in de kast liggen kunnen altijd vallen = weg data. Ik denk daarom dat je het bedrijf best mag voorstellen om serieus naar netwerk opslag te gaan kijken en archivering van de projecten. Het beste kan je dat dan door een externe partij laten doen. Daarbij is een budget van €5000,- voor een goed (lees veilig + doorzoekbaar) archief misschien wat mager.

Als het bedrijf door wilt gaan met deze manier van 'archivering' dan is die manier waarbij projecten in een Excel sheet worden gekoppeld aan een harde schijf nummer misschien wel de beste. Persoonlijk zou ik als ICT Beheerder niets met die manier van werken willen hebben, alleen al om het feit wat er allemaal mis kan gaan als je een harde schijf laat vallen.

Inderdaad, wat je eigenlijk nodig hebt is een DAMS, een digital asset management system.
Het bedrijf waar ik voor werk doet heeft er veel mee te maken, maar dat zijn kostbare aangelegenheden.
Anders zou je het kunnen proberen met een wat goedkoper collectie beheer systeem.

Windows Search server gebruiken wij soms ook om full-text indexing te doen, maar ik moet opmerken dat de functionaliteit daarvan zeer beperkt is. Het indexeren en duidelijk indelen in categorieën is er niet bij.

Maar goed, een zelfbouw systeem gaat je achteraf altijd geld kosten (believe me, been there done that) dus probeer je bedrijf er van te overtuigen om hierin te investeren. Het is, neem ik aan, tenslotte de core van je business. Als dat verloren gaat of niet goed beheerd wordt, dan heb je er niets aan...

[TokoDude]

Ultimation schreef op donderdag 19 december 2013 @ 17:40:
Als ik eerlijk ben is die manier van werken in het bedrijf verre van ideaal. Die harde schijven die maar een beetje in de kast liggen kunnen altijd vallen = weg data. Ik denk daarom dat je het bedrijf best mag voorstellen om serieus naar netwerk opslag te gaan kijken en archivering van de projecten. Het beste kan je dat dan door een externe partij laten doen. Daarbij is een budget van €5000,- voor een goed (lees veilig + doorzoekbaar) archief misschien wat mager.

Als het bedrijf door wilt gaan met deze manier van 'archivering' dan is die manier waarbij projecten in een Excel sheet worden gekoppeld aan een harde schijf nummer misschien wel de beste. Persoonlijk zou ik als ICT Beheerder niets met die manier van werken willen hebben, alleen al om het feit wat er allemaal mis kan gaan als je een harde schijf laat vallen.

Klopt ,Ik heb wel eens eerder voor dit bedrijf gekeken voor betere apparatuur en andere zakken, maar keer op keer willen ze geen geld uitgeven dus houd het ook snel op. (heb al een server willen regelen van 64 TB ongeveer ,zodat ze makkelijk en snel bij hun data bij kunnen ook als ze naar HD overgaan binnenkort)
Er zijn ook aantal HDD's kapot gegaan en/of kwijt geraakt en ook wel eens slecht geback upt in het verleden, dus daar zijn ook regelmatig wat problemen mee.

En het gaat hier ook echt om een zoek-/indexeer-applicatie wat ik nodig heb ,want ik zal ze nooit kunnen overhalen om naar een beter opslag systeem te gaan of groter heb ik al in het verleden gedaan maar wouden ze niet....

Iedergeval is dat offline search disk best handig, hou ik ook als alternatief als dit plan ook niet door gaat.
Google Appliance ziet er ook cool uit zal ik mij ook even in verdiepen.

En nee er zijn geen extra BACK ups van de gegevens op de Externe HDD's

Maar in dit bedrijf is het ook zo geregeld er werken alleen elke keer 1 ICT-Stagiair en die regelt alles en fixt alle problemen in het bedrijf, enjah alles wat geld kost word niet gedaan

Leuke is nog dat ze nog geen HD content verwerken in mijn bedrijf en daar zijn ze verplicht nu om daar naar over te gaan binnen enkele weken.En dat word zeker een dikke drama en zal heel veel kosten in nieuwe apparatuur en dat beseft mijn baas niet echt merk ik....

Thnx 10000 timnes de hulp iedereen!

[Ultimation]

Jammer om te horen dat er in een professionele omgeving zo amateuristisch met mensen en werk wordt omgegaan. Ik hoop wel dat jij als stagiair de begeleiding krijgt die je nodig hebt?

[Miyamoto]

Lijkt me verstandig om je handen er vanaf te trekken en te vertellen dat het niet mogelijk is. Je raakt alleen verder in de sh*t zo?

[CAPSLOCK2000]

code:

dir /s d: >> c:\index.txt

of zoiets op alle oude schijven draaien en dan met grep of een teksteditor in het bestand zoeken.

Of gewoon heel hard wegrennen.

[Killah_Priest]

Altijd leuk om te zien dat er nog steeds bedrijven zijn die zwaar op IT leunen voor hun inkomsten maar er vervolgens geen cent aan uit willen geven.

Hebben ze btw al nagedacht wat er met de overgang naar HD gaat gebeuren met de behoefte aan opslag? Ik neem aan dat deze nogal gaat toenemen waarmee het probleem alleen maar groter gaat worden.

[Freezerator]

Is het niet mogelijk om je baas een risico analyse voor te leggen met de bijbehorende kosten van dataverlies of downtime? Medewerkers moet je immers ook betalen als ze zitten duimen te draaien of als ze steeds lang bezig zijn met het zoeken naar data. Dat kost geld, en het zijn gewoon vermijdbare kosten als je slim investeerd. Dus probeer inzichtelijk te maken wat het bedrijf kost om op deze manier verder te gaan. Misschien bereik je daar mee dat ze zich realiseren dat ze eens moeten investeren in een echte oplossing.