Effectief gebruik van opgeslagen data

[lextof]

Hallo,

Ik vroeg me af hoeveel van de opgeslagen data in het bedrijfsleven nu daadwerkelijk wordt gebruikt door het eigen personeel. Ik heb vernomen dat opgelsagen data en informatie bij bedrijven inefficiënt gebruikt worden.

Kan iemand mij vertellen (of doorverwijzen naar interessante onderzoeken) wat de verhoudingen hier in zijn en waarom dit zo is? Is dat bijvoorbeeld door de slechte zoektechnologieën die bedrijven ingezet hebben, door het feit dat afdelingen onderling geen informatie met elkaar willen delen of dat er niets wordt weggegooid en alles maar opgeslagen wordt?

Kortom: hoe effectief is de aanwezige informatie bij bedrijven?

[MicroWhale]

ten eerste: wat is je bron?
ten tweede: definieer effectief?

als data wordt opgeslagen om deze achteraf terug te kunnen vinden: 100%
als elk dataelement een specifiek aantal keer opgezocht moet kunnen worden: ??? geen idee.

of wordt er bedoeld dat het opzoeken van opgeslagen data problematisch is? (wat overigens vaak klopt )
of dat data redundant opgeslagen wordt? (wat niet ineffectief hoeft te zijn)

[ Voor 10% gewijzigd door MicroWhale op 14-05-2008 12:50 ]

[lextof]

Bron is het Internet: ik heb gezocht op Information Overload en Enterprice Search. Ben wat tegengekomen bij Accenture.com en een onderzoek van IDC naar "het digitale universum".

Over het algemeen ben ik geïnteresseerd in data wat is opgeslagen en dat inderdaad niet tot moeilijk is (terug) te vinden van de persoon zelf en van anderen. Ik kan daar tot nu toe niet echt cijfers over vinden. Hoe erg is dit?

[Konstantine]

lextof schreef op woensdag 14 mei 2008 @ 13:13:
Ik kan daar tot nu toe niet echt cijfers over vinden. Hoe erg is dit?

Hangt er vanaf hoe serieus je ermee bezig wilt gaan Maar ik zal het je vergeven...

[sopsop]

'data' is een veel te ruim begrip om daar generieke statistieken overheen te halen, zeker als je het onder de noemer 'bedrijfsleven' wilt doen. Zulke vergelijkingen kun je alleen doen voor bedrijven waarbij de informatiebehoefte te vergelijken is. Dan kun je verschillen bepalen waarin de opslag van data en het raadplagen van data gebeurt.

Hoogstens kun je een soort opsomming doen van gebruikte systemen, welke informatiebehoefte deze systemen hebben en waar deze informatie vandaan halen. Vervolgens kun je analyseren of systemen in dezelfde of redundante bronnen putten. Maar ook hier zou ik dan bijvoorbeeld alleen bij Top500 bedrijven kijken, of branchegenoten in het MKB.

[Verwijderd]

Ik neem aan dat je de menselijke kant van de zaak bedoelt. Het probleem is niet dat de zoekalgoritmes niet deugen, maar dat gegevens in eerste instantie al chaotisch worden ingevoerd. Misschien helpen een paar praktijkvoorbeelden om meer 'feeling' met de aard van het probleem te krijgen.

- Een helpdesk van een softwarebedrijf. Klant belt, medewerker maakt een 'call' met een summiere omschrijving van de programmafunctie en het probleem. Programmeur pakt de call op maar kan de gegevens niet vinden omdat ze onder een verkeerde functienaam zijn ingevoerd. Programmeur belt de klant, vraagt wat die heeft gemeld, en maakt een nieuwe call aan.

- Een manager maakt een projectsheet en slaat dat ergens op. Telefoon gaat, vergadering. De projectsheet wordt snel per email verspreid en gaat een eigen leven leiden. Collega's passen de sheet aan, slaan hem op, en emailen hem rond.

Bij mij op het bedrijf zwerven terabytes aan handleidingen en technische documentatie rond, samen met talloze andere zaken die 'even' opzij worden gezet en daarna in een 'bewaren' vergaarbak op een server worden gedumpt. Vraag elke systeembeheerder wat ik bedoel, hij kan je feilloos uitleggen dat zelfs 'oneindig' veel diskruimte bij lange na niet genoeg is. Er is tijdsdruk, er is geen tijd om dingen op te schonen of uit te zoeken.

Je hebt gelijk als je zegt dat er niets wordt weggegooid en dat alles wordt opgeslagen. Het delen van informatie tussen afdelingen gebeurt wel, maar werkt niet. Het abstractieniveau van een programmeur is totaal anders dan dat van een helpdeskmedewerker of manager. Ze kunnen 'niets' met elkaars documenten. Daarom herschrijft iedere afdeling de documenten zodat ze er zelf mee overweg kunnen.

Het gevolg is letterlijk terabytes aan duplicaten, vertalingen en andere onzin. En als iemand specifiek informatie zoekt dan krijg je het Google-effect. Je krijgt zoveel gelijkaardige, maar net-niet-bruikbare documenten dat je van ellende alles zelf maar weer gaat schrijven.

Omdat ik kontakt heb met collega-softwarebedrijven weet ik dat dit zonder uitzondering overal zo is. Programma's hebben vele 'generaties' in een software systeem (Microsoft VSS bijvoorbeeld). Maar uiteindelijk is de juiste versie niet meer te vinden / verkeerd opgeslagen. Het is er nog wel, maar er is geen tijd om goed te zoeken. Een andere versie van het programma wordt geladen, aangepast en opgeslagen.

Verder laten programma's toe dat gegevens ongestructureerd worden ingevoerd. Een database met persoonlijke dossiers bijvoorbeeld. Je kan maar beperkt afdwingen dat b.v. 'van der' in een ander veldje hoort dan 'Janssen'. Sommige dingen moet je toestaan, anders wordt het programma onwerkbaar (te dwingend, te lastig, te tijdrovend in het gebruik). Gebruikers zijn ontzettend inventief in het 'proppen' van irrelevante gegevens in een of ander niet ter zake doend invoerveld. Het gevolg is dat het systeem de gegevens niet meer kan vinden of verkeerde verbanden gaat leggen. Daar helpt echt geen zoekalgoritme tegen.

Technieken als search engines, laat staan data mining, worden in het 'gewone' bedrijfsleven niet of nauwelijks toegepast. Er wordt met Windows Explorer op servers gekeken. Gezocht wordt er niet, de hoeveelheid data is te groot om gericht documenten te kunnen doorzoeken.

Je vroeg: hoeveel van de opgeslagen data in het bedrijfsleven wordt daadwerkelijk gebruikt door het eigen personeel. Volgens mij nog geen 5%. Dat komt omdat gegevens zelden lang actueel blijven. Een document dat niet snel gevonden wordt is niet belangrijk, anders stond het wel in de root van de dataserver. Dus je maakt een nieuw document. Zo werkt dat in de praktijk. Dat beantwoordt je vraag 'hoe erg is dit'. Het is erg in opslagruimte maar niet erg in tijdverlies.

Uiteraard zijn er grote verschillen tussen soorten bedrijven. Belasting, verzekering, banken raken nooit iets kwijt (dat recente akkefietje van de belastingdienst telt op het geheel niet mee) en kunnen feilloos alles terugvinden. Kennelijk omdat dat belangrijk voor hen is. Softwarebedrijven interesseert het weinig als er iets kwijt is. Je maakt het gewoon overnieuw.

Hopelijk heb je hier iets aan. Succes ermee.

[Bodevinaat]

Omdat ik kontakt heb met collega-softwarebedrijven weet ik dat dit zonder uitzondering overal zo is

Da's wel een hele boude bewering. Ik neem aan dat je het nu over software-bakkers hebt? Bedrijven streven in principe naar hoge efficiency. Maar hogere efficiency moet zich terugbetalen in lagere kosten. Als dat niet (onmiddellijk) het geval is wordt er een afweging gemaakt. Dat merk je soms aan bepaalde legacysystemen. Veel procedures in mainframes zijn omslachtig, en vaak al jaren. Het zou efficient zijn om dit te veranderen. Echter de hoge kosten blokkeren dit. Dus blijft het bestaan.

[Onbekend]

lextof schreef op woensdag 14 mei 2008 @ 10:14:
door het feit dat afdelingen onderling geen informatie met elkaar willen delen of dat er niets wordt weggegooid en alles maar opgeslagen wordt?

Kortom: hoe effectief is de aanwezige informatie bij bedrijven?

Hoe vaak komt het niet voor dat je iets hebt weggegooit en kort daarna nodig hebt?

Neem eens een voorbeeld aan verslagen van vergaderingen.
Deze worden alleen maar gebruikt om in de periode tot de volgende vergadering terug te kijken over wat er was afgesproken. Na de volgende vergadering is deze informatie overbodig geworden.
Maar soms wil je terug kijken hoe je iets vroeger had gedaan. Als je de verslagen hebt bewaard kan je het weer terug vinden. Zo niet, dan moet je het wiel opnieuw uitvinden.

Kortom, bedrijven bewaren informatie omdat ze denken deze later weer nodig te hebben. (En wettelijk moeten ze ook elk document 5 of 7 jaar bewaren.)

[Bodevinaat]

Technieken als search engines, laat staan data mining, worden in het 'gewone' bedrijfsleven niet of nauwelijks toegepast. Er wordt met Windows Explorer op servers gekeken. Gezocht wordt er niet, de hoeveelheid data is te groot om gericht documenten te kunnen doorzoeken.

Search engines worden wel toegepast, zij het met mate. Een probleem bij indexering van documenten vormt de autorisatie; indexering kan moeilijk rekening houden met het autorisatieprofiel van de toekomstige gebruiker. Dus moet daar een bepaalde tool naast gelegd worden die bepaalt of de gebruiker gerechtigd is om de gevonden info te bekijken, of aan de documenten moet meta-informatie worden meegegeven. Dat maakt implementatie lastig en inefficient.

Data mining wordt zelfs zeer veel toegepast, echter (meestal) alleen voor marketing doeleinden.

[Falcon]

Maar hoe ga je hiermee om als systeembeheerder? Alles wat ouder is dan 4 jaar archiveren en opslaan op tapes? Hier een .txt bestand van maken met daarin alles bestandsnamen + locatie waar het stond en deze publiceren in een map. Met daar eventueel een restoreverzoek knop bij?

[ Voor 6% gewijzigd door Falcon op 21-05-2008 13:45 ]

[Bananenplant]

Misschien kun je eens iets gaan opzoeken in het vakgebied "knowledge engineering"? Volgens mij ben je efficiënt bezig als je exact kunt definiëren wat je wilt kunnen opzoeken en als je precies datgene opslaat dat je nodig hebt om dat te kunnen doen.