migratie excel sheets naar sql/oracle

[Brahman]

Ik ben op dit moment bezig met een project waarbij een oud beheersysteem, wat volledig opgebouwd is uit excel sheets waar handmatig informatie in opgezocht wordt, moet worden omgezet naar een applicatie die deze informatie makkelijk op kan zoeken. Al deze informatie dient overgezet te worden naar een sql of oracle database. De structuur van de nieuwe database komt niet overeen met de opbouw van de excel sheets, en deze dienen automatisch gemigreerd te worden door middel van script o.i.d (ben ik nog niet helemaal uit). Het gaat om ongeveer 20 sheets die allemaal verschillend zijn qua structuur. Ook de inhoud van de tabellen zijn een rommeltje, geen controle op invoer (letters in velden waar alleen cijfers horen e.d.). Het gaat hier in ieder geval om een hoop ongestructureerde data.

Ik ben al enige tijd bezig, maar loop met mijn methode vast (heb hier ook niet zoveel ervaring in). Is hier een standaard methode voor die doorlopen moet worden om de data te kunnen migreren?

[The Eagle]

Welke methode gebruik je dan zelf

[leuk_he]

ETL staat voor Extraxt Transfer Load. (term uit datawarehousing)

In feite doe jij dit ook.

Haal de data uit excel (Via CSV fiel of excel database koppeling.)

Waarschijnlijk is het handig om niet ALLES in 1x te converteren.

Ik zou wat tijdelijk oracle tabellen creëren die 1 op 1 matchen met de excel sheets (dus alle kolommen varchar)

daar de data uit de excell inladen ( via csv/sqllloader of een excel database koppeling)

En vervolgens een set PL?SQL scripts draaien die het naar de uiteindleijk structuur omzet. Data die niet past in de nieuwe structuur afwijzen en met een status/errormelding markeren. Afhankelijk van de hoeveelheid data daar wat standaard forms op bouwen zodat de gebruiker deze kan corrigeren, of met SQL deze data corrigeren met de hand.

[Brahman]

The Eagle schreef op donderdag 31 mei 2007 @ 11:30:
Welke methode gebruik je dan zelf

Ik maak nu eerst een overzicht met behulp van de nieuwe databasestructuur, daarin verwijs ik naar de excel tabellen waar de info vandaan moet komen (dit in een gewoon document), om zo en beeld te krijgen wat er allemaal overgezet moet worden en welke velden in de database handmatig ingevult moeten worden (niet alle informatie die in de nieuwe database komt te staan staat ook in de excel sheets, en andersom, niet alle data van de excel sheets hoeft overgezet te worden. Tevens is de database structuur nog in ontwikkeling, bij eventuele problemen met de migratie kan die nog aangepast worden. Echter is de applicatie die er mee gaat werken al in ontwikkeling, sterker nog, deze is bijna af. Er kan dus ook weer niet teveel aangepast worden.

Ik raak echter door de hoeveelheid en de slordigheid van de tabellen het overzicht nogal kwijt, en weet zeker dat ik er op deze manier nog geen goed beeld van krijg.

leuk_he schreef op donderdag 31 mei 2007 @ 11:31:
ETL staat voor Extraxt Transfer Load. (term uit datawarehousing)

In feite doe jij dit ook.

Haal de data uit excel (Via CSV fiel of excel database koppeling.)

Waarschijnlijk is het handig om niet ALLES in 1x te converteren.

Ik zou wat tijdelijk oracle tabellen creëren die 1 op 1 matchen met de excel sheets (dus alle kolommen varchar)

daar de data uit de excell inladen ( via csv/sqllloader of een excel database koppeling)

En vervolgens een set PL?SQL scripts draaien die het naar de uiteindleijk structuur omzet. Data die niet past in de nieuwe structuur afwijzen en met een status/errormelding markeren. Afhankelijk van de hoeveelheid data daar wat standaard forms op bouwen zodat de gebruiker deze kan corrigeren, of met SQL deze data corrigeren met de hand.

Op deze manier had ik er nog niet naar gekeken, aangezien oracle toch wat meer funktionaliteiten van zichzelf heeft om data te migreren ga ik hier maar is wat mee proberen.

[Verwijderd]

Ik denk dat APEX of voluit Application Express jouw probleem het snelst kan oplossen. APEX is een webbased RAD. Een Excel sheet kan je met een paar klikken omzetten naar een Oracle tabel en webbased schermen om de data van de tabellen te onderhouden. Handig als de eindgebruiker verantwoordellijk is voor de datacleaning.

Als je geen zin hebt om dit product te installeren, kan je altijd een gratis account aanvragen op http://apex.oracle.com om het product uit te proberen.

APEX is ook een onderdeel van de gratis te verkrijgen Oracle Database 10g Express Edition. Als ik me niet vergis heb je dan APEX 2.2. De laatste versie apart te downloaden en installeren is echter 3.0. Met de versie kan je ook MS Access applicaties converteren.

Veel succes met je projectje

[Gé Brander]

Als je met SQL een Microsoft SQL Server bedoelt, dan kan je met DTS (voor SQL Server 2000) of SSIS (voor SQL Server 2005) ook dat bereiken.