Database maken

[Aviv1]

Hallo,

Ik heb een aantal tabellen in CSV formaat. Hierop wil ik gaan queryen met SQL. Als ik nu MySQL installeer, de CSV files inlaad, kan ik dan vervolgens met MS SQL server management studio er naar connecten en dan de querys afvuren, of is er een betere manier?

Of kan ik MS Access gebruiken?

[Breezers]

@Aviv1 Kan je niet beter dan SQL Server Express 2017 installeren en via SSMS de CSV importeren zodat je een database krijgt ? (kan zijn dat je naar gelang de inhoud van de cellen/tabellen de eigenschap moet aanpassen)

Wellicht kan je anders toelichten waarom je MySQL of MS Access prefereert, je tabellen in CSV formaat hebt en je SSMS wilt gebruiken ? (bepaalt programma of functionaliteit die je zoekt/wilt ?)

[ Voor 16% gewijzigd door Breezers op 18-05-2018 12:13 ]

[Rannasha]

Microsoft SQL Server (en dus SSMS) en MySQL zijn verschillende producten die niet onderling compatible zijn. Als je SSMS wil gebruiken, moet je Microsoft SQL Server installeren (Express versie). Maar je kunt ook kiezen voor MySQL als database software, waarvoor ook grafische clients voor beschikbaar zijn (vergelijkbaar met SSMS).

MS SQL en MySQL spreken beiden de basis SQL taal, maar beide systemen hebben eigen uitbreidingen hierop, waardoor queries er mogelijk iets anders uitzien.

[Aviv1]

Bedankt voor de reacties.

Als ik SSMS start krijg ik gelijk een pop-up “Connect to Server”. Natuurlijk is er nog helemaal geen server. Die wil ik juist maken.

In de video zie je dat er al een connectie gemaakt is. “New Database” is de volgden stap.

Overigens gebruik ik versie 2012

[Craven]

Even een stapje terug is wat handiger denk ik. Wat wil je precies bereiken en hoe complex is de informatie in csv bestanden? Als je informatie uit een paar csv files wilt halen dan denk ik namelijk niet meteen SQL. En als je dan toch persé SQL wilt kun je met sqlite waarschijnlijk ook prima uit de voeten. Dat lijkt me eenvoudiger.

Maar nog een paar stappen simpeler is excel. Je zou verbaasd zijn wat dat allemaal kan. MS Access is stapje complexer en kan inderdaad nog meer. Als je een beetje kan scripten dan kom je met powershell ook een heel eind.

Dus, wat is het voor data en wat wil je precies bereiken? Of dit een permanente oplossing is of een eenmalig iets maakt ook nog wel uit.

Edit: PowerBI kan volgens mij ook wel zaken uit CSV bestanden lezen maar dat is meer voor grafische doeleinden.

[ Voor 7% gewijzigd door Craven op 18-05-2018 13:12 ]

[hvveen]

...or have a look at http://www.powershellmaga...sql-syntax-in-powershell/
Directly query the csv

[Verwijderd]

Aviv1 schreef op vrijdag 18 mei 2018 @ 11:53:
Hallo,

Ik heb een aantal tabellen in CSV formaat. Hierop wil ik gaan queryen met SQL. Als ik nu MySQL installeer, de CSV files inlaad, kan ik dan vervolgens met MS SQL server management studio er naar connecten en dan de querys afvuren, of is er een betere manier?

Of kan ik MS Access gebruiken?

Om je vraag direct te beantwoorden zonder wat anders voor te stellen:

Kan MSSQL Management studio zomaar praten met MySQL? Dan kan dat allicht gewoon. Maar er zijn wel "dialectverschillen" tussen die database servers en ik denk niet dat die management studio rekening houd met wat anders dan Microsoft databases en dan weet je volgens mij al snel niet meer zo duidelijk of je query gewoon fout is of dat hetgeen dat je wil gewoon niet kan.

Ik gebruik de combinatie MySQL (of eigenlijk MariaDB) met HeidiSQL en een klein beetje Navicat. HeidiSQL is gratis, Navicat cost geld maar is supplementair wat mij betreft. (gebruik het zelf vooral om microsoft bestanden in een database te fietsen)
Ik ben nog nooit op laag water gestrand met die combinatie en die tools zijn ook expliciet compatibel met verschillende database bronnen.

[ Voor 24% gewijzigd door Verwijderd op 18-05-2018 13:25 ]

[Aviv1]

Craven schreef op vrijdag 18 mei 2018 @ 13:10:
Even een stapje terug is wat handiger denk ik. Wat wil je precies bereiken en hoe complex is de informatie in csv bestanden? Als je informatie uit een paar csv files wilt halen dan denk ik namelijk niet meteen SQL. En als je dan toch persé SQL wilt kun je met sqlite waarschijnlijk ook prima uit de voeten. Dat lijkt me eenvoudiger.

Maar nog een paar stappen simpeler is excel. Je zou verbaasd zijn wat dat allemaal kan. MS Access is stapje complexer en kan inderdaad nog meer. Als je een beetje kan scripten dan kom je met powershell ook een heel eind.

Dus, wat is het voor data en wat wil je precies bereiken? Of dit een permanente oplossing is of een eenmalig iets maakt ook nog wel uit.

Edit: PowerBI kan volgens mij ook wel zaken uit CSV bestanden lezen maar dat is meer voor grafische doeleinden.

Ik heb 12 export tabellen in .csv. Dit zijn exports uit een backend systeem. Momenteel vindt er een data transformatie/conversie plaats op die tabellen in het backend systeem en dat levert een bepaalde output op.

Die output moet getest worden of die transformatie/conversie goed werkt. Er bestaan nu een aantal SQL scripts die zeker weten de juiste data uit die tabellen trekt. Dit geldt als test basis.

Die tabellen (.csv) wil ik nu in een SQL-server knallen en vervolgens de bestaaned SQL-logica daarop afvuren en dat vergelijken met de output van het transformatie proces.

Vandaar SQL. Die export csv tabellen moeten dus querybaar zijn

[Verwijderd]

Wat voor database backend zijn die queries voor gemaakt dan? Want dat zal in dit geval je te bewandelen pad dicteren.

[Aviv1]

Verwijderd schreef op vrijdag 18 mei 2018 @ 13:40:
Wat voor database backend zijn die queries voor gemaakt dan? Want dat zal in dit geval je te bewandelen pad dicteren.

Hoezo? Het zijn gewoon Select/From/Where statements. Er is geen pad.

[Rannasha]

Aviv1 schreef op vrijdag 18 mei 2018 @ 13:42:
[...]


Hoezo? Het zijn gewoon Select/From/Where statements. Er is geen pad.

Er zijn verschillende SQL dialecten en een query die geschreven is voor MySQL zal mogelijk niet werken op een MS SQL of PostreSQL server. Vandaar dat het relevant is voor welke backend de queries geschreven zijn.

Merk op dat de basis SQL taal door alle systemen wordt ondersteund, dus als de queries eenvoudig zijn, is het goed mogelijk dat ze systeem-agnostisch zijn, maar dat is niet met zekerheid te zeggen zonder de queries te kennen.

[Verwijderd]

Aviv1 schreef op vrijdag 18 mei 2018 @ 13:42:
[...]


Hoezo? Het zijn gewoon Select/From/Where statements. Er is geen pad.

Dat geld voor bijna alle queries ooit.
Queries zijn niet per definitie zomaar uitwisselbaar tussen MSSQL en MySQL dus als je zeker wil weten dat die queries gaan werken moet je de backend gebruiken waar ze op gemaakt zijn. Zo plat is het eigenlijk gewoon.
In zo'n where statement kan van alles staan waar MSSQL of Mysql niets van snapt. Wij weten hier alleen maar wat je ons aan info geeft. Ik geef je de de weg van de minste weerstand op basis van de info die je geeft.

[ Voor 27% gewijzigd door Verwijderd op 18-05-2018 13:49 ]

[Aviv1]

Ok sorry voor het misverstand. Ik zocht alleen een server waar naartoe ik die .csv bestanden kan uploaden zodat ik vervolgens de SQL logica daarop kan afvuren.

Ik heb nu MS SQL Server Express 2012 geinstalleerd maar die vraagt alleen maar om te connecten naar een database. Ik wil die 12 tabellen inladen zoals in het filmpje hierboven.

[Verwijderd]

Aviv1 schreef op vrijdag 18 mei 2018 @ 13:49:
Ok sorry voor het misverstand. Ik zocht alleen een server waar naartoe ik die .csv bestanden kan uploaden zodat ik vervolgens de SQL logica daarop kan afvuren.

Ik heb nu MS SQL Server Express 2012 geinstalleerd maar die vraagt alleen maar om te connecten naar een database. Ik wil die 12 tabellen inladen zoals in het filmpje hierboven.

Heb je vastgesteld dat het MSSQL queries zijn dan? Zo ja heb je inderdaad SQL Server Express nodig en dan kan je op localhost verbinden met de SQL server met management studio.

[Aviv1]

Verwijderd schreef op vrijdag 18 mei 2018 @ 13:51:
[...]


Heb je vastgesteld dat het MSSQL queries zijn dan? Zo ja heb je inderdaad SQL Server Express nodig en dan kan je op localhost verbinden met de SQL server met management studio.

Het zijn geen MySQL queries maar gewoon SQL queries.

Als ik bij connect 127.0.0.1 invoer gebeurt er niet veel....

Ik open dus SQL Server Manager en dan krijg ik gelijk een "connect to" pop-up voor mijn raap.

[ Voor 10% gewijzigd door Aviv1 op 18-05-2018 13:57 ]

[Verwijderd]

Ok dan is de server niet beschikbaar en moet je dat eerst even uit zien te vogelen.

[Aviv1]

Verwijderd schreef op vrijdag 18 mei 2018 @ 13:56:
Ok dan is de server niet beschikbaar en moet je dat eerst even uit zien te vogelen.

Daarom had ik dus MySQL server geinstalleerd zodat ik vervolgens daar naartoe kan connecten (local host) net als bij phpmyadmin.

Ik wil gewoon lokaal sql servertje hebben draaien en die 12 tabellen daarin laden om ze vervolgens te queryen. Allemaal vanaf 1 machine.

[borft]

waarom installeer je dan niet gewoon lokaal een sql servertje? wat is precies je vraag?

[Aviv1]

borft schreef op vrijdag 18 mei 2018 @ 14:02:
waarom installeer je dan niet gewoon lokaal een sql servertje? wat is precies je vraag?

Huh? Ik heb MS SQL Server lokaal geinstalleerd...... Op mijn laptop. En op mijn bureaublad staan 12 .csv files die ik in die zelfde lokale SQL server wil inladen.

Zodat ik vervolgens daarop kan queryen...

[Craven]

Aviv1 schreef op vrijdag 18 mei 2018 @ 13:32:
[...]


Ik heb 12 export tabellen in .csv. Dit zijn exports uit een backend systeem. Momenteel vindt er een data transformatie/conversie plaats op die tabellen in het backend systeem en dat levert een bepaalde output op.

Die output moet getest worden of die transformatie/conversie goed werkt. Er bestaan nu een aantal SQL scripts die zeker weten de juiste data uit die tabellen trekt. Dit geldt als test basis.

Die tabellen (.csv) wil ik nu in een SQL-server knallen en vervolgens de bestaaned SQL-logica daarop afvuren en dat vergelijken met de output van het transformatie proces.

Vandaar SQL. Die export csv tabellen moeten dus querybaar zijn

Ok dus je hebt ergens een bestaande database server. Als daar nu als de transformatie plaats vind dan ben je een beetje laat met deze test dus ik gok dat je bedoeld dat dat plaats moet gaan vinden?

Dan maak je toch een kopie van de hele database en importeer je die op een identiek systeem? Of, in het geval dat die machine virtueel is, maak je een kopie van het hele systeem?

[Verwijderd]

Aviv1 schreef op vrijdag 18 mei 2018 @ 14:03:
[...]


Huh? Ik heb MS SQL Server lokaal geinstalleerd...... Op mijn laptop. En op mijn bureaublad staan 12 .csv files die ik in die zelfde lokale SQL server wil inladen.

Zodat ik vervolgens daarop kan queryen...

Geinstalleerd, maar blijkbaar gaat er niet iets niet goed want je kan niet verbinden. Loopt de service wel, is er een instance geconfigureerd, gebruikersnaam ww goed, loopt dat op standaard poorten, etc.
Dat kunnen we niet blind troubleshooten allemaal.

Edit: Standaard accepteerd MSSQL ook geen TCP verbindingen uit mijn hoofd, moet ook aangezet worden.

[ Voor 10% gewijzigd door Verwijderd op 18-05-2018 14:08 ]

[Aviv1]

Craven schreef op vrijdag 18 mei 2018 @ 14:04:
[...]

Ok dus je hebt ergens een bestaande database server. Als daar nu als de transformatie plaats vind dan ben je een beetje laat met deze test dus ik gok dat je bedoeld dat dat plaats moet gaan vinden?

Dan maak je toch een kopie van de hele database en importeer je die op een identiek systeem? Of, in het geval dat die machine virtueel is, maak je een kopie van het hele systeem?

Sorry maar ik heb nogmaals 12 .csv files. Maakt niet uit waar die vandaan komen. Dat moeten weer tabellen worden waarop ik kan queryen.

Ik repliceer dus als het ware die backend database, lokaal.

[Aviv1]

Verwijderd schreef op vrijdag 18 mei 2018 @ 14:05:
[...]


Geinstalleerd, maar blijkbaar gaat er niet iets niet goed want je kan niet verbinden. Loopt de service wel, is er een instance geconfigureerd, gebruikersnaam ww goed, loopt dat op standaard poorten, etc.
Dat kunnen we niet blind troubleshooten allemaal.

in services.msc zie ik geen SQL engine draaien. Kies vul in bij "connect to" 127.0.0.1 maar hij kan de server niet vinden

[Verwijderd]

Aviv1 schreef op vrijdag 18 mei 2018 @ 14:08:
[...]


in services.msc zie ik geen SQL engine draaien. Kies vul in bij "connect to" 127.0.0.1 maar hij kan de server niet vinden

Dat had ik begrepen, maar dat kan verschillende oorzaken hebben.
Als je daar op vastloopt kunnen we je hier niet helpen ben ik bang, dan moet je even iemand zoeken die bij je systeem kan en je configuratie na kan lopen. Ik vermoed dat er nog een instance geconfigureerd moet gaan worden.

Misschien moet je even een how-to opzoeken voor het opzetten van een database server, maar weet dan wel eerst zeker of de server die je installeert die queries gaat snappen anders is al die effort alsnog voor niets.

[ Voor 4% gewijzigd door Verwijderd op 18-05-2018 14:14 ]

[The_Ghost16]

Aangezien je sqlexpress hebt geïnstalleerd maakt hij daar automatisch een named instance voor aan.

Je kunt met de volgende dingen als het goed is verbinding maken:
127.0.0.1/sqlexpress
./sqlexpress
(local)/sqlexpress

[Lustucru]

Voor iemand met niet te veel kennis van databases lijkt Access me een prima oplossing. Laagdrempelig en allerhande wizards voor import en designfuncties.

[Aviv1]

The_Ghost16 schreef op vrijdag 18 mei 2018 @ 14:18:
Aangezien je sqlexpress hebt geïnstalleerd maakt hij daar automatisch een named instance voor aan.

Je kunt met de volgende dingen als het goed is verbinding maken:
127.0.0.1/sqlexpress
./sqlexpress
(local)/sqlexpress

werkt niet. cannot connect to 127.0.0.1/sqlexpress

[GlowMouse]

Lustucru schreef op vrijdag 18 mei 2018 @ 14:24:
Voor iemand met niet te veel kennis van databases lijkt Access me een prima oplossing. Laagdrempelig en allerhande wizards voor import en designfuncties.

En goed geschikt voor queries met select, from en where

[Aviv1]

Heb deze stappen doorlopen:

https://docs.microsoft.co...gine?view=sql-server-2017

With Database Engine selected on the Registered Servers toolbar, expand Database Engine, right-click Local Server Groups, point to Tasks, and then click Register Local Servers. All instances of the Database Engine installed on the computer are displayed.

Echter, ik krijg de melding: no local servers of type 'database engine' were found

[Breezers]

Aviv1 schreef op vrijdag 18 mei 2018 @ 14:42:
Heb deze stappen doorlopen:

https://docs.microsoft.co...gine?view=sql-server-2017

With Database Engine selected on the Registered Servers toolbar, expand Database Engine, right-click Local Server Groups, point to Tasks, and then click Register Local Servers. All instances of the Database Engine installed on the computer are displayed.

Echter, ik krijg de melding: no local servers of type 'database engine' were found

@Aviv1 Heb je wel de juiste installer gebruikt ? Je kon namelijk ook alleen de managementtools downloaden als installer maar daar zit dus de server zelf niet in. Geef eens aan welke executable je hebt gebruikt ? Je hebt iets als SQLEXPRADV_x64_ENU.exe oid nodig voor de volledige server versie ipv iets als SQLManagementStudio_x64_ENU.exe die alleen de management tools bevatten

https://www.microsoft.com...oad/details.aspx?id=29062

[Aviv1]

Breezers schreef op vrijdag 18 mei 2018 @ 14:56:
[...]


@Aviv1 Heb je wel de juiste installer gebruikt ? Je kon namelijk ook alleen de managementtools downloaden als installer maar daar zit dus de server zelf niet in. Geef eens aan welke executable je hebt gebruikt ? Je hebt iets als SQLEXPRADV_x64_ENU.exe oid nodig voor de volledige server versie ipv iets als SQLManagementStudio_x64_ENU.exe die alleen de management tools bevatten

https://www.microsoft.com...oad/details.aspx?id=29062

sql_server_2012_express_management_studio_with_service_pack_2_x64

[Breezers]

Aviv1 schreef op vrijdag 18 mei 2018 @ 15:14:
[...]


sql_server_2012_express_management_studio_with_service_pack_2_x64

Dus is dus niet de juiste link, je moet dus de server versie installeren.

[ Voor 24% gewijzigd door Breezers op 18-05-2018 15:20 ]

[borft]

Aviv1 schreef op vrijdag 18 mei 2018 @ 14:03:
[...]


Huh? Ik heb MS SQL Server lokaal geinstalleerd...... Op mijn laptop. En op mijn bureaublad staan 12 .csv files die ik in die zelfde lokale SQL server wil inladen.

Zodat ik vervolgens daarop kan queryen...

ik heb sterk het idee dat je helemaal geen SQL server lokaal geinstalleerd hebt. Je bent een beetje blind aan het schieten, en geeft niet heel veel informatie, maar verwacht wel dat je probleem hier even opgelost wordt.

Ik hoop dat je realiseert, dat als je queries runt op een andere omgeving, met een andere DB server, andere structuur (immers er zijn geen indeces), dat je testresultaten onmogelijk representatief kunnen zijn voor je productieomgeving.

[Aviv1]

Heren, het is opgelost!! Ik had dus het verkeerde pakket.

Bedankt

[ Voor 8% gewijzigd door Aviv1 op 18-05-2018 16:19 ]