[ALG] Grote database? *

oracle
maar als je echt gaat gaat doen is een andere db dan mysql aan te raden geloof ik

Oracle, MSSQL2000, DB2 (AS/400) ...

Grote maakt niet zoveel uit, zaken als inserts/updates zijn wel vaak erg essentieel voor je performance en stabiliteit.

idd het aantal transacties is erg belangrijk. (ook ivm met de achterliggende hardware)

Grote maakt niet zoveel uit, zaken als inserts/updates zijn wel vaak erg essentieel voor je performance en stabiliteit.

Zijn er mogelijkheden, als je bv. in zo'n geval MySQL of MS-SQL gebruikt, om zoekfuncties te versnellen?

Zo ja welke?

De GoT (mysql) database heeft dik 3 miljoen records en trekt het nog aardig. 400.000 duizend moet dus goed lukken.

De GoT (mysql) database heeft dik 3 miljoen records en trekt het nog aardig. 400.000 duizend moet dus goed lukken.

En wat voor systeem zou er achter moeten hangen?

Op maandag 04 februari 2002 16:59 schreef edstasy het volgende:

[..]

En wat voor systeem zou er achter moeten hangen?

Kijk in de .plan zou ik zeggen (ik meen 1Ghz AMD met 2gb geheugen voor de database server)

Om je zoek-snelheden optimaal te houden is een goed database design natuurlijk erg belangrijk.
(denk aan de koppelingen tussen de verschillende tabellen, indexen e.d.)

Kijk in de .plan zou ik zeggen (ik meen 1Ghz AMD met 2gb geheugen voor de database server)

Sorry, maar: .plan? Waar vind ik dat?

Op maandag 04 februari 2002 17:03 schreef edstasy het volgende:
Sorry, maar: .plan? Waar vind ik dat?

http://www.tweakers.net/

Met je (select)queries heb je daar geen last van wel voor het bewaken van je db. Wil je goed advies dan zou je wat meer info moeten geven:

-Budget
-Concurrent Users
-DB Gedrag, veel selects en weinig inserts/updates?
-Import/Export procedures nodig
-Remote bereikbaar?
-OS?

Sybase heeft een gratis Linux db server dacht ik, schijnt erg degelijk te zijn: http://www.sybase.com/linux

edit: Misschien toch niet helemaal gratis

Op maandag 04 februari 2002 17:18 schreef Zef het volgende:
Sybase heeft een gratis Linux db server dacht ik, schijnt erg degelijk te zijn: http://www.sybase.com

Kijk eerst goed naar de licentie, volgens mij is die niet gratis namelijk

Over GoT-DB:
DB-pakket = MySQL + Innodb .47
Hardware: 2x P3-1Ghz+4GB ram + Scsi raid5.

En zoals het nu gebruikt wordt trekt mysql het nog maar net, het zijn ondertussen wel bijna 4M berichten.

Op maandag 04 februari 2002 17:16 schreef Altaphista het volgende:
- Budget maakt in principe niet uit, maar hoe goedkoper, hoe beter.

Hou er rekening mee dat de proffesionele DB's al gauw $5000,- of meer kosten.

-DB Gedrag, veel selects en weinig inserts/updates? ja

Das dan mooi te cachen, alle grote DB's doen dat prima

-Concurrent Users +/- 200 denk ik

Mysql kan er al 200 aan in onze setups
Laat staan een grote DB.

-Remote bereikbaar? ja

Dat is meer afhankelijk van het OS dan van de DB, aangezien (vrijwel?) elke DB "tcp/ip" connectiviteit biedt en derhalve ook internet/remote-access.

-OS? Linux

Dan valt MS-SQL af


[edit]
Btw, als je technisch een goede DB nodig hebt, zeker met veel selects tov de inserts/updates is postgresql misschien nog een goede keus.
Die zit technisch wat beter in elkaar dan mysql maar is ook met erg grote (400k+ is niet groot 4GB aan data is niet eens groot ) DB's dat ie duidelijke bezwaren begint te krijgen.

Op maandag 04 februari 2002 17:24 schreef ACM het volgende:
Kijk eerst goed naar de licentie, volgens mij is die niet gratis namelijk

Jawel hoor. Je hebt een aantal versies. Voor de nieuwste (12.x) moet je gewoon betalen, de laatste 11.x versie mag je gratis gebruiken voor dev-doeleinden, en een iets eerdere 11.x versie is helemaal gratis.

PostgreSQL, dat klint wel aardig inderdaad, maar is het niet zo dat er nog veel aan die database gesleuteld moet worden?

Op maandag 04 februari 2002 17:30 schreef edstasy het volgende:
PostgreSQL, dat klint wel aardig inderdaad, maar is het niet zo dat er nog veel aan die database gesleuteld moet worden?

Mja, dat valt wel mee hoor...

Als je het vergelijkt met Mysql is het zelfs weinig

Op maandag 04 februari 2002 17:28 schreef Onno het volgende:
Jawel hoor. Je hebt een aantal versies. Voor de nieuwste (12.x) moet je gewoon betalen, de laatste 11.x versie mag je gratis gebruiken voor dev-doeleinden, en een iets eerdere 11.x versie is helemaal gratis.

Owja, zo zat het

Het werkt met PHP, ik ken iemand die vBulletin naar die Sybase versie geport heeft.

Op maandag 04 februari 2002 17:08 schreef Zef het volgende:

[..]

Haha, is dat even lachen! Niet eens refernetiele integriteit!

Wie zegt dat je dat nodig hebt?

Wie zegt dat je dat nodig hebt... Referentiele integriteit is toch alleszins een manier om je data consistent te houden.

Op maandag 04 februari 2002 17:30 schreef edstasy het volgende:
PostgreSQL, dat klint wel aardig inderdaad, maar is het niet zo dat er nog veel aan die database gesleuteld moet worden?

Nee. Het belangrijkste wat mist uit de SQL92 specificatie is schema's (en de bijbehorende cross-database queries). Voor de rest geldt dat wat er is werkt, en PostgreSQL is een van de meest standaard compliant databases die ik ken. Wat erg helpt bij het snel leren. (Als de SQL standaard zegt dat || de concatenation operator is moet je het tenslotte niet voor iets anders gaqan gebruiken.)

Ik kan het je zeer aanraden, en versie 7.2 is net uit.

Op dinsdag 05 februari 2002 18:14 schreef jochemd het volgende:
de meest standaard compliant databases die ik ken.

Ach, oracle doet dat ook best aardig (maar dat zal komen omdat ze een dikke vinger in de pap hadden bij het maken van die standaarden )

Ik kan het je zeer aanraden, en versie 7.2 is net uit.

Ow??

Waar? Staat nog niet op www.postgresql.org ...

Ik zou zeker geen MySQL gebruiken voor enigszins uitgebreide systemen.

Na een tijdje ga je je enorm ergeren het gebrek aan (vooral) subqueries en foreign keys.

Dan is postgresql echt een verademing.

Op dinsdag 05 februari 2002 18:37 schreef ACM het volgende:
Waar? Staat nog niet op www.postgresql.org ...

Maar het is wel voorbijgekomen op verschillende @postgresql.org mailinglists en het heeft ook even gestaan op een mirror voordat die onbereikbaar werd. Hij staat zelfs al in de news queue.

Op dinsdag 05 februari 2002 23:18 schreef jochemd het volgende:
Maar het is wel voorbijgekomen op verschillende @postgresql.org mailinglists en het heeft ook even gestaan op een mirror voordat die onbereikbaar werd. Hij staat zelfs al in de news queue.

Ik weet ie op stapel stond, maar het verbaasde me dat je het zei terwijl ik hem nog niet op de site zelf had gezien

Maar dat zal vandaag of morgen wel gebeuren dan

pgsql 7.2 is al een dag uit.
ik had al gepost in andere forum, maar werd niet echt gewaardeerd.

dan maar eens hier proberen te promoten

ftp://ftp.us.postgresql.org/source/v7.2/


[topic=401334/1/25]
daaro

Interbase

Nee serieus:
ik heb IB gebruikt op verschillende systemen, met grote en kleine databases, en niets dan goede ervaringen.

Bedrijf waar ik werkte, heeft Interbase gekozen om de volgende redenen:
1. gratis versie 6.Open iig.
2. performt als de neten
3. schaalbaar
4. platform-independent; een ib database file kan ik op elk OS openen

Waar ik me zorgen over maak/aan erger:
1. ODBC (wie gebruikt dat nog?) drivers zijn nogal brak.
2. geen standaard IDENTITY datatype (is wel te maken maar is wat complexer dan normaal bij bv MS SQL Server)
3. sommige LEFT JOINs heb ik nooit aan de praat gekregen, hoewel die op MS SQL gewoon draaiden.

Op woensdag 06 februari 2002 00:49 schreef Delphi32 het volgende:
2. geen standaard IDENTITY datatype (is wel te maken maar is wat complexer dan normaal bij bv MS SQL Server)

Dat heeft Oracle ook niet (toch?)

Op woensdag 06 februari 2002 10:22 schreef Altaphista het volgende:
Mijn conclusie hieruit zou dus zijn: wel MySQL gebruiken omdat het o.a. ook vrij veel concurrent users aankan

Waar baseer je die conclusie op?

Als je referientele integriteit nodig hebt zou ik absoluut niet voor mysql gaan, anders kan het wel...

Dat is de conclusie die je had moeten maken

We gebruiken op m'n werk ook PostgreSQL, met een vrij grote database (enkele 100.000 records, ruim 150 tabellen, max. 150 concurrent users). De database is niet heel erg geoptimaliseerd (indexen ontbreken erg vaak) maar het werkt wel goed. Enkele voordelen van PostgreSQL t.o.v. MySQL is de ondersteuning voor triggers, sub-selects, foreign keys, enz. Snelheid is wel redelijk.

Ik ga het binnenkort ook op m'n server thuis installeren. Het voordeel van MySQL is dat het best veel gebruikt wordt door webapplicaties, waardoor er erg veel documentatie is en veel tutorials beschikbaar zijn. Maar ik krijg de indruk dat PostgreSQL ook wel steeds meer gebruikt wordt. In de oudere versies zaten erg nasty bugs en eigenaardigheden, maar die zijn er nu wel voor het grootste deel uit. Wat betreft de commerciele databases heb ik niet veel ervaring, dus daar kan ik weinig over zeggen .

Het is zo jammer dat er geen Windows versie van Postgres is

Op woensdag 06 februari 2002 15:20 schreef Zef het volgende:
Het is zo jammer dat er geen Windows versie van Postgres is

Cygwin?

Op maandag 04 februari 2002 17:30 schreef edstasy het volgende:
PostgreSQL, dat klint wel aardig inderdaad, maar is het niet zo dat er nog veel aan die database gesleuteld moet worden?

edit:

Trouwens,
Oracle moet je wel goed onder de knie hebben volgens mij. Het schijnt errug ingewikkeld te zijn, toch?

waar ik werk hebben we vroeger met postgreSQL gewerkt .. waren we niet echt tevreden over .. qua performance

ik werk thuis zelf veel met mysql, gaat prima, 400k records is nog te overzien, maar ala GOT 4M .. neuh, zou ik me niet aan wagen.

Ik ben begonnen met Oracle 7 .. en is in principe zo moeilijk als je 't jezelf maakt ...

Ik vind Oracle absoluut niet zo moeilijk ,.

werk dagelijks met meerdere databases, waarvan de grootste zo'n 700.000 gebruikers heeft.,

komt ook al gauw op enkele miljoenen records uit .. no sweat,.

Hmmz, ben al een langere tijd bezig met het bouwen/uitbreiden van een opdracht.

Via PHP/MySQL is het mogelijk om trefwoorden in een databeest toe te voegen, op dit moment zitten er iets van 150.000 trefwoorden in, maar het is de bedoeling dat er ongeveer - volgens de opdrachtgever - iets van krap 10.000.000 trefwoorden moeten worden ingevoerd.

Uiteraard kan daar dan later weer op worden gezocht e.d.

Mijn vraag is, gaat MySQL dit trekken? In principe zijn die trefwoorden vrij kort en zullen die trefwoorden alleen worden gebruikt om te zoeken. Of moet ik toch aan optimalisatie gaan denken ergens? (hardware uitbreiden kan natuurlijk, meer geheugen in de server, aantal gebruikers enz., de tabel trefwoorden is an sich vrij eenvoudig en logisch opgezet)

Graag info van mensen die er ervaring mee hebben in ongeveer deze opzet.

Haha, is dat even lachen! Niet eens refernetiele integriteit!

Wie zegt dat je dat nodig hebt?

Toch wel een belangrijk onderdeel van een RDBMS... Al ben je uiteraard vrij in het wel of niet toepassen...

Als het puur om transactie performance gaat zou ik voor MSSQL kiezen, anders maakt het weinig uit...

Ik zou overigens eerst DB kiezen, en dan het bijbehorende OS. Dit staat los van eventuele webserver scripttaal (asp / php etc), tenzij je er voor kiest database op webserver te draaien (afgeraden!).

Nestor schreef op 25 september 2002 @ 14:44:
Hmmz, ben al een langere tijd bezig met het bouwen/uitbreiden van een opdracht.

Via PHP/MySQL is het mogelijk om trefwoorden in een databeest toe te voegen, op dit moment zitten er iets van 150.000 trefwoorden in, maar het is de bedoeling dat er ongeveer - volgens de opdrachtgever - iets van krap 10.000.000 trefwoorden moeten worden ingevoerd.

Uiteraard kan daar dan later weer op worden gezocht e.d.

Mijn vraag is, gaat MySQL dit trekken? In principe zijn die trefwoorden vrij kort en zullen die trefwoorden alleen worden gebruikt om te zoeken. Of moet ik toch aan optimalisatie gaan denken ergens? (hardware uitbreiden kan natuurlijk, meer geheugen in de server, aantal gebruikers enz., de tabel trefwoorden is an sich vrij eenvoudig en logisch opgezet)

Graag info van mensen die er ervaring mee hebben in ongeveer deze opzet.

Zoveel woorden zijn er waarschijnlijk niet eens

raptorix schreef op 25 september 2002 @ 15:04:
[...]
Zoveel woorden zijn er waarschijnlijk niet eens

Nou...het is vaak ook nog eens meerdere volgordes van woorden, e.g.:

-Zelfmoordpoging
-Moordpoging, zelf-
-Poging, zelfmoord

Zo loopt het dus gauw op...

Nestor schreef op 25 september 2002 @ 15:10:
[...]


Nou...het is vaak ook nog eens meerdere volgordes van woorden, e.g.:

-Zelfmoordpoging
-Moordpoging, zelf-
-Poging, zelfmoord

Zo loopt het dus gauw op...

Ah, bekijk dan ook eens de mogelijkheid om alleen unieke woorden in de table op te slaan en de combinaties in een aparte table.

- Budget maakt in principe niet uit, maar hoe goedkoper, hoe beter.

Dan valt DB/2 onder OS/390 op een IBM Z-series wel af denk ik?

El_BingO schreef op 04 februari 2002 @ 17:30:
PostgreSQL, dat klint wel aardig inderdaad, maar is het niet zo dat er nog veel aan die database gesleuteld moet worden?

Nee.

edit:

Trouwens,
Oracle moet je wel goed onder de knie hebben volgens mij. Het schijnt errug ingewikkeld te zijn, toch?

Dat hangt er van af of je developer of admin bent en hoe groot/complex de install is. Voor een developer is het behoorlijk gemakkelijk, alle feaures zijn er wel en zeker 9i heeft heel veel van de SQL standaard geimplementeerd. Als je ergens een voorbeeld tegenkomt van een bepaald SQL statement is de kans vrij groot dat het werkt. Als je alleen met Access o.i.d. gewerkt hebt moet je alleen even een beetje lezen over concepten zoals sequences, de dummy table etc., maar echt moeijlijk is dat nou ook weer niet.
Maar als je admin bent van een systeem van een paar terrabyte dan moet je wel wat kunnen.