[XML] XML file van 1,2 GB

[ThaDaNo]

Hoi,
Ik heb net de dmoz.org dumps gedownload à 1.2 GB, waar je de complete structuur + data van dmoz.org gratis kunt halen. Ik wilde alle 3.8 miljoen URL's die in dat XML bestand staan in een mysql database zetten. Dat is niet het probleem, dat kanik wel.
het probleem is dat ik geen enkele parser kan vinden die dit bestand accepteert. elke parser die ik probeer crasht (waarschijnlijk omdat ik te weinig RAM heb)
Ik heb zelf al een paar programma's geschreven maar die crashen ook..
Toch zou ik heel graag deze URL's eruit halen. Is er iemand die hier iets voor weet?

[ Voor 15% gewijzigd door ThaDaNo op 02-04-2003 18:29 . Reden: zinnen stonden verkeerd om ]

[drm]

Is het niet mogelijk het xml bestand in stapjes te verwerken en op die manier maar een bepaald gedeelte van het geheugen te belasten? Wat is ongeveeer het formaat van het XML bestand?

[ThaDaNo]

Ik dacht er zelf ook al aan om dat bestand in stukjes te verwerken, maar om het te splitten moet ik dan nog altijd het hele bestand openen.
de XML ziet er als volgt uit: http://rdf.dmoz.org/rdf/content.example.txt

[drm]

Als je een string zou moeten splitten moet je inderdaad eerst een hele string hebben. Maar het is misschien beter zelf een eenvoudige "parser" te schrijven die de elementen uit het bestand uitleest en verwerkt. Het hoeft in dit geval natuurlijk helemaal niet generiek te zijn

Met welke taal c.q. platform zou je 't op willen lossen?

[mbravenboer]

Je gebruikt zeker alleen parsers met een DOM interface? Met een SAX (event gebaseerde) interface zou het goed mogelijk moeten zijn om enorme files te verwerken.

[ThaDaNo]

Het liefst in php, omdat de hele applicatie daar in is geschreven, maar ik beheers ook VB
Zelf een eenvoudige parser schrijven had ik dus al gedaan, maar die parser opent het bestand compleet..wacht even, ik kan natuurlijk de fread gebruiken met een limiet van zoveel kB...
Dat ga ik ff bekijken

edit: @ mbravenboer, ook dat zal ik even gaan bekijken

[ Voor 9% gewijzigd door ThaDaNo op 02-04-2003 18:43 ]

[Spider.007]

In hoeverre zou een PHP script dit probleem op kunnen lossen Ik weet namelijk niet precies hoe deze zijn geheugen gebruikt voor het inlezen van files....

ok, dat wil je dus ook gebruiken..... wat heb je al geprobeerd en hoe ging dat?

[ Voor 22% gewijzigd door Spider.007 op 02-04-2003 18:48 ]

[ThaDaNo]

Dat zit ik nu dus ook even te bekijken. Ik hoop dat hij alleen iets uit het bestand trekt als ik er echt om vraag, met een fread. Maar dat check ik nu dus ff

[hobbit_be]

ik beaam mbravenboers comment aangezien je code niet super genest is een SAX idd heel goed te doen alhoewel die natuurlijk niet zo eenvoudlig 'interface' heeft als DOM. mocht je het in mySQL willen zetten en je kent PHP kun je dat daar 'eenvoudig' doen.

http://www.zdnet.com.au/b...000034810,20265894,00.htm

[Spider.007]

Heeft iemand enig idee in wat, rekening houdend met eventuele compressie, de grootte van het bestand in mySQL zal worden?

[ThaDaNo]

het zal ongeveer 200 mb worden schat ik (ik heb nu 200,000 url's in die tabel staan en dat neemt ong 20 MB in)
maar das verder geen probleem

overigens zie ik net dat de standaard php parser een SAX parser is..ff mee klooien hoor

[ Voor 31% gewijzigd door ThaDaNo op 02-04-2003 18:59 ]

[Spider.007]

hmmmm ik ben wel geinteresseerd in een zipped SQL file Dat zal waarschijnlijk redelijk klein zijn (ook 200 Mb ofzo )

[Soultaker]

Welke XML parsers heb je zoal geprobeerd? Ik kan me nauwelijks voorstellen dat een parser als C-Expat of RXP echt moeite heeft met een simpel gestructureerd bestandje (al is het dan groot).

[ThaDaNo]

Ik heb gewoon een paar parsers gebruikt die ik met google heb gevonden..een paar in php die met regexen werkten enzo (wat helemaal niet werkte). En ook een paar DOM-parsers..Die ervoor zorgden dat de complete pc flipte

Over die zipped SQL file, ik vind het best, ik ga zometeen of morgenochtend Expat proberen (hangt ervanaf of er nog iets op TV is) en wat mij betreft kun je em best krijgen, als ik em heb..

[ Voor 5% gewijzigd door ThaDaNo op 02-04-2003 19:49 ]

[mbravenboer]

Dat werken met een DOM interface niet goed gaat is nogal wiedes: de meeste parsers hebben geen lazy DOM en dus wordt de hele XML file in een DOM representatie in het geheugen geladen. Dat gaat natuurlijk niet werken.

Een Pull of een SAX interface is de oplossing.

[Spider.007]

DaNo2002 schreef op 02 April 2003 @ 19:47:
Over die zipped SQL file, ik vind het best, ik ga zometeen of morgenochtend Expat proberen (hangt ervanaf of er nog iets op TV is) en wat mij betreft kun je em best krijgen, als ik em heb..

Klinkt goed

[ThaDaNo]

Ik heb inmiddels dus een SAX parser gedownload op jouw aanraden (waarvoor dank) en ga hem straks proberen.
Dat ik een DOM parser gebruikte komt alleen maar omdat ik DOM ben en eigenlijk het verschil niet wist.. Nu wel dus

[ThaDaNo]

Inmiddels heb ik met Expat en PHP (Ja, ik ben gek ) een script geschreven dat het bestand ontleedt en in de mysql db zet. Het script draait nu al 1 uur goed.

Expat was dus de parser die ik zocht, thanks!

(oh, spider.007, ik mail je nog wel over hoe we dat regelen met die DB..eerst moet k em nog wel laten converten)

edit: de converter is nu klaar, de parser is weer vrij, maar de mysqld kan de stortvloed aan data niet goed hebben
hij is nu dus druk bezig met al die insert queries verwerken en ze naar me HD sturen.

[ Voor 25% gewijzigd door ThaDaNo op 03-04-2003 14:44 ]

[Spider.007]

DaNo2002 schreef op 03 April 2003 @ 14:14:
(oh, spider.007, ik mail je nog wel over hoe we dat regelen met die DB..eerst moet k em nog wel laten converten)

Klinkt goed -->

[killercow]

stoer DaNo, zou ik ook een kopie van ej mysql mogen hebben?
Eventueel wil ik wel even een mirror opzetten op een van m'n colo bakken zodat een x aantal mensen (voor een gelimiteerde tijd) hem kunnen downloaden daar vandaan.

[ThaDaNo]

Tsjek je inbox

[ Voor 10% gewijzigd door ThaDaNo op 05-04-2003 17:20 ]

[cybermans]

woei dat lijkt me een mooie test om te kijken hoe stabiel me gentoo linux is op me laptop (k6 450)

[Spider.007]

Heeft er iemand ruimte om een file van ongeveer 40 Mb een tijdje snel te hosten? Ik heb hier alle 3,475,600 records in een bestand van 40 Mb geperst (en dat is kleiner dan de 70 van DaNo )

[ThaDaNo]

Hij duurt dan ook veel langer om te importeren want het is een insert query bestand

[Spider.007]

Aangezien mijn iNet verbinding niet supersnel is maar ik alle tijd van de wereld heb; heb ik liever een bestand van 40 Mb dat er een half uurtje over doet om werkend te worden; dan een bestand van 70 Mb dat instant klaar is. Voor mensen met snel internet geld dat uiteraardt niet. Voor de hoster van de file geld dit echter juist weer wel

[Verwijderd]

nou test m'n anonymous account @ pietertje.nl

ftp:
host: ftp.pietertje.nl
user: [e-mail]
pass: [e-mail]

ik gooi hem er af als ik er meer dan 1 GB gedownd is...

[Spider.007]

Ik ben bezig met uploaden. Voor de mensen die hem willen halen; de gegevens van pietertje moet je exact overnemen.

Hij staat er inmiddels op

Pietertje; kun jij 'iets' aanpassen zodat mensen hem ook kunnen downloaden? Verplaatsen uit de incoming oid?

code:

b327d9afcfc1aa9de4be8720b2f80f2c *dmoz.tar.gz

[ Voor 30% gewijzigd door Spider.007 op 06-04-2003 23:24 ]

[Verwijderd]

gedaan... waarvoor is die md5 nodig?

[curry684]

DaNo2002 schreef op 02 april 2003 @ 18:28:
Hoi,
Ik heb net de dmoz.org dumps gedownload à 1.2 GB, waar je de complete structuur + data van dmoz.org gratis kunt halen. Ik wilde alle 3.8 miljoen URL's die in dat XML bestand staan in een mysql database zetten. Dat is niet het probleem, dat kanik wel.
het probleem is dat ik geen enkele parser kan vinden die dit bestand accepteert. elke parser die ik probeer crasht (waarschijnlijk omdat ik te weinig RAM heb)
Ik heb zelf al een paar programma's geschreven maar die crashen ook..
Toch zou ik heel graag deze URL's eruit halen. Is er iemand die hier iets voor weet?

Allemaal hele stoere ideeen die hier langskomen die allemaal vast en zeker perfect werken, maarruh wellicht een idee om de volgende keer voor de simpele 5-minute boerenlullenoplossing te kiezen en je pagefile tijdelijk te vergroten naar 2Gb?

[Spider.007]

Voor de luie mensen dus: de DMOZ database (44391 KB) En de MD5 is voor mensen om de download te checken

[ThaDaNo]

curry684 schreef op 07 April 2003 @ 16:51:
[...]

Allemaal hele stoere ideeen die hier langskomen die allemaal vast en zeker perfect werken, maarruh wellicht een idee om de volgende keer voor de simpele 5-minute boerenlullenoplossing te kiezen en je pagefile tijdelijk te vergroten naar 2Gb?

Ja, alsof die HD nog niet zwaar genoeg belast is met 10 miljoen SQL-queries...

[curry684]

DaNo2002 schreef op 08 april 2003 @ 16:30:
[...]

Ja, alsof die HD nog niet zwaar genoeg belast is met 10 miljoen SQL-queries...

Je hoeft die conversie toch maar 1 keer te doen en zo. Nachtje doorpompen gaat je HD echt niet dood aan hoor.

[ThaDaNo]

Heel fijn allemaal, maar ik doe het gewoon met SAX

[Verwijderd]

Hey , zou het mogelijk zijn om die dmoz.org dump nog eens online te plaatsen ?
Anders zet ik nu effen een account op waar het constant van gedownload kan worden ....

Iemand geïnteresseerd om het te uploaden op mijn server ?

Greetz,
Rj

[Spider.007]

Verwijderd schreef op 24 juli 2003 @ 18:32:
Hey , zou het mogelijk zijn om die dmoz.org dump nog eens online te plaatsen ?
Anders zet ik nu effen een account op waar het constant van gedownload kan worden ....

Iemand geïnteresseerd om het te uploaden op mijn server ?

Greetz,
Rj

Zoals ik je ook al via ICQ had laten weten vraag ik mij af of mensen deze dump wel willen hebben

[ThaDaNo]

Ik denk dat ik hem al niet meer heb... Misschien jij nog Spider.007?

[Spider.007]

ik heb hem nog; en ga hem zodirect naar jRown uppen die hem als het goed is publiek toegankelijk zal maken

[Verwijderd]

Ok guys, de file is momenteel aan het uploaden, en zal binnen een halfuurtje online staan op dit adres:

http://216.74.97.196/dmoz_url.zip

Zo kan iedereen de dump downen, en zal online blijven, zolang de traffic niet gigantisch wordt

[Spider.007]

als Spider.007 niet zou hebben vergeten om eventjes BIN in te voeren voor het uploaden... Nog een half uurtje geduld dus

[alienfruit]

Jammer dat hij niet online is, ik wil hem best hosten (toch unlimited traffic ) alleen de url hier zijn allen dood. Je kunt me ook mailen (zie profiel)

Hmm. Ik zit lekker te slapen zeg, DMOZ daar werk ik aan mee ik heb meegeholpen met aan de inhoud/categorizeren van de CMS Directory (http://dmoz.org/Computers...gement/Content_Management)

[ Voor 43% gewijzigd door alienfruit op 24-07-2003 21:10 . Reden: ach, niet helemaal wakker, net 3,5uur gereisd klote trein }) ]

[Spider.007]

Goed; hij staat erop!

http://216.74.97.196/dmoz_url.sql.zip

[alienfruit]

Hij komt zometeen op http://www.profusiondesign.nl/files/dmoz_url.sql.zip te staan als ie klaar is met downloaden (~120kb/s)

Naja. Toch maar bij een collega gehost gehost, hij kreeg het bestand niet verplaats: http://www.weyert.com/dmoz_url.sql.zip

[ Voor 37% gewijzigd door alienfruit op 24-07-2003 22:01 ]

[Spider.007]

alienfruit schreef op 24 July 2003 @ 21:39:
Hij komt zometeen op http://www.profusiondesign.nl/files/dmoz_url.sql.zip te staan als ie klaar is met downloaden (~120kb/s)

Naja. Toch maar bij een collega gehost gehost, hij kreeg het bestand niet verplaats: http://www.weyert.com/dmoz_url.sql.zip

euh jah....

Verwijderd schreef op 24 July 2003 @ 20:15:
Ok guys, de file is momenteel aan het uploaden, en zal binnen een halfuurtje online staan op dit adres:

http://216.74.97.196/dmoz_url.zip

Zo kan iedereen de dump downen, en zal online blijven, zolang de traffic niet gigantisch wordt

Al die mensen die op willen scheppen met hun datalimieten In ieder geval staat hij nu weer even veilig

[alienfruit]

Ik schep niet op ik wilde alleen duidelijk maken dat de traffic geen enkel probleem is.... Als hij de 1gig versie heeft dan wil ik die ook wel hosten hoor

[ Voor 28% gewijzigd door alienfruit op 25-07-2003 00:55 ]