NZB Search php script

[Verwijderd]

Beste Tweakers,

Ik vroeg me eens af hoe bijvoorbeeld www.binsearch.info werkt.
Ik neem aan gewoon met een php database, ik ben eigenlijk voor plan om voor mijn eigen site een soort van nzb zoek machine toe te voegen, weet iemand waar ik zoiets zou kunnen vinden ik heb namelijk al gekeken op hotscripts.com maar ik kan verder niets vinden.

[TeeDee]

Ik denk dat binsearch.info zelf headers download en deze in NZB format aanbiedt.

[PeterSelie]

TeeDee schreef op vrijdag 03 november 2006 @ 10:43:
Ik denk dat binsearch.info zelf headers download en deze in NZB format aanbiedt.

En hoe worden deze headers dan gedownload? Daarbij worden deze headers dus ergens opgeslagen, want de zoekmachine gaat niet elke keer dat er een zoekfunctie uitgevoerd wordt alle headers downloaden en doorzoeken

[The CarNagE Man]

SoaDmaggot schreef op vrijdag 03 november 2006 @ 10:47:
[...]

En hoe worden deze headers dan gedownload? Daarbij worden deze headers dus ergens opgeslagen, want de zoekmachine gaat niet elke keer dat er een zoekfunctie uitgevoerd wordt alle headers downloaden en doorzoeken

Ze hebben een storage array draaien had ik eens gelezen... daar staan al die headers op...
ze halen ze van Giganews vandaan omdat die 99dagen retentie heeft...

[TeeDee]

SoaDmaggot schreef op vrijdag 03 november 2006 @ 10:47:
[...]

En hoe worden deze headers dan gedownload? Daarbij worden deze headers dus ergens opgeslagen, want de zoekmachine gaat niet elke keer dat er een zoekfunctie uitgevoerd wordt alle headers downloaden en doorzoeken

Ongetwijfeld, maar dat lijkt mij juist de insteek van zelf programmeren.
Het headeren doe je incrementeel om de n minuten. Dit sla je op en klaar.

Begin dus eerst met een account bij een News server, of neem een test-account. Trek de headers binnen (middels een NNTP script/tool, genoeg over te vinden.) en sla dit op in een DB/Array whatever.

Ik denk ook niet dat je dit alleen in php moet doen. Het headeren doe je het beste in een aparte backend tool (C(++), C# enz.) en imo zeker niet in een script.

Het uitpoepen van NZB doe je met behulp van een script (php/asp/ etc.).

Zo, nu heb ik toch mijn hele idee uitgeschreven.

[RoelZ]

Zijn hier nog mensen mee bezig?
Ik ben zelf al een tijdje aan het denken over zo'n eigen systeempje te maken. En het klopt idd (bijna) exact zoals TeeDee dit zegt!
Ik wil namelijk op/via mijn eigen website kunnen zoeken naar files in nieuwsgroepen. Wanneer ik een goed resultaat heb, de NZB parsen en direct naar mijn server schrijven. Mijn NewsLeecher pikt dit bestandje automatisch op en begint met downloaden. Dit is voor mij vet handig omdat ik dan remote altijd mijn server commands kan geven om te downloaden op een universele (webbased) manier, zeg maar. Zit ook nog te denken aan functies zoals voortgang, grootte, snelheid en de uiteindelijke map door te laten mailen of echo'en via de browser.


Kortom: Ik wil graag zelf het geheel kunnen scripten/schrijven, maar dan moet ik wel aan info kunnen komen van posts in nieuwsgroepen. OF! ik moet gebruik maken van al bestaande middelen en die implementeren.

Dit is wat ik zelf gevonden heb:

Newzbin is de maker van de NZB files. Dit is gewoon een XML file met een standaard structuur.
http://docs.newzbin.com/Newzbin:NZB_Specs

Via newzbin kun je reportid's ophalen. En deze reportid's kun je dan laten parsen tot een NZB file. Namelijk via DirectNZB.
http://docs.newzbin.com/Newzbin::DirectNZB
In deze handleiding staat een url naar hun fetching server. Deze POST je gewoon je gegevens toe en hun creeren een NZB voor je.

Dit is me alleen nog niet gelukt omdat ik vrees dat je perse een account bij Newzbin (v3) nodig hebt om Report_ID's in te mogen zien. En dat kost geld. Niet veel, maar wel weer lekker ongemakkelijk!

Ik probeer momenteel een andere oplossing te zoeken. Mij lukt het vast wel om via PHP een automatische XML parsing te maken volgens de standaard van NewzBin. Maarrr.. ik weet alleen nog niet hoe ik aan de gegevens kom binnen de nieuwsgroepen. Open maar eens een keer zo'n NZB met notepad. Daar staan wat elementen in die je ergens moet kunnen ophalen. Ook hun DTD zegt me verder niks.

Heb het momenteel nog maar gehouden op een eigen web formulier. Waarin ik gewoon de standaard binsearch.info functies gemaakt heb. En wanneer de gebruiker op zoeken drukt op mijn server. Hij binsearch.info raadpleegt met de GET variabelen. Hier kun je dan gewoon weer zoals iedereen doet het NZB fetchen. En tja, dat moet dan eigenlijk nog direct naar mijn server geupload kunnen worden.

Ik weet, dit is een grote tekst, maar ik hoop dat iemand wat ideëen krijgt en mij (en evt. andere) daardoor weer verder op weg te helpen.

Alvast bedankt

[ Voor 4% gewijzigd door RoelZ op 16-02-2007 14:27 ]

[Verwijderd]

Headers ophalen maakt niet veel uit of je dat nu met C ofzo, of met PHP doet. Het blijft gewoon parsen en opslaan van ascii data. Gewoon een aantal php scripts met een NICE via een crontab laten draaien zou afdoende moeten zijn. Zoveel magic is het parsen van headers niet

[RoelZ]

Verwijderd schreef op vrijdag 16 februari 2007 @ 14:44:
Headers ophalen maakt niet veel uit of je dat nu met C ofzo, of met PHP doet. Het blijft gewoon parsen en opslaan van ascii data.

Het is idd niet zo veel magic.. dat parsen van headers.. maar waar halen wij deze headers vandaan! Dat is heel mijn issue eigenlijk.

[TeeDee]

Neem een account op een Nieuws server.

Desnoods test je dit bij jouw eigen provider, en als dit werkt, stap je over op bijvoorbeeld Giganews. Maarrrr... dat werd al vermeld in de 4e post.

[RoelZ]

TeeDee schreef op vrijdag 16 februari 2007 @ 15:26:
Neem een account op een Nieuws server.

Desnoods test je dit bij jouw eigen provider, en als dit werkt, stap je over op bijvoorbeeld Giganews. Maarrrr... dat werd al vermeld in de 4e post.

Sorry maar dit heb ik al lang natuurlijk! Ik maak al dik een jaar gebruik van eweka. Het enige wat ik wil is via mijn eigen website kunnen zoeken naar files op newsgroups (zoals binsearch.info dat doet) en wanneer ik op create NZB druk. Hij het upload naar mijn server. Meer niet!

[Verwijderd]

http://binaries.nl/faq/api.html

Ik denk dat je aan bovenstaande link wel iets hebt. :-)

[TeeDee]

Feutis991 schreef op vrijdag 16 februari 2007 @ 15:43:
[...]


Sorry maar dit heb ik al lang natuurlijk! Ik maak al dik een jaar gebruik van eweka. Het enige wat ik wil is via mijn eigen website kunnen zoeken naar files op newsgroups (zoals binsearch.info dat doet) en wanneer ik op create NZB druk. Hij het upload naar mijn server. Meer niet!

Och, als jij vraagt waar je de headers vandaan haalt ga ik er vanuit dat je dat nog niet had.
Ik zou zeggen: duik in het NNTP protocol om mee te beginnen en ga kijken of je je headers kan parsen.

Of die api link van CoD_nl. Scheelt je een hele hoop werk.

[ Voor 4% gewijzigd door TeeDee op 16-02-2007 16:11 ]

[BestTested!]

Feutis991 schreef op vrijdag 16 februari 2007 @ 14:25:
Zijn hier nog mensen mee bezig?
Ik ben zelf al een tijdje aan het denken over zo'n eigen systeempje te maken. En het klopt idd (bijna) exact zoals TeeDee dit zegt!
Ik wil namelijk op/via mijn eigen website kunnen zoeken naar files in nieuwsgroepen. Wanneer ik een goed resultaat heb, de NZB parsen en direct naar mijn server schrijven. Mijn NewsLeecher pikt dit bestandje automatisch op en begint met downloaden. Dit is voor mij vet handig omdat ik dan remote altijd mijn server commands kan geven om te downloaden op een universele (webbased) manier, zeg maar. Zit ook nog te denken aan functies zoals voortgang, grootte, snelheid en de uiteindelijke map door te laten mailen of echo'en via de browser.

Kortom: Ik wil graag zelf het geheel kunnen scripten/schrijven, maar dan moet ik wel aan info kunnen komen van posts in nieuwsgroepen. OF! ik moet gebruik maken van al bestaande middelen en die implementeren.
....

Waarom het wiel nogmaals uitvinden? http://sourceforge.net/projects/sabnzbd/
Als je het zelf maakt, heb je wel meteen op maat, maar dit komt aardig in de buurt.

[RoelZ]

Kijk! Dit zijn idd de linkjes die ik zocht! Thanks mensen! Daar kan ik mooi gebruik van maken!

[Verwijderd]

Ik zou zo'n zoekmachine niet onderschatten.

Je hebt echt massive veel data. In een beetje nieuwsgroep zitten met een beetje retentie zo vijftig miljoen parts. Die moet je allemaal verwerken en opslaan, en voornamelijk snel doorzoekbaar maken.

Succes

[PeterSelie]

Verwijderd schreef op zaterdag 17 februari 2007 @ 11:25:
Ik zou zo'n zoekmachine niet onderschatten.

Je hebt echt massive veel data. In een beetje nieuwsgroep zitten met een beetje retentie zo vijftig miljoen parts. Die moet je allemaal verwerken en opslaan, en voornamelijk snel doorzoekbaar maken.

Succes

Dan zal de TS inderdaad rekening gaan moeten houden met wat wel en wat niet te indexen.
Er zijn een groot aantal algemene groepen (zoals a.b.boneless) waar een hele grote variatie aan spul gepost wordt, en kleine groepen waar vaak precies hetzelfde langskomt. Dan zal je waarschijnlijk beter kunnen kiezen voor a.b.boneless dan al die groepen appart te indexeren.

[RoelZ]

Verwijderd schreef op zaterdag 17 februari 2007 @ 11:25:
Ik zou zo'n zoekmachine niet onderschatten.

Je hebt echt massive veel data. In een beetje nieuwsgroep zitten met een beetje retentie zo vijftig miljoen parts. Die moet je allemaal verwerken en opslaan, en voornamelijk snel doorzoekbaar maken.

Succes

Ik ga het vandaag even uitzoeken wat reëel en bruikbaar is. Maar zoals ik je reactie lees zal dit waarschijnlijk een no-go worden.
Heb ik alleen nog de vraag. Is er een mogelijkheid om de results van bv. binsearch.info te printen op je eigen website?

[TeeDee]

Dat zou mogelijk kunnen zijn, maar of de mensen achter binsearch.info dat wel zo prettig vinden is een 2e.

[Verwijderd]

TeeDee schreef op maandag 19 februari 2007 @ 09:14:
Dat zou mogelijk kunnen zijn, maar of de mensen achter binsearch.info dat wel zo prettig vinden is een 2e.

Als binsearch.info van mij was en ik zou dit lezen dan zou ik even langs Feutis991 rijden en een molotov bij 'em naar binnen gooien.

Als je iets hips wil hebben moet je het zelf maken, en niet gebruik maken van andersmans kunsten, vind ik

[PeterSelie]

Verwijderd schreef op donderdag 22 februari 2007 @ 01:15:
[...]

Als binsearch.info van mij was en ik zou dit lezen dan zou ik even langs Feutis991 rijden en een molotov bij 'em naar binnen gooien.

Als je iets hips wil hebben moet je het zelf maken, en niet gebruik maken van andersmans kunsten, vind ik

Beetje een erg rare uiting van mening niet? Het is toch ook mogelijk google zoeken op je site neer te planten met resultaten en al?

Ligt er uiteraard aan hoe je het doet, een eigen zoekbarretje maken en gewoon de resultaten van Binsearch printen zonder enige credits of iets en claimende dat het je eigen ding is zal inderdaad niet op prijs gesteld worden. Een zoekert die linkt naar binsearch.info zal echter andere koek zijn.

Credits doen wonderen

[ Voor 22% gewijzigd door PeterSelie op 22-02-2007 01:35 ]

[Verwijderd]

SoaDmaggot schreef op donderdag 22 februari 2007 @ 01:30:
[...]
Een zoekert die linkt naar binsearch.info zal echter andere koek zijn.

Klopt, maar op elke andere manier zou ik het niet kunnen warderen.

Meeliften op iemand anders' succes noemen we dat.

[PeterSelie]

Verwijderd schreef op donderdag 22 februari 2007 @ 01:47:
[...]

Klopt, maar op elke andere manier zou ik het niet kunnen warderen.

Meeliften op iemand anders' succes noemen we dat.

Ik heb het altijd gekent als het verspreiden / bekent maken van andermans werk, en hieraan een dus succes bijbrengen

[Verwijderd]

SoaDmaggot schreef op donderdag 22 februari 2007 @ 09:08:
[...]

Ik heb het altijd gekent als het verspreiden / bekent maken van andermans werk, en hieraan een dus succes bijbrengen

Haha wel de credits vermelden dan !