Wildcard whois

[Bloged]

Ok ik heb deze vraag ook al op Dutchdevelopers.nl gesteld, maar daar kwam ik niet verder en werd ik op deze site gewezen! Het is de bedoeling dit in PHP te verwerken

<orgineel bericht>
Hallo allemaal!

Ik vroeg me af hoe sites zoals http://www.klinktals.nl & http://domain.prenames.com een soort van wildcard whois kunnen uitvoeren!

Ik kom niet verder dan een standaard whois request voor een domeinnaam!

Heeft iemand enig idee hoe ze dit doen?
</orgineel bericht>

De al gegeven antwoorden op deze vraag staan hier: http://www.dutchdevelopers.nl/forum/lees.php3?forumid=1&lees=3106

Ik hoop dat iemand hiero er antwoord op kan geven!

Grtz,

Bloged

[Janoz]

Waarschijnlijk hebben ze:
1 - een database waarin ze proberen een zo compleet mogelijke verzamelingen van domeinnamen te zetten
2 - een leuk zoekalgoritme om door die domeinnamen heen te zoeken

[Bloged]

Het is een onbegonnen werk om alle domeinnamen in een database te zetten; doordat je op het moment dat je begint je eerst alle geregistreerde domeinnamen moet weten en daarna elke dag de nieuwe moet weten das onbegonnen werk!

En dat algoritme is ook een vrij stugge omdat ze als je "whois" ingeeft je:

i-whois
smswhois
superwhois
wapwhois
whoisdaddy
whoisnext
whoisonline
whoiswho

als output krijgt! Maar tik je "sex" in krijg je 2847 resultaten!

Grtz,

Bloged

[MrBrown]

Op dinsdag 06 november 2001 15:32 schreef Bloged het volgende:
Het is een onbegonnen werk om alle domeinnamen in een database te zetten; doordat je op het moment dat je begint je eerst alle geregistreerde domeinnamen moet weten en daarna elke dag de nieuwe moet weten das onbegonnen werk!

Dus "normale" zoekmachines als google, altavista en yahoo zoeken ook realtime volgens jou, en hebben niets geindexeerd staan? In denk toch echt dat er een database is aangemaakt die up-to-date mogelijk wordt gehouden...

En dat algoritme is ook een vrij stugge omdat ze als je "whois" ingeeft je:

i-whois
smswhois
superwhois
wapwhois
whoisdaddy
whoisnext
whoisonline
whoiswho

als output krijgt! Maar tik je "sex" in krijg je 2847 resultaten!

Deze snap ik niet helemaal... Aan het feit dat de zoekterm "whois" minder resultaten opleverd als "sex" leid je af dat er geen algoritme is? Er is altijd een algoritme, al is het alleen maar "zoek naar *zoekterm*"...

[Janoz]

hmm .. ff een rekensommetje:

nemen we voor een domeinnaam maximaal 256 karakters (is minder, maar dit rekend makkelijker) Elk karakter neemt een byte (kan ook minder want lang niet alle tekens van de 256 ansi karakters zijn toegestaan)

4 in 1kB =1024 B = 4 x 256 B
4000 in 1 MB
4000000 in 1 GB
4000000000 in 1 TB


maw .. met een normale harde schijf kom je een heel eind.. Daarnaast zijn er hele goede systemen om deze dataset simpel doorzoekbaar te maken.. Als je hier vervolgens een bepaalde structuur inzet (domeinnamen die op elkaar lijken met elkaar verbinden ed) kun je heel makkelijk hier doorheen zoeken....

[raptorix]

Omdat ze waarschijnlijk een database gebruiken met een soundex achtige functie, voor sqlserver heb je zo een functie en voor oracle ook zoiets, weet niet hoe het met andere databases zit, de grap is dat je een query doet en dan waardes terug krijgt met een getal wat de mate van fonetische gelijkheid aangeeft.

[Bloged]

Nee het is niet zo dat er twee verschillende uitkomsten gelijk betekenen dat het geen algoritme is maar een voor een domeinnamen laten genereren is lang werk rekensommetje:

256 karakters voor een domeinnaam (langst mogelijk (.com)) en ongeveer 30 tekens voor een naam is 256 tot de 30ste macht dat komt uit op 1,7668470647783843295832975007429e+72 verschillende domeinnamen mogelijk!

Om te controleren of die allemaal vrij zijn moet je:
1) of een eigen database hebben! en daarin controleren, maar de database van SIDN mag/kan je niet zomaar kopieren en een voor een invoeren is ook geen doen, omdat je niet alle domeinnamen weet die zijn geregistreerd! Dus een eigen database aanleggen wordt lastig.
2) elke keer deze domeinnamen controleren maar dan ben je een eeuwigheid bezig voordat er ooit eens een output komt neem maar eens een duizendste sec.

Daarom lijkt me de enige mogelijkheid dat er een soort wildcard mogelijkheid bestaat om te zoeken in de database van de SIDN.

Neem maar eens http://www.afilias.info (officieel beheerder van de .info) daar kan je een wildcard whois opgeven door een % als wildcard teken te gebruiken A% geeft dus een heel zooitje domeinnamen beginnend met een A.

Grtz,

Bloged

P.S. Tuurlijk zoeken http://www.google.com en http://www.altavista.com niet realtime. Maar die hebben een mogelijkheid tot het aanleggen van een database, omdat daar de gebruikers hun domeinnaam aantoevoegen. En dat gebeurd hier niet!