URLs expansie

[elevator]

hoi ,

Kan die URL-naar-titel-omzetting ook aan voor:

• http://*.microsoft.com/ en http://*.msdn.com/
  • Zeer goede titels, zie bv:
    • http://www.microsoft.com/...rs/tsusvb10.mspx?mfr=true
    • http://www.microsoft.com/sql/support/lifecycle.mspx
    • http://channel9.msdn.com/showpost.aspx?postid=226791
    • etc

[Johnny]

Voor die eerste zeker niet, in de broncode staat namelijk gewoon 'Microsoft Corporation' en de rest van de inhoud wordt daarna met JavaScript overschreven en ingevuld.

[crisp]

Die eerste is een frameset, dus daar gaat het zeker de mist in. msdn.microsoft.com gebruikt ook nog veel frames, voornamelijk de MSDN Library dus ook daar is het niet overal nuttig.

[elevator]

crisp schreef op vrijdag 18 augustus 2006 @ 10:02:
Die eerste is een frameset, dus daar gaat het zeker de mist in. msdn.microsoft.com gebruikt ook nog veel frames, voornamelijk de MSDN Library dus ook daar is het niet overal nuttig.

Inderdaad - toch zie je dat er bij veel URLs onder het microsoft.com domein geen frames worden gebruikt - pak bv. http://www.microsoft.com/.../overview/printuidll.mspx waar de title tag gewoon netjes is

[crisp]

True, maar wij maken onderscheid voor het wel/niet gebruiken van de URL-omzetting op basis van het (sub)domain wat het voor (www.)microsoft.com gewoonweg niet bruikbaar maakt.

[elevator]

Kan je dat niet in URL veranderen dan - zodat je een gedeeltelijke match kan doen?

[crisp]

Eigenlijk voel ik er weinig voor om daar hele horden regexp's op los te gaan laten. Ik wacht wel totdat MS z'n website een beetje op orde heeft...

[elevator]

Nou - er is op dat vlak niet zo veel mis met de website natuurlijk. Op een site als MSDN misstaan frames totaal niet, dus dat is het probleem niet

Mooier zou natuurlijk zijn als de title-crawler automatisch de frames zou afgaan, maar dat is misschien iets voor 1.9.5?

[Spider.007]

elevator schreef op donderdag 07 september 2006 @ 12:44:
[...]

Mooier zou natuurlijk zijn als de title-crawler automatisch de frames zou afgaan, maar dat is misschien iets voor 1.9.5?

En dan zelf op zoek gaat naar het Javascript waar de titel wel niet vandaan moet komen? Ik dacht het niet

[crisp]

* crisp agrees with Spin
Kortom: voor een site als die van Microsoft is het gewoon undoable, enkele subdomains daargelaten.
Ik ben niet van plan de URL-matcher aan te gaan passen naar allerlei reguliere expressies en/of een path-matcher, sorry but no dus...