os x spotlight functionaliteit... ook mogelijk op linux?

[Verwijderd]

Momenteel ben ik aan het bekijken hoe en wat voor server ik voor mijn architectuur buro wil opzetten. Ben zeer onder de indruk van wat Apple geflikt heeft met Spotlight.
Nu heb ik geen zin een dure OSX server te gaan aanschaffen ''alleen'' voor spotlight zoekfuncties. Heb nog een dual p2 400 staan, en ben van plan met Suse 9.1 te gaan werken... heeft iemand een suggestie hoe ik een dergelijke sublieme indexing aan mijn server zou kunnen geven? cheers, jelle

edit:

spotlight: http://www.apple.com/macosx/tiger/spotlighttech.html

so metadata it is huh...

[ Voor 13% gewijzigd door Verwijderd op 22-09-2004 15:00 ]

[Wilke]

Misschien is het leuk als je even uitlegt wat Spotlight dan precies doet, aangezien de meeste mensen hier geen Mac OS X draaien...

[RM-rf]

Spotlight is gewoon een manier om slim gebruik te maken van metadata binnen het Filesystem:
Hierop uitgebreidde zoekfunctionaliteiten te baseren.

Namesys heeft recent Reiser4 gepubliceerd, voor 2.6kernel en dit heeft dezelfde mogelijkheden;
echter de mogelijkheden hiervan zijn slechts in ontwikkeling, en doordat er geen eenduidig bedrijf achter zit, zoals bij Apple wel het geval is (die hebben zelf tov van MS een voordeel dat ze redelijk nauwe controle hebben over de softwareontwikkelaars en deze ook zeer strak houden aan de vereisten van het FS) ,
zal de ontwikkeling hiervan op linux-gebied wel een tijdje achterlopen.

[ Voor 7% gewijzigd door RM-rf op 22-09-2004 14:50 ]

[Verwijderd]

Van wat ik van spotlight begrepen heb is het niet slechts van toepassing op meta_data maar op de eigenlijke data in het bestand... het verhoudt zich meer tot google in dat opzicht...

Wat mij interesseert is de mate van zelf-organisatie dat zo'n systeem impliceert. Ik maak een query 'genetic algorithm' aan en alle .pdf's .html's .chm's .doc's .ps's en wat dan ook betreffende dit onderwerp dienen zich aan... kijk... daar zou ik wat aan hebben...

Reiser 4 ziet er inderdaad veel belovend uit... maar... zou je je lopende projecten op een FS in ontwikkeling willen zetten... hmmm...

Het google file system ziet er wat dit betreft ook spannend uit...

[ Voor 23% gewijzigd door Verwijderd op 22-09-2004 14:58 ]

[mOrPhie]

Bij kde speelt het momenteel wel:

nieuws: KDE-ontwikkelaars werken aan nieuw zoeksysteem

[AntiChris]

Ja, bijvoorbeeld met Beagle: http://www.gnome.org/projects/beagle/ wat valt onder het Dashboard project: http://www.nat.org/dashboard/

[Verwijderd]

Goed, er gebeurt dus wel het een en ander, maar voordat het echt werkt zal er toch iets op filesystem niveau moeten gebeuren stel ik me zo voor...

Vooralsnog erg alpha-achtige 0.02 projecten, niet echt iets waar ik mee aan de slag kan?!

Gaan sparen, of is er nog een andere optie...

Denk anders maar een flinke upload te nemen, webserver te starten en google de klus te laten klaren
Ontzettend treurig wanneer je d'r over denkt...

[Wilke]

Er is laatst iemand afgestudeerd aan de Universiteit Twente op dit onderwerp. Hij heeft een plugin voor KDE gemaakt die het geheel demonstreert:

DBFS. Maar goed, dit zijn allemaal geen perfecte, klik-klak-installeren-klaar projectjes denk ik.

Op filesystem niveau ziet reiser4 er veelbelovend uit.

[ Voor 8% gewijzigd door Wilke op 22-09-2004 16:51 ]

[Verwijderd]

klinkt aardig, maar tamelijk overbodig nu spotlight op de proppen komt???
't is inderdaad een hot item aan het worden, maar ik zie zover nog geen oplossing waar ik iets mee aankan... daar hoopte ik toch eigenlijk op...
wel hoor ik zo nu en dan iets over een altavista indexing engine die het nodige klaar speelt, maar ik zoek een hele concrete oplossing, die is tot dusver nog niet geboden...

[Verwijderd]

aaargh, ik koop gewoon zo'n kreng, voor eens en altijd van het gedoe af!

http://www.google.com/appliance/products.html

[Bigs]

Nah, gewoon een Mac kopen als Tiger straks uit is. Eerdat DBFS, Beagle of die Reiser-uitbreidingen bruikbaar zijn is er waarschijnlijk alweer iets veel beters bedacht

[edit]
Dit ligt overigens niet zozeer aan de developers van die projecten, maar meer aan het gemak wat Apple beheerd. Linux is veel complexer dan OS X in de zin dat er op dit moment meerdere filesystems gebruikt worden (ext3, XFS, JFS en ReiserFS), applicaties op verschillende manieren met bestanden om gaan (Gnome applicaties gebruiken andere functies dan KDE applicaties en bijvoorbeeld OpenOffice doet het weer anders).
Apple beheert zelf het besturingssysteem, de frameworks die programma's gebruiken om met bestanden om te gaan en (niet onbelangrijk) de Finder, de Explorer van OS X (iets waar bij Linux ook niet 1 oplossing voor is).
In OS X komt straks gewoon een feature die voor elk bestandstype metadata maakt. Bij sommige bestanden, zoals Word-documenten en PDFjes kunnen al de gegevens gebruikt worden die in het bestand zelf staan (auteur, onderwerp etc.), bij andere wordt er gewoon in het bestand gezocht naar keywords. Vervolgens komt er een framework om die data te doorzoeken, wordt deze in de Finder + common dialogs geintegreerd en klaar is kees (simpel gezegd).
Bij Linux heeft het veel meer werk om handen en vooral het overschot aan standaarden maakt het er niet makkelijker op.

[ Voor 79% gewijzigd door Bigs op 22-09-2004 17:30 ]

[Verwijderd]

Verdomme...

Daar ziet het wel naar uit...
Niet dat ik zo'n enorme server nodig denk te hebben...
Maar oke, render ik maar met Mental Ray in de achtergrond............

[RM-rf]

Bigs schreef op 22 september 2004 @ 17:23:
In OS X komt straks gewoon een feature die voor elk bestandstype metadata maakt.

Niet helemaal juist, HFS+ kent al heel lang veel ruimte voor metadata concepten, sowieso was Mac redelijk ver hiermee binnen het .resource-file concept... (en om over BeOS' BeFS al helemaal niet te spreken)

Het is dus een traditie die ver teruggrijpt:
een goed uitleg erover staat in een arstechnica-artikel uit 2001:
Metadata, The Mac, and You

het gaat veel verder dan enkel zoekbaarheid, de snelheid van een query, het heeft zeker ook veel te maken met usability:
het brengt een Filesysteem eindelijk verder dan een platte Joliet-structuur, met IPv6 zal ook het internet er betere ondersteuning zelf voor krijgen.

In die zin lijkt het me misschien niet de wijste beslissing om een zware investering, zoals de aanschaf van een kantoor netwerk, enkel te basren op de indexering, dan kun je ook wel terugvallen op iets simpels als het open-source HtDig.
Feitelijk biedt metadata veel meer mogelijkheden om binnen een kantooromgeving de informatiestroom te stroomlijnen.

[Verwijderd]

"Feitelijk biedt metadata veel meer mogelijkheden om binnen een kantooromgeving de informatiestroom te stroomlijnen"

En wat is nu het hele plan
Dit is precies de opzet, ik denk dat er een hoop te optimaliseren is met dergelijke metadata... Vooral wanneer je nagaat wat het kan betekenen mbt. onderzoek dat we doen, moet geweldig zijn om zo'n inzicht te hebben in wat er nu werkelijk in mijn verschrikkelijk .pdf archief huist... hoe eenvoudig ideeen zich dan laten koppelen...

Nee, ik denk dat de transparantie die zo'n spotlight systeem lijkt te bieden me aardig wat waard is...

[RM-rf]

Verwijderd schreef op 22 september 2004 @ 18:08:
"Feitelijk biedt metadata veel meer mogelijkheden om binnen een kantooromgeving de informatiestroom te stroomlijnen"

En wat is nu het hele plan

Ik denk dat je moet kijken naar bijvoorbeeld Dublin Core metadata; dat is een werkgroup met verschillende specialisme die poogt mogelijkheden te bieden metadata voor documenten uitwisselbaar te maken, bv:

http://www.dublincore.org/groups/architecture/

Op dat moment gaat het verder dan enkel een full-text search, maar je kunt veel sneller en makkelijk projectdata grouperen, navolgen ... ook voor eigen customized projecten.

[Verwijderd]

Ziet er inderdaad naar uit dat er ik niet om initiatieven verlegen zit...
Probleem is dat ik __NU__ hier de server van mijn buro mee wil uitrusten...
Dat maakt het een werkelijk probleem...
In ReiserFs zou ik nog een zeker vertrouwen in kunnen hebben... het zou een server betreffen waar maar zo'n 6 / 7 computers aan zouden hangen, dat maakt het al iets overzichtelijker... nu nog die terabytes data transparant krijgen...

Heeft iemand ervaring met Reiser 4 FS en de funtionaliteit waar ik op zoek naar ben?

[QuarkuS]

RM-rf schreef op 22 september 2004 @ 17:44:
[...]

het brengt een Filesysteem eindelijk verder dan een platte Joliet-structuur, met IPv6 zal ook het internet er betere ondersteuning zelf voor krijgen.

Wat heeft IPv6 hiermee te maken? Kan je dat wat uitleggen?