Majestic

[Verwijderd]

Uit verveling was ik wat aan het internet browsen - Het internettijdperk is wel een drama voor taalpuristen ben ik bang. - en kwam het DC-project Majestic tegen.
Majestic is een DC-vault project en heeft als doel een ' world wide web search engine' te creëren, meer hierover te vinden op:
http://www.majestic12.co.uk/about.php

De Majestic-client houdt zich bezig met het zoeken naar URL's.
Het kost vrijwel geen CPU-tijd en kan gemakkelijk naast BOINC of andere DC-clients gedraaid worden.
Wat het wel benut is je internet bandbreedte, zonder directe internettoegang dus geen optie.

DPC heeft al een team daar en wellicht kan of wil iemand met wat meer ervaring met de client uitleggen hoe het een en ander optimaal ingesteld kan worden gegeven een bepaalde bandbreedte.

[Witlof]

Ik heb geen idee maar net wel de client onder linux opgestart. Ben benieuwd of het ook iets gaat doen

[Noordvogel]

Uit het DC-Vault Topic - Deel 5:

De grote Google-concurrent, of althans, dat is de bedoeling van bedenker/chief-project Alex. Door jouw computer internetlinks te laten spideren, en de resultaten te verwerken, bouwt hij langzaam maar zeker een zoekmachine. Dit project vreet dus bandbreedte, en als je em 10Mbit voert, ook CPU. Project niet gegarandeerd non-profit.

Dit project wordt wel gedraaid door een aantal DPC-ers, maar omdat het niet gegarandeerd non-profit is, kan het (voorlopig) geen officieel project worden.

[Crack]

Deze client kan je behoorlijk tweaken, maar het resultaat is natuurlijk ook afhankelijk van de beschikbare bandbreedte.

Instellingen onder options:

• Personal: Vul je persoonlijke gegevens in. Onder URLs to crawl de domeinen die goe toegankelijk zijn.
• Connection: Vul de beschikbare down- en upstream in. Beide kan je gerust voor 90% activeren.
  Timeout en bandwidth check beide op 10. Count upstream en connect to superpeer aanvinken.
• Crawler: Met deze tab moet je wat experimenteren om het uiterste er uit te persen.
  Mijn instellingen:
  Workers: 125
  Buckets: 100
  Use persistend connections
  Use Gzip
  Delay: 5, Reserved: 5, Disk Space: 1000Mb, Low on disk: 1
  Ficked upload chunk 64Kb, use persistend connection
  Wait between barrel uploads 5, stop if greater than 20, less 5
  Delay 100 100
  Threshold 5, checked DNS errors ret - , check connection errors ret - , check Timeouts ret -
• Profiles: Niet zo belangrijk
• Misc:
  idle - normal - normal - below normal - above normal
  Barrel buffer size 4
  mem flush check 5
  Min mem 100
• Archiving: (Als je het nog niet gedaan hebt, zorg dan dat je WinRAR ge"installeerd hebt om de verzenden barrels te comprimeren)
  Instellingen:
  Check - Below normal - 50
  LZMA check - Word 64 dictionary 4 - Mem sort buffer 50
  unchecked - check still use LZMA if small barrel - RAR
  executable: C:\Program Files\WinRAR\Rar.exe (druk op Test om te kijken of het werkt)
  exit code 0
• More Crawler
  Maximum: -1
  uncheck

[Verwijderd]

Dank je Crack voor je info
Helaas moet ik zeggen dat ik denk een slechte topic aangemaakt te hebben zoals Noordvogel al zei: "niet gegarandeerd non-profit"
Ik ben wat verder gaan zoeken en vond wat links:
http://www.influencefinder.com/
http://www.wordtracker.com/order.html
Beide sites die gebruik maken van de verzamelde informatie van Majestic.
Ze worden beiden genoemd als client.
Verder die 'super search engine' is nergens te vinden.
Dan als ik nog eens kritisch kijk naar de Majestic site, alles ziet er goed verzorgd uit maar resultaten van de publieke zoektochten?
Dit is typisch oplichterswerk, ik ga geen resources doneren zodat één oplichter of meer wat geld kan verdienen. -> uninstall!

[Xaverius]

Ik dacht dat er al eerder een topic over majestic-12 was geweest maar ik kan deze niet terugvinden. Dan was de vermelding in het DC-vault-topic dan het enige tot nu toe.

Majestic-12 is een beetje vreemde eend in de bijt. Ja, het doel van het project is (uiteindelijk) geld verdienen maar alexc vind dat de crunchers die dit mogelijk hebben gemaakt hiervan ook de vruchten moeten kunnen plukken, dit heeft hij sinds ik het project tijden geleden heb geprobeerd altijd gezegd.

Het probleem is dat dit natuurlijk makkelijk te melden is maar dat het lastiger te controleren is. Hij heeft op zijn forum een topic gemaakt over een LLP (limited liability partnership) die hij opgericht heeft om er voor zorg te dragen dat er ook daadwerkelijk winst afgedragen wordt. (http://www.majestic12.co.uk/forum/viewtopic.php?t=3484)

Al met al is het een project waar je een goed gevoel bij moet hebben om er aan mee te doen denk ik, het zal nooit een officieel ondersteund project worden door het commerciele karakter.

[Crack]

Verwijderd schreef op zondag 29 augustus 2010 @ 01:11:
Beide sites die gebruik maken van de verzamelde informatie van Majestic.

Iedereen kan gebruik maken van de gegevens (dat is het non-profit deel )

Maar mocht er wat verdiend worden, de opbrengsten maken het project hooguit kostendekkend. Gigaserver.nl heeft de server beschikbaar gesteld. Als het echt om een commercieel bedrijf zou gaan zie ik dat niet snel gebeuren.

Ook is dit wel een Vault-project en niet meedoen betekent meteen een achterstand van 10000 punten Om onze positie te handhaven slinger ik dit project dan ook af en toe aan en laat het wat uren meedraaien. Zoals eerder gezegd is de CPU-belasting toch niet zo hoog.

De search-engine werkt anders dan Bing, Yahoo of Google: Hier is het de bedoeling dat je juist een URL invoert, waarna gerelateerde URLs als resultaat gegeven worden. Deze zoekmachine heeft dus zeker z'n waarde.

Verwijderd schreef op zondag 29 augustus 2010 @ 01:11:[...]Verder die 'super search engine' is nergens te vinden.
[...]

Probeer het eens rechtsboven op de site (voorbeeld van dutchpowercows.org)

[ Voor 17% gewijzigd door Crack op 29-08-2010 10:25 . Reden: toevoeging ]

[Verwijderd]

Ik kan het topic waar ooit over dit project gesproken is helaas ook niet meer vinden. Ik heb er toen echter op gereageerd met de vraag (als het echt een DC project is zoals alle anderen) waarom op de project website dan zijn CV staat.

Maar deze url vind ik persoonlijk al stinken
http://www.majestic12.co.uk/forum/viewtopic.php?t=3424

hij heeft dus een contract geregeld (op zich knap natuurlijk) op kosten van de individuele DC'ers. Ik vind het nog steeds heel erg sterk stinken .

[Bubbles]

Zoeken is moeilijk:
Majestic-12 Distributed Search Engine
en
Mag ik hier een oproep doen aan de Majestic-12 crunchers?

Glad to be of service.

[Xaverius]

Serieus, ik heb gezocht op "majestic", "search" en "search engine" en dat topic stond er gewoon niet tussen terwijl ik wist dat die bestond...

[FreezeXJ]

Even wat van mijn instellingen, op een 100Mbit pijp, en met limited power en schijfruimte (laptop).

Crack schreef op zaterdag 28 augustus 2010 @ 23:25:
Instellingen onder options:[list]
• Connection: Vul de beschikbare down- en upstream in. Beide kan je gerust voor 90% activeren. boeit niet zo gek veel, hij pakt wel strikt het percentage, overigens
• Crawler: Met deze tab moet je wat experimenteren om het uiterste er uit te persen.
Mijn instellingen:
Workers: 125 staat bij mij op 500, en die worden heel aardig gebruikt. Vooral bij rotte buckets (waar ie lang moet wachten op het 'geen antwoord'-antwoord) is dat heel nuttig. Trekt ongeveer 30 Mbit op die manier, meer is mogelijk
Buckets: 100 meer dan 30 heb ik er eigenlijk nooit open staan, helaas mede door diskruimte
Use persistent connections
Use Gzip vooral mee spelen als je weinig CPU-power hebt... maar het scheelt niet veel.
Delay: 5, Reserved: 5, Disk Space: 1000Mb, Low on disk: 1 staat bij mij op 15, zodat ie doorgaat als m'n diskje vol is (max 2 GB voor MJ12)
Ficked upload chunk 64Kb, use persistent connection
Wait between barrel uploads 5, stop if greater than 20, less 5
idle - normal - normal - below normal - above normal
Barrel buffer size 4
LZMA check - Word 64 dictionary 4 - Mem sort buffer 50
zet wel je crawler iets lager dan de archiver, en beide niet te hoog, anders wordt je systeem traag... Niet echt handig. Normal is meer dan genoeg, gewoonlijkerwijs

[Bubbles]

Xaverius schreef op zondag 29 augustus 2010 @ 12:35:
Serieus, ik heb gezocht op "majestic", "search" en "search engine" en dat topic stond er gewoon niet tussen terwijl ik wist dat die bestond...

*klik* Vergeet niet vinkje aan te zetten bij "Alle aan", zodat je ook in oudere jaren dan 2007-heden zoekt.

[Verwijderd]

Ik had zelf ook gezocht op majestic om geen redundant topic aan te maken helaas de vinkjes over het hoofd gezien.
Sowieso had ik beter het karakter van dit project iets beter moeten onderzoeken alvorens een topic te starten, sorry.

@Crack: Die zoekmachine heb ik wel gevonden maar dat genereert een nutteloos rapport tenzij je een hacker bent die op zoek is naar een veiligheidslek. Ook staat er:

In addition to our free services, we allow registered users to test our services free of charge by generating reports for sites they control.

http://www.majesticseo.com/

Het mag duidelijk zijn dat de Majestic-client veel meer informatie verzameld en dat is slechts tegen betaling in te zien.

[Crack]

iconized,

Registratie is gratis, als deelnemer aan Majestic ben je zelfs al geregistreerd.

Wat is er nou op tegen, dat je gratis een rapport kan krijgen van alle sites die naar jou site verwijzen? Dat lijkt best mij best nuttige informatie.

Het is mij niet duidelijk waarom jij dan aan hacken of betaling denkt

[Verwijderd]

Wel het is niet wat ik versta onder een www zoekmachine.
Overigens voor iemand één of meerdere commerciële websites host is het voornamelijk van belang om met de juiste tags aangemeld te zijn bij alle grote zoekmachines op het internet.
Gratis reclame daar andere sites naar de jouwe linken is natuurlijk altijd meegenomen tenzij het anti-reclame is

Ik denk als Majestic een zoekengine zou aanbieden die werkt zoals Google er geen vuiltje aan de lucht zou zijn.