Screen scraping met behulp van C # en. NET Framework.

[Verwijderd]

Ik ben bezig met een Microsoft. NET Application in C # voor web-harvesting, Web schrapen, Web Data Extraction, screen scraping, etc. wat je maar wilt noemen. Voor het ontleden van HTML, ga ik een poging om HTML Agility Pack te nemen, maar het is niet zo eenvoudig als ik dacht dat het zou zijn. Ik heb ook een aantal specificaties en foto's van wat ik heb tot nu toe en hoopte om uw mening te krijgen over hoe ik zou kunnen gaan?

Afbeeldingen:

http://img69.imageshack.us/img69/8880/webharvester1.png

http://img36.imageshack.us/img36/9563/webharvester2.png

Mijn doel is om een ​​zeer gebruiksvriendelijk point-and-click applicatie voor het downloaden van gegevens en beelden van het web. Ik wil graag HTML-pagina's via de web browser te laden, en de uitvoer van de geparsed data en beeld links in het tekstvak. De gebruiker kan aangeven welke HTML-tags ze willen en download vervolgens de gegevens in het net. Tot slot, de gegevens exporteren naar welk formaat ze nodig hebben.

1. Maak HTTP-verzoeken op de website en naar beneden trekken van de opmaak van de URL.
- Class WebClient
- Class HttpWebRequest
- Class HttpWebResponse

2. Parse HTML-en output van gegevens en afbeeldingen verwijzingen in tekst-editor
- HTML Agility Pack
- Xpath

3. Sla gegevens in verschillende formaten
- Microsoft Excel and Access
- Databases (MySQL)

Alvast bedankt voor uw ideeën! Sorry als mijn Nederlands is niet erg goed, ik ben met behulp van Google vertalen.

[RobIII]

En je concrete vraag is nu...? Je hebt een GUI bij elkaar geklikt en bent nu op zoek naar code? Of...?

[jip_86]

Gezien de opzet met punt 1, 2, 3 zou ik gaan voor een maak mijn huiswerk topic.

[[ti]]

Kun je niet gewoon beter http://www.visualwebripper.com/ kopen?

[Verwijderd]

RobIII schreef op dinsdag 28 februari 2012 @ 08:22:
En je concrete vraag is nu...? Je hebt een GUI bij elkaar geklikt en bent nu op zoek naar code? Of...?

Code? Op dit moment probeer ik HTML Agility Pack te gebruiken om de HTML te laden op de webpagina en weer te geven in het tekstvak.

C#:

 // Load Web Browser
    private void Form6_Load(object sender, EventArgs e)
    {
        // Navigate to webpage
        webBrowser.Navigate("http://www.webopedia.com/TERM/H/HTML.html");

        // Save URL to memory
        SiteMemoryArray[count] = urlTextBox.Text; 

        // Load HTML from webBrowser
        HtmlWindow window = webBrowser.Document.Window; 
        string str = window.Document.Body.OuterHtml;

        // Extract tags using HtmlAgilityPack and display in textbox
        HtmlAgilityPack.HtmlDocument HtmlDoc = new HtmlAgilityPack.HtmlDocument();
        HtmlDoc.LoadHtml(str);

        HtmlAgilityPack.HtmlNodeCollection Nodes = HtmlDoc.DocumentNode.SelectNodes("//a");

        foreach (HtmlAgilityPack.HtmlNode Node in Nodes)
        {
            textBox2.Text += Node.OuterHtml + "\r\n";
        }

    }

[ti] schreef op dinsdag 28 februari 2012 @ 15:00:
Kun je niet gewoon beter http://www.visualwebripper.com/ kopen?

Haha. Ik kan kopen dat je als ik het nodig om het te gebruiken, maar dit project is voor school.

[ Voor 0% gewijzigd door RobIII op 28-02-2012 17:56 . Reden: Code tags toegevoegd ]

[RobIII]

Als je code post, gebruikt dan code tags a.u.b.
Verder: Ik zie nog steeds geen concrete vraag en we gaan geen code voor je schrijven (Kan iemand even...? / scriptrequest).

Neem even onze Quickstart door en open gerust een nieuw topic als dat dan nog nodig is, maar weet dus dat we hier niet zitten om voor jou je huiswerk te maken (Huiswerktopics zijn niet per definitie fout!)

Offtopic: het is wel heel fijn als je niet met Google translate hoeft te werken; erg duidelijk is je topic zo niet

[ Voor 7% gewijzigd door RobIII op 28-02-2012 18:03 ]