Webwinkel feed maken via (eigen?) scraping software

[iaxe393]

Allereerst hoop ik dat ik in het juist kopje zit.. Zo niet hoor ik dat graag.

Mijn vraag
Ik heb zelf een webshop draaien bij één van de grote Nederlandse providers. Helaas kan ik bij deze webshop software alleen extern, en tegen betaling een feed laten maken voor google shopping... Stiekem vind ik dit best vervelend gezien ik nu nóg meer moet betalen voor een functie die naar mijns inzien er toch écht in had moeten zitten. (En ja, ik snap dat het voor hun een leuk dealtje is om de klanten direct naar channable .e.d. door te spelen.. maar kom op, een basis export functie mag je toch wel in de software verwachtten ...)

Nu de vraag; voor dat ik naar een andere 'provider' switch die dit wel aanbied...

Is het mogelijk om via een extern programma, of website de data van je website te scrapen, en dat vervolgens als een feed kan exporteren ?
Ik heb al wat software geprobeerd, maar helaas komt geen van alle goed uit de bus

Relevante software en hardware die ik gebruik
oa. Import.io

Wat ik al gevonden of geprobeerd heb
Ik weet dat het mogelijk is, maar HOE is vooral de vraag Misschien dat er een tweaker is die hier de oplossing voor weet..

[JJ93]

Volgens mij is dit subforum meer bedoeld voor client-sided scripting (bv. Javascript) en niet zo zeer voor het soort script dat jij zoekt.

Als je je eigen scraping scriptje schrijft kan je zelf beslissen wat er allemaal in je Google feed komt. De specificatie is immers bekend. Je kan de HTML van al je pagina's ophalen, met bv. Jsoup de links eruit halen, daarna de HTML van die links ophalen, etc. zodat je alle pagina's scraped.

En als het goed is dan heeft elke pagina product tags voor delen op social media. Die kan je dan ook uitlezen om de Google feed te maken. Maar aangezien je een webshop hebt bij een van de grote Nederlandse providers zou je denken dat zoiets wel bestaat. En dat bestaat dus ook wel, tegen betaling.

Voor jou de afweging of je zelf alles gaat scrapen en uitlezen of toch betaald voor een tooltje die dit allemaal al voor je regelt.

[mocean]

Bij welke provider van software zit je?

Misschien kan je iets maken op basis van je sitemap.xml, moet je wel de prijzen en zo erbij 'scrapen'. Dat zal je moeten doen op een andere server, in een server taal (dus deze mag eigenlijk in een ander subforum).

[Ventieldopje]

Waarom scrapen? Kun je niet direct bij de database?

[iaxe393]

Ventieldopje schreef op vrijdag 08 juli 2016 @ 13:19:
Waarom scrapen? Kun je niet direct bij de database?

ik zit bij mijnwebwinkel, en nee..alles is afgeschermt dus ik kan écht nergens bij

Die 'service' laten ze via een 3e partij doen natuurlijk, dan kunnen ze er beide weer wat aan verdienen

[Ventieldopje]

Niet eens tijd om doei te zeggen en met software als Prestashop of WooCommerce aan de slag te gaan? Voldoende templates en plugins te vinden waar je niet veel technische kennis voor nodig hebt. Tuurlijk betaal je dan wel eenmalig wat aan een template en hosting maar dat zal minder zijn dan wat ze je nu uit de zak proberen te kloppen.

Bovendien heb je dan volledige toegang tot je database en hoef je niks te scrapen. Je kan dan gewoon de data uit de database plukken en weergeven hoe je maar wil, met een scriptje uiteraard.

[DJMaze]

iaxe393 schreef op zondag 10 juli 2016 @ 20:06:
ik zit bij mijnwebwinkel, en nee..alles is afgeschermt dus ik kan écht nergens bij
Die 'service' laten ze via een 3e partij doen natuurlijk, dan kunnen ze er beide weer wat aan verdienen

€19 per maand = €228 per jaar.

versus:

Hosting: €80 per jaar
Paymentprovider zoals pay.nl: €0 per jaar, € 0,39 per iDEAL transactie (reken zelf maar uit wat dat voor jou betekend)
Webshop zoals Magento: vanaf €0
Webshop zoals CS-Cart: vanaf $385
Theme: vanaf €0

Zoek zelf uit wat het jou allemaal kost per configuratie en waar je blij mee bent.

Waarom moet alles goedkoop/gratis zijn?
Wat als ik het absurd vind dat jou produkten niet goedkoop/gratis zijn?

In jouw produkten is toch ook tijd en geld gestoken, net als de webshop dingen?

[iaxe393]

DJMaze schreef op zondag 10 juli 2016 @ 22:26:
[...]

€19 per maand = €228 per jaar.

versus:

Hosting: €80 per jaar
Paymentprovider zoals pay.nl: €0 per jaar, € 0,39 per iDEAL transactie (reken zelf maar uit wat dat voor jou betekend)
Webshop zoals Magento: vanaf €0
Webshop zoals CS-Cart: vanaf $385
Theme: vanaf €0

Zoek zelf uit wat het jou allemaal kost per configuratie en waar je blij mee bent.

Waarom moet alles goedkoop/gratis zijn?
Wat als ik het absurd vind dat jou produkten niet goedkoop/gratis zijn?

In jouw produkten is toch ook tijd en geld gestoken, net als de webshop dingen?

Ik betaal al 228 eur per jaar, en een basis feature zoals een database export draaien mag dus niet van hun. Wil ik dat er ook nog eens bij dan mag ik een externe dienst inhuren, waar hun de feeds WEL naar door spelen.
Dat vind ik gewoon een beetje kansloos. Maak gewoon een export functie in de software zoals alle andere webshop softwares dat wel hebben, mij apart tegen eenmalige betaling... maar NOG een externe partij erbij nemen puur voor zoiets simpels (a 15eur in de maand ook nog eens)...

Nee dat gaat mij te ver ;r

[iaxe393]

Ventieldopje schreef op zondag 10 juli 2016 @ 21:47:
Niet eens tijd om doei te zeggen en met software als Prestashop of WooCommerce aan de slag te gaan? Voldoende templates en plugins te vinden waar je niet veel technische kennis voor nodig hebt. Tuurlijk betaal je dan wel eenmalig wat aan een template en hosting maar dat zal minder zijn dan wat ze je nu uit de zak proberen te kloppen.

Bovendien heb je dan volledige toegang tot je database en hoef je niks te scrapen. Je kan dan gewoon de data uit de database plukken en weergeven hoe je maar wil, met een scriptje uiteraard.

Zit er nu aan te denken naar ccv (of is het cvv) shop te schakelen.. ook weer puur voor het gemak, maar ik kan en mag er meer mee.

Alleen ook hier zou het fijn voor zijn als ik een export zou hebben van mn huidige winkel.. dat scheelt weer alles copy-pasten

[DJMaze]

iaxe393 schreef op maandag 11 juli 2016 @ 00:00:
Zit er nu aan te denken naar ccv (of is het cvv) shop te schakelen.. ook weer puur voor het gemak, maar ik kan en mag er meer mee.

Ik zie bij CCV Shop dat ze "Mobiele webshop" aanbieden, maar zie er 0.
De themes zoals "Enoza" hebben wel een simpel "responsive" design voor 2 soort views:

• fixed 1024 pixels brede layout voor PC
• fixed 400 pixels brede layout voor mobieltjes
• Met serverside User Agent detectie op "mobile" is er nog een andere layout

Tablets en andere scherm formaten missen. Hou hier rekening mee.

iaxe393 schreef op maandag 11 juli 2016 @ 00:00:
Alleen ook hier zou het fijn voor zijn als ik een export zou hebben van mn huidige winkel.. dat scheelt weer alles copy-pasten

Misschien 1x €15 uitgeven voor een volledige DB export. Anders ben je immers ook alle klant/bestel data kwijt.

[ Voor 4% gewijzigd door DJMaze op 11-07-2016 13:31 ]

[iaxe393]

DJMaze schreef op maandag 11 juli 2016 @ 13:26:
[...]

Ik zie bij CCV Shop dat ze "Mobiele webshop" aanbieden, maar zie er 0.
De themes zoals "Enoza" hebben wel een simpel "responsive" design voor 2 soort views:

• fixed 1024 pixels brede layout voor PC
• fixed 400 pixels brede layout voor mobieltjes
• Met serverside User Agent detectie op "mobile" is er nog een andere layout

Tablets en andere scherm formaten missen. Hou hier rekening mee.


[...]

Misschien 1x €15 uitgeven voor een volledige DB export. Anders ben je immers ook alle klant/bestel data kwijt.

zou er zo 15eur voor over hebben, maar helaas bieden ze deze service niet (zelfs niet extern )

en bedankt voor de tips!