Vlákno názorů ke článku Apify: taháme data z webu (aneb jak na kalendář ČLK) od Martin Tomášek - Jednodušší je tenhle problém řešit v pythonu se...

Přidat názor

27. 11. 2018 11:55

Martin Tomášek 38

Jednodušší je tenhle problém řešit v pythonu se scrapy frameworkem. Teda pokud je vaším primárním cílem si ta data nascrapovat do databáze/csv/jsonu.
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
27. 11. 2018 12:10

Jakub Balada (neregistrovaný) 77.236.206.---

Pokud nekdo umi Python a neumi JavaScript, tak urcite. Ale docela by me zajimal vas nazor, v cem presne je to jednodussi ve Scrapy, kdyz se podivate na tech par radku v JavaScriptu ve clanku.
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
27. 11. 2018 12:27

Martin Tomášek 38

1) i v tom článku je vidět nižší úroveň abstrakce (volání skipOutput())
2) se scrapy si nastavím výstup do souboru, třeba v jsonu, spustím ten scraper, vypadne mi výstup v jsonu a nemusím si proklikávat tabulky na webu
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
27. 11. 2018 12:50

Jakub Balada (neregistrovaný) 77.236.206.---

Diky za feedback.
ad 1) nizsi uroven abstrakce znamena take vyssi flexibilitu
ad 2) v Apify neni nutne nastavit vystup do souboru, ten je automaticky dostupny v json, csv, xlsx, xml, jsonl a rss, viz link v clanku: https://www.apify.com/petrkajzar/SujpE-api-lkcr-cz
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
27. 11. 2018 22:41

Franta (neregistrovaný) ---.frantovo.cz

Rozdíl bych viděl hlavně v tom, že řešení se Scrapy bude fungovat navždy, zatímco řešení postavené na nějaké proprietární službě jen do doby, než ji její provozovatel zruší/zpoplatní/změní.
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
28. 11. 2018 8:05

Jakub Balada (neregistrovaný) ---.nat.epc.tmcz.cz

Apify ma open-source SDK (https://sdk.apify.com) uplne stejne jako ScrapingHub ma Scrapy. Tzn., ze si crawlery muzete vyvijet a provozovat lokalne, pripadne na vlastni infrastrukture, stejne jako se Scrapy...
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
28. 11. 2018 11:45

Martin Tomášek 38

Myslím, že to chápete špatně. Scrapy není primárně k tomu, aby běželo někde v cloudu. Scrapy je framework, v kterém si pouštíte vaši scrapovací aplikaci a co běží na vašem počítači. Není to tak, že se pouští lokálně z důvodu vývoje, lokálně se běžně pouští i produkčně. Scraping cloud a podobné služby běžně vůbec nepotřebujete.
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
28. 11. 2018 14:28

Jakub Balada (neregistrovaný) ---.lucerna.cz

Jasne, vsak Apify SDK je obdobny framework, jen pro JavaScript (NodeJS). Muzete si crawlery diky Apify SDK pouzivat produkcne na lokalu ci vlastni infrastrukture.

Přidat názor

Zasílat nově přidané názory e-mailem

Petr Kajzar

Nejčtenější články autora

Poslední názory

Nálepky

Komerční sdělení