[推荐] 爬取一千亿个网页的经验之谈


#1

Python 爬虫框架 Scrapy 的开发者、以写爬虫帮别人抓数据为生的 scrapinghub 的经验分享。爬虫要做到高性能、爬取的数据又要干净、还要对付被爬取的网站的反爬虫技术,困难重重。

原文链接:

在湾区日报网站上阅读: