标签：制作爬虫网站

制作爬虫网站（制作网络爬虫）

暂且不用管爬下来的页面怎么处理的。存下你已经看过的页面地址。你就先查查你脑子里是不是已经去过这个页面地址。下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。更别说Google这样的搜索引擎需要爬下全网的内容了。我知...