一个可行的自动更换代理的爬虫系统，应该下列哪些功能?() - 查题网

>> 南开大学 / 网络爬虫与信息提取

南开大学 / 网络爬虫与信息提取

正确率：100%

一个可行的自动更换代理的爬虫系统，应该下列哪些功能?()

A.有一个小爬虫ProxySpider去各大代理网站爬取免费代理并验证，将可以使用的代理IP保存到数据库中

B.在发现某个请求已经被设置过代理后，什么也不做，直接返回

C.在ProxyMiddlerware的process_request中，每次从数据库里面随机选择一条代理IP地址使用

D.周期性验证数据库中的无效代理，及时将其删除

积分

网络爬虫与信息提取

参考答案：

点击查看答案

佳题速递：

实现互惠交换，有利于社会总体福利水平的提高。但互惠交换的实现需要政府制定一定的社会经济政策及体制调整。()劳动经济学(本科)

按资源空间分布和支配权限，课程资源可分为()。课程理论

对被测要素的形式表述正确的是()几何精度设计与测试

为使混悬剂稳定，加入适量亲水高分子物质称为()。药剂学

第二次乡建试验是从1952年开始到1997年结束的。()中国当代经济问题研究

梁思成于1896年发表了《论师范》一文，在中国教育史上首次专文论述师范教育问题。()中国教育简史