百度爬虫这个词语，一般出现的都是python相关的资料。
py也有很多爬虫框架，比如scrapy，Portia，Crawley等。
之前我个人更喜欢用C#做爬虫。
随着对nodejs的熟悉。发现做这种事情还是用脚本语言适合多了，至少不用写那么多的实体类。而且脚本一般使用比较简单。
在github上搜索node+spider，排名第一的就是node-crawler
github:https://github.com/bda-research/node-crawler
简单使用
npm 安装：
npm install crawler
new一个crawler对象
var c = new Crawler({
// 在每个请求处理完毕后将调用此回调函数
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
var $ = res.$;
// $ 默认为 Cheerio 解析器
// 它是核心jQuery的精简实现，可以按照jQuery选择器语法快速提取DOM元素
console.log($("title").text());
}
done();
}
});
然后往crawler队列里面不停的加url就行了，
// 将一个URL加入请求队列，并使用默认回调函数
c.queue('http://www.amazon.com');
// 将多个URL加入请求队列
c.queue(['http://www.google.com/','http://www.yahoo.com']);
控制并发速度
爬虫框架一般都是同时去爬多个页面，但是速度过快会触发目标网站的反爬虫机制，也同时影响别人网站的性能。
控制最大的并发数量
var c = new Crawler({
// 最大并发数默认为10
maxConnections : 1,
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
var $ = res.$;
console.log($("title").text());
}
done();
}
});
使用慢速模式
使用参数 rateLimit 启用慢速模式，两次请求之间会闲置 rateLimit 毫秒，而 maxConnections 将被强行修改为 1 。
var c = new Crawler({
// `maxConnections` 将被强制修改为 1
maxConnections : 10,
// 两次请求之间将闲置1000ms
rateLimit: 1000,
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
var $ = res.$;
console.log($("title").text());
}
done();
}
});
下载图片等静态文件
var c = new Crawler({
encoding:null,
jQuery:false,// set false to suppress warning message.
callback:function(err, res, done){
if(err){
console.error(err.stack);
}else{
fs.createWriteStream(res.options.filename).write(res.body);
}
done();
}
});
c.queue({
uri:"https://nodejs.org/static/images/logos/nodejs-1920x1200.png",
filename:"nodejs-1920x1200.png"
});
以上就是node.js爬虫框架node-crawler初体验的详细内容，更多关于爬虫框架node-crawler的资料请关注其它相关文章！
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。