基于node.js实现爬虫的讲解
时间:2021-04-05 10:11:11|栏目:NodeJS|点击: 次
1. cheerio 与 request
- request:模拟客户端行为,对页面进行请求
- cheerio:对服务器端返回的页面进行解析;
var cheerio = require('cheerio');
var request = require('request');
var startUrl = 'http://www.baidu.com'
request(startUrl, function(err, response) {
if (err) {
console.log(err);
}
var $ = cheerio.load(response.body);
var title = $('title').text();
console.log(title);
}
2. 认识 cheerio
获取 element 位置
通过 class 属性进行匹配:
var $=cheerio.load('<div class="container"></div>');
$('.container')
取其链接:<a class="downbtn" href="http://mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>
$('a.downbtn').attr('href')
某一页面下的全部可链接:
var url =
var $ = cheerio.load(data);
$("a.downbtn").each(function(i, e) {
console.log($(e).attr("href"));
});
console.log("done");
} else {
console.log("error");
}
总结
栏 目:NodeJS
下一篇:Node.js 8 中的 util.promisify的详解
本文标题:基于node.js实现爬虫的讲解
本文地址:http://www.codeinn.net/misctech/95061.html






