正文
使用node.js制作简易爬虫
小程序:扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序
【扫一扫了解最新限行尾号】
复制小程序
最近看了些node.js方面的知识,就像拿它来做些什么。因为自己喜欢摄影,经常上蜂鸟网,所以寻思了一下,干脆做个简单的爬虫来扒论坛的帖子。
直接上代码吧。
var sys = require("sys"),
http = require("http"),
fs = require("fs");
var url = "http://newbbs.fengniao.com/forum/forum_125.html";
var data = "";
//创建正则,过滤html
var reg = /<div\s*class="recommendSub">\s*<a\s*href="(.*?)"\s*class="pic"\s*title="(.*?)"/g;
var result = [],
timeStamp = 0;
// 创建一个请求
var req = http.request(url, function (res) {
// 设置显示编码
timeStamp = new Date().getTime();
res.setEncoding("utf8");
res.on('data', function (chunk) {
data += chunk;
});
// 响应完毕时间出发,输出 data
res.on('end', function () {
while (match = reg.exec(data)) {
result.push({
title: match[1],
url: match[2]
});
}
writeFile(result);
});
});
// 发送请求
req.end();
function writeFile(r) {
var str = '';
for (var i = 0, _len = r.length; i < _len; i++) {
str += r[i].title + '\n' + r[i].url + '\n';
}
//数据拼接结束后,写入s.txt文件
fs.writeFile('s.txt', str, function (err) {
if (err) {
throw err;
}
console.log('耗时约' + Math.ceil((new Date().getTime() - timeStamp) / 1000) + 's');
console.log('数据已写入文件');
});
}
这里比较需要注意的就是正则了,大家要注意贪婪匹配这些要点。
我们把这个js文件命名为spider.js,控制台下运行
node spider.js
后就可以看到s.txt文件生成了,里面就是获取的帖子信息。
就这样吧,打算抽空好好学学node.js,这家伙还是挺有趣的。
相关的js我同时也上传到了github上,有感兴趣的同学可以clone到本地。
地址:https://github.com/kbqncf/spider