Tag: scraping node.io

如何在使用node.io抓取时添加像Tor一样的代理？

我正在使用node.io构build一个web刮板，但在寻找方法的时候，我已经要求这么多，而且这个网站已经阻止了我。 我不知道如何添加像使用Tor的代理向本网站发出请求。

node.io：作业完成后，重新执行

我正在用node.io创build一个刮板。 我想要报废的页面每分钟都有新的内容。 我想每隔一分钟就一次又一次地做我的工作。 （好吧，我可以做一个bash脚本，但我想留在JavaScript）这是一个基本的工作： var nodeio = require('node.io'), options = {timeout: 10}; exports.job = new nodeio.Job(options, { input: ['hello', 'foobar', 'weather'], run: function (keyword) { this.getHtml('http://www.google.com/search?q=' + encodeURIComponent(keyword), function (err, $) { var results = $('#resultStats').text.toLowerCase(); this.emit(keyword + ' has ' + results); }); } }); 我怎么能这样做？ 我是node.js的初学者，我尝试了setInterval这个工作（：没有成功。

如何在Facebook / Linkedin中创build链接预览

我正在创build一个web应用程序使用平均stack.It将有一个input框，用户可以写任何将存储在mongo分贝，然后使用angular度显示的任何东西。 这与新闻源相似。 所以用户甚至可以input我成功从文本中提取的url，并将其转换为链接。 我想做点什么，如Facebook和LinkedIn做什么.. 刮到给定的url，并显示其主要图像和标题，但这应该做angular度而不去节点。 有没有办法在浏览器中做到这一点？ 有了这个节点，我正在使用node.io