如何保持networking爬虫运行?

我想写在JS我自己的networking爬虫。 我正在考虑使用一个node.js解决scheme,如https://www.npmjs.com/package/js-crawler

我们的目标是每隔10分钟进行一次“抓取”,因此每10分钟我就要抓取工具从网站抓取数据。

我明白,我可以写一个无限循环,如:

var keeRunning = true; while (keepRunning) { // fetch data and process it every 10 minutes } 

如果我一直有我的电脑,而且我在网站上,这可能会工作得很好。

但是,如果我closures了电脑,我可以想象它将不再起作用。 那么即使电脑关机,我应该考虑怎样的解决scheme来保持脚本始终在运行?

使用CronJobber调度什么时候运行脚本(每x分钟或设置时间等),并将您的应用程序部署到某处,以便将其托pipe在永不停机服务器 。 有这样的解决scheme,你可以免费托pipe你的节点服务器

  • C9
  • Heroku的
  • Nodejitsu