如何保持networking爬虫运行?
我想写在JS我自己的networking爬虫。 我正在考虑使用一个node.js解决scheme,如https://www.npmjs.com/package/js-crawler
我们的目标是每隔10分钟进行一次“抓取”,因此每10分钟我就要抓取工具从网站抓取数据。
我明白,我可以写一个无限循环,如:
var keeRunning = true; while (keepRunning) { // fetch data and process it every 10 minutes }
如果我一直有我的电脑,而且我在网站上,这可能会工作得很好。
但是,如果我closures了电脑,我可以想象它将不再起作用。 那么即使电脑关机,我应该考虑怎样的解决scheme来保持脚本始终在运行?
使用CronJobber调度什么时候运行脚本(每x分钟或设置时间等),并将您的应用程序部署到某处,以便将其托pipe在永不停机的服务器 上 。 有这样的解决scheme,你可以免费托pipe你的节点服务器
- C9
- Heroku的
- Nodejitsu