Tag: node.io

脚本浏览器Scapper

我可以用什么来实现以下，脚本浏览器或以其他方式向服务器请求，login，浏览网站，例如。 find链接并导航到这些链接。 现在，因为我进入NodeJS，所以我正在查看node.io。 它可以让你很容易地刮网站，但问题是当我试图张贴（login）我什么也没有回来！ nodeio = require "node.io" nodeio.scrape -> @post "http://localhost/auth/login", { username: "username" password: "password" }, -> console.log "=====After Login=====" 但我只是得到 OK: Job complete 即使login失败，我应该login后console.log ？ 那么我想也许最好是通过编写一个浏览器脚本来实现它，它会模拟更真实的请求？

Node.io，JSDOM或PhantomJs？ 或者，YQL-data.html.cssselect？

我需要抓取一个特定的网站挖掘出一些相关的信息。 看起来像首先我必须search该网站，以获得相应的url，抓取时会给我的详细信息。 我们假设，searchurl是 example.com/city1/search.html?cat=category1&locality=location1&page=1 这意味着，可以有city2，city3等类别可以是category2，category3等等，用于位置和页面。 我收集了所有的城市，类别，地点和页面可以增加，直到结果不为空。 得到所有的url后，我必须从每个url挖掘出详细的信息。 我已经看到，某些必要的信息可作为JavaScript的一部分。 现在，我已经看到了node.io，jsdom和phantomjs。 我也看到了yql。 由于我是新手，请根据您的经验向我build议，在这种情况下哪一个是最理想的。 如果你可以举一些例子，那就太棒了。

与web服务器一起使用node.io

我已经开始这个网站抓取项目开始与node.io. 我有这样的工作： node.io myjob arg1 arg2 将以JSON格式发出结果： { 1 : 'apple', 2 : 'orange', 3 : 'banana' } 我的目标是能够在Web服务器上运行，所以如果我指向： http://localhost/arg1/arg2 它将能够使用参数执行node.io myjob arg1 arg2命令并检索我的JSON输出。 我已经查看了node.js，但是我找不到使用node.io创buildWeb服务器的任何示例，反之亦然。 我知道我正在倒退，但这是我目前卡住的地方。 任何build议将不胜感激。

Node.io不会抛出错误？

我注意到，node.io没有抛出任何与nodejs相比的错误，如果有错误的话。 不知道为什么。 例如： 运行这个脚本包含节点的'Util2'的拼写错误。 var Util = require('./lib/util.js'); console.log(Util2.parseFloat('$123.00')); 会抛出错误的： console.log(Util2.parseFloat('$123.00')); ^ ReferenceError: Util2 is not defined. 但是，使用具有完全相同错字的node.io运行此脚本不会引发任何错误。 var nodeio = require('node.io'); var Util = require('./lib/util.js'); exports.job = new nodeio.Job({ input: false, run: function () { console.log(Util2.parseFloat('$123.00')); } }); 不确定node.io是否抑制错误信息，因为没有错误信息很难debugging。 任何解决scheme

JS / Node： – 使用node.ioselect一个标签

我是一个初学者，并且使用node.io来完成一个任务来刮掉这个页面的内容 http://www.nycourts.gov/reporter/3dseries/2013/2013_06966.htm 。 我想将<P>标签下的文本内容作为string保存在一个variables中。 我的代码是这样的： var nodeio = require（'node.io'）; var methods = {input：false，run：function（）{this.getHtml（' http://www.nycourts.gov/reporter/3dseries/2013/2013_06966.htm'，function （err，$）{ //Handle any request / parsing errors if (err) this.exit(err); var content = $('P'); this.emit(content); }); } } exports.job = new nodeio.Job（{timeout：10}，methods）; 这是显示错误：没有匹配'P'的元素。 请帮忙..

node.io问题与内置模块

所以我可以像运行一个js文件 $ node file.js 用node.io里面的文件做事情。 但如果我去命令行，并尝试键入一个内置的模块，就像它显示在https://www.npmjs.org/package/node.io $ node.io query "http://www.reddit.com/" a.title 我只是回到-bash：找不到node.io：命令 这可能是一件非常愚蠢的事情，但我无法弄清楚。

让Node.io通过代理工作

我试图通过代理使用node.io（networking抓取模块）。 我知道它没有经过testing的内置代理的支持，但我无法得到它的工作。 有谁知道如何让它工作？ 谢谢，