脚本浏览器Scapper

我可以用什么来实现以下,脚本浏览器或以其他方式向服务器请求,login,浏览网站,例如。 find链接并导航到这些链接。

现在,因为我进入NodeJS,所以我正在查看node.io。 它可以让你很容易地刮网站,但问题是当我试图张贴(login)我什么也没有回来!

nodeio = require "node.io" nodeio.scrape -> @post "http://localhost/auth/login", { username: "username" password: "password" }, -> console.log "=====After Login=====" 

但我只是得到

 OK: Job complete 

即使login失败,我应该login后console.log


那么我想也许最好是通过编写一个浏览器脚本来实现它,它会模拟更真实的请求?

Selenium或Watir让你脚本浏览器。 他们使用实际的浏览器,所以他们会比低层次的工具慢,但是他们做了浏览器的一切(即JavaScript)。

node.io似乎是一个很好的工具,但我也推荐zombie.js 。 它似乎主要是针对testing,但是文档看起来也是很棒的。

如果你想去脚本浏览器路线,忽略我的答案。 🙂