Tag: 屏 刮

Node.js或ruby刮

我试图做一个应用程序，需要从多个网站抓取大量的数据。 我尝试使用Ruby来抓取网站，但是像Mechanize这样的gem似乎只能抓取静态页面而不是dynamic内容。 我有几个问题关于哪些这些语言，或任何其他语言，我应该使用这个项目（我正在考虑使用节点，因为应用程序中的相当一些元素必须实时）。 是否有可能使用Ruby和/或节点刮dynamic内容？ 如果有的话，应该使用哪些工具？ 如果多个用户将要从多个站点抓取，你会推荐使用哪种语言？ 在稍微不相关的说明中，是否可以将Node和Rails结合起来？ 提前致谢！