Tag: networking抓取

如何以编程方式从networking选项卡捕获查询string参数: 我正在尝试捕获查询string参数的分析目的使用JavaScript。我做了一些search，发现BMP可以用来做到这一点，但我无法find充足的例子来实现。任何人都可以指向正确的方向。编辑1：我使用下面的代码使用browsermob-proxy获取har文件，但我得到ERROR: browsermob-proxy returned error当我运行它。我用它selenium。 getHarFile() { const proxy = browsermb.Proxy; const pr = new proxy({host:"0.0.0.0",port:4444}); pr.doHAR("http://www.cnn.com/", (err,data) => { if (err) { logger.debug('ERROR: ' + err); } else { fs.writeFileSync('ua.com.har', data, 'utf8'); logger.debug("#HAR CREATED#"); } }) }

Javascript：REGEX将所有相关url更改为Absolute: 我目前正在创build一个Node.js webscraper /代理，但我无法parsing在源代码的脚本部分find相关的url，我想REGEX会做的伎俩。虽然我不知道如何实现这一点。无论如何，我可以去做这件事吗？此外，我打开这样做的一个更简单的方法，因为我很困惑如何其他代理parsing网站。我认为大多数只是荣耀的网站刮板，可以读取网站的来源中继所有链接/forms回代理。

我如何使用node.jsdynamic内容页面？: 我试图刮一个网站，但我没有得到一些元素，因为这些元素是dynamic创build的。我在node.js中使用cheerio，我的代码如下所示。 var request = require('request'); var cheerio = require('cheerio'); var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; request(url, function (err, res, html) { var $ = cheerio.load(html); $('.listMain > li').each(function () { console.log($(this).find('a').attr('href')); }); }); 这段代码返回空的响应，因为当页面被加载时， <ul id="store_list" class="listMain">是空的。内容尚未附上。如何使用node.js获取这些元素？我如何刮dynamic内容的网页？

如何在JavaScript中logging提取的networking资源？: 有没有办法访问浏览器请求的资源列表（在Chrome检查器的networking面板中find的资源列表）？我希望能够遍历这些获取的资源，以显示已被访问的域，如下所示： for (var i = 0; i < window.navigator.resources.length; i++) { var resource = window.navigator.resources[i]; console.log(resource); //=> eg `{domain: "www.google-analytics.com", name: "ga.js"}` } 或者，也许有一些事件要写一个处理程序，比如： window.navigator.onrequest = function(resource) { console.log(resource); //=> eg `{domain: "www.google-analytics.com", name: "ga.js"}` } 它不需要跨浏览器工作，甚至可以使用客户端JavaScript。只要能够以任何方式访问这些信息就可以了（也许有一些方法可以使用phantomjs或者从shell / node脚本来观察networkingstream量）。有任何想法吗？

Node.jsvideo聊天应用程序: 你将如何使用node.js实现video聊天应用程序？任何资源（教程，书籍，链接）或一般的游戏规划/策略将不胜感激

Node.js与Python: 我正在重写我的服务器，并决定使用Node.js和Python。我更喜欢Javascript（因为我非常精通），但是这篇文章让我停下来。我很好奇，如果任何人有任何问题，而且我很好奇，如果有任何平台相关的美德之一。具体来说，他们中的任何一个都不支持/限制/ excel-at mySQL调用 imageMajik交互调用系统进行文件系统操作通过WGET / Curl调用其他任何东西你可以想到正常的CGI进程必须处理。我不想开始讨论PHP或.Net的优点，我已经做出了一个明确的决定，转移到Python或Node.js，并完全在Node.js上解决，直到我读了上面的文章，所以实际上，我只是在寻找人们对这两种工具所具有的特定问题/美德。提前致谢。

刮Meteor.js: 我可以用meteor.js刮？刚刚发现了与request相结合的极好的cheerio 。我可以使用这些meteor，还是有类似的东西？你有没有一个工作的例子？

Firebase托pipe自己的服务器node.js: 我有与firebase数据库的webapp。我想要在Firebase上托pipe应用程序。我的应用程序有自己的服务器nodejs和使用websockets。我如何在Firebase上托pipe我的应用程序？我如何在Firebase上运行我自己的服务器？

BeautifulSoup像刮板为nodejs: 我是前python开发人员，我已经使用BS4几年现在我正在开发与节点和是的cheerio包是非常好的，但我需要像BS4 smith在节点刮是否有一些替代品啦？谢谢！

使用Nodejs HTTP Server定制HTTP方法: 目前通过HTTP编写同步机制，我开始在NodeJS上构build我的服务器，这看起来是一个很好的解决scheme。好的，我可以使用GET和HEAD方法。但只要我尝试使用非标准方法，例如“SYNC”。代码如下： var http = require("http"); var server = http.createServer(function (req, res) { res.writeHead(200); res.end(req.method); }); server.listen(8080); 看起来不错…让我们telnet这个，发出一个GET，然后发出一个SYNC请求 mylaptop:~ aob$ telnet localhost 8080 Trying ::1… telnet: connect to address ::1: Connection refused Trying 127.0.0.1… Connected to localhost. Escape character is '^]'. GET / HTTP/1.1 HTTP/1.1 200 OK Connection: keep-alive Transfer-Encoding: chunked 3 GET […]