Tag: networking抓取

Node.js不能通过networkingbuild立连接

我有一个Node.js的问题。 我写了一个非常简单的TCP服务器，它接收一个JSON并在MySQL数据库上执行简单的数据库操作。 一切都在本地正常工作。 我使用nc <server ip address> <port>使用netcattesting它。 当我在本地执行操作时，可以访问服务器，但是当我尝试通过networking执行操作时，它无法连接。 Netcat正在使我感到困惑的networking正常工作。 我也尝试了HTTP服务器的例子，我也无法得到这个工作。 我正在使用Mac OS X Snow Leoppard和Arch Linux。 我无法从/连接到其中任何一个。 有任何想法吗？ 我需要做一些特殊的事情让Node.js连接？ 如果有人有任何想法，我会很高兴=）我不粘贴源代码，因为它是121行，但如果有人需要它，我会交出来。 ==== ====解决 我搞砸了大时间。 这里是我的源代码： http : //pastebin.com/YA0Zsrhq我正在使用server.listen（端口，“127.0.0.1”）就像例子，这意味着只有本地主机可以访问该服务。

一个简单的URL如何从一个Web浏览器发生多个请求？

当尝试从node.js应用程序服务页面时，我碰到这个问题。 如何从服务器提供多个文件，只需要用户发送一个简单的请求？ 例如： 用户在地址栏中inputwww.google.co.in 浏览器向该url发出请求，并且应该以响应结束。 但是，发生的事情是，更less的请求从该页面发送到服务器就像一个链。 我现在的想法是，我的networking浏览器（chrome）如何发送这些额外的请求…或者是谁在提示chrome来做这件事？ 和当然，我怎么能做同样的我的node.js应用程序。

RTSP服务器的HTTP代理

我有一个RTSP服务器与videostream。 我想为它创build一个“代理”服务器，用于来自多个移动设备的外部连接。 这个服务器应该在Node.js上。 有没有可能？ 当我能得到关于我的问题的任何信息时，您能请教build议吗？ 谢谢，帕维尔

如何知道谁在nodejs中连接到我的wifi

我想知道怎么可能在nodejs扫描我的wifi和返回所有连接的设备的所有MAC地址。 我正在尝试与SNMP模块，但不工作…

平衡服务器上的Hyproxy和100％负载上的100％CPU负载

2个应用程序服务器位于Haproxy服务器后面，使用负载平衡的最less连接方法。 然而，每10-15秒，应用程序服务器的CPU负载将会从非常小的到100％！ 一个核心上Haproxy服务器的负载通常是90-100％。 问题 ：由于Haproxy无法承受负载，所以2台应用程序服务器上的连续CPU峰值？ 我们是否应该担心Haproxy只有60k连接的100％负载？ Haproxy统计 pid = 4359 (process #1, nbproc = 1) uptime = 0d 17h39m45s system limits: memmax = unlimited; ulimit-n = 524319 maxsock = 524319; maxconn = 262144; maxpipes = 0 current conns = 63194; current pipes = 0/0 Running tasks: 139/63216 HAProxy的 应用服务器 HAProxy的 应用服务器

用cheerio模拟button点击

任何人都可以指导我如何模拟与cheeriobutton点击？ 该button是一个图像button。 点击后如何处理__dopostback ？ 谢谢 编辑：我正在尝试下面的代码 process.env['NODE_TLS_REJECT_UNAUTHORIZED'] = '0'; // Ignore 'UNABLE_TO_VERIFY_LEAF_SIGNATURE' authorization error var request = require('request'); var cheerio = require('cheerio'); function postback(url, callback) { request.get(url, function onResponse(err, res, body) { $ = cheerio.load(body); var button = callback(err, $); if (button) { var form = { __EVENTTARGET: button.attr('Button1'), __VIEWSTATE: $('#__VIEWSTATE').val(), __EVENTVALIDATION: $('#__EVENTVALIDATION').val(), __EVENTARGUMENT: $('__EVENTARGUMENT').val(), […]

Scraperjs与页面的交互

有人使用https://github.com/ruipgil/scraperjs刮取网页？ 我无法理解如何与网页互动？ 如何获得谷歌search结果。 这应该做一个scrape（）或之前的函数？

如何解决Node.js进程中的ESOCKETTIMEDOUT / ECONNRESET错误

这是一个相当复杂的情况，所以我只是描述一下大局。 我们已经有几个星期了错误，所以任何想法，将不胜感激。 我们有四个networking跳跃： client (Node.js) | AWS ELB | routing proxy service (Node.js) | Squid proxy | the internet 我们正在观察以下错误： 客户 ESOCKETTIMEDOUT 套接字挂断 截断的响应（部分JSON，在中间的某个点切断） getaddrinfo ENOTFOUND 在极端情况下，我们也会看到Postgres和Redis连接出现networking错误 ELB 有时我们观察到浪涌队列填满并丢弃连接。 这似乎已经通过启动更多的路由器盒来解决。 路由代理 ECONNRESET 超时 EMFILE 我们试过了什么？ 增加Node.js HTTP代理的maxSockets值 增加最大打开的文件ulimit值 增加TCP somaxconn 监视连接池大小（通常在正常范围内） 任何想法赞赏。

在每个循环内调用cheerio.load

所以Meteor的基本服务器JS scrapper。 这种模式很简单。 脚本find某些链接，然后从它们加载内容并将内容存储在variables中。 在循环中加载cheerio时脚本不断崩溃。 渔获在哪里？ 什么是最好的实现这个目的？ Meteor.methods({ loadPage: function () { result = Meteor.http.get("http://url.com"); $ = cheerio.load(result.content); $('.class').each(function(i,elem){ var link = $(this).attr('href'); var title = $(this).text(); var $ = cheerio.load(Meteor.http.get(link).content); var postContent = $('.classOnLoadedPage'); Images.insert( { link: link, title: title, postContent: postContent }); }); } });

如何查找表单参数的存储位置，并在请求中使用它们

我正在尝试使用Request和Cheerio为https://www.freelance.nl/opdrachten/zoeken提供数据，但是我遇到了发布search条件的问题。 在使用该站点时，我无法看到searchstring和所选类别在发送过程中的位置，以及我如何在请求中使用它们来自动执行来自我的节点应用程序的search。 基本上我希望能够发送不同的search条件使用请求，然后我可以刮我返回的HTML数据，我需要的。 到目前为止，我有这样的： request.post('https://www.freelance.nl/opdrachten/zoeken', { form: { key: 'value' } }, function (error, response, body) { if (!error && response.statusCode == 200) { console.log(body) } } ); 但是由于我无法看到表单数据在开发工具中的存储位置，我无法在“表单”对象中发送正确的值。 我很确定它是在请求有效负载，但我怎么从我的节点应用程序？ 有没有更简单的方法来做到这一点？ 我完全在浪费时间吗？