Tag: networking抓取

Node.JS客户端应用程序模拟1000 / +客户端连接: 我试图做一个基于控制台的node.js应用程序模拟1000 / +客户端连接到现有的基于node.js的TCP服务器应用程序。更新：使用此代码的当前版本^我得到一个错误TypeError: cannot call method 'write' of undefined ： connx[connNos].Write(str) 。我想我将不得不重新思考/重写这段代码; 任何指针都是受欢迎的。直到现在，这是我想出来的，但是这并不是暗示的： var net = require('net'); var HOST = '127.0.0.1'; var PORT = 7000; var timeout = 30000; var connx = []; for(var connNos = 0; connNos < 10; connNos++){ connx[connNos] = net.createConnection(PORT,HOST); //connx.push(connx[connNos]); connx[connNos].on('connect', function(err){ console.log('Client: Connected'); }); connx[connNos].on('error', function(data){ […]

返回使用nodejs抓取网页的url: 我正在尝试构build一个简单的Web应用程序，使用nodejs及其2个模块请求和cheerio来抓取网站。我设法用下面的代码来完成它： var printURL=function(url){ request(url, (function() { return function(err, resp, body) { if (err) throw err; $ = cheerio.load(body); $('img').each(function(){ console.log($(this).attr('src')); }); } } )()); }; 它在网站上打印图片的URL是正常的，但我真正想要做的是创build一个我可以在函数外部使用的url列表。我试过这样，但它返回一个空的列表： var urlList=[]; var printURL=function(url){ request(url, (function() { return function(err, resp, body) { if (err) throw err; $ = cheerio.load(body); $('img').each(function(){ urlList.push($(this).attr('src')); }); } } )()); }; 我怎样才能解决这个问题？ […]

如何“添加”现有的JavaScript编程游戏的并发性: 在jsrobots.com上为JavaScript编程游戏增加并发性的方法/方法是什么？它本质上是一个古老的DOS游戏的JavaScript重写，它被称为CROBOTS，但有一个非常重要的省略 – 没有适当的并发性或机器人脚本的虚拟加工。每个机器人用户脚本完全轮stream执行。我在“怎么玩”页面的“机器人脚本注释”部分解释了这个限制的更多内容，但基本上它吸引并使得游戏对于原始的CROBOTS来说是不可玩的和不真实的。我的问题是如何将机器人脚本的并发性引入游戏？它看起来像一个NodeJS的更多的服务器端解决scheme或浏览器Web工作人员保持在浏览器中。最初我主要是和networking工作者一起玩。我应该让整个机器人对象成为networking工作者吗？或者只是用户脚本？当前的机器人对象负责绘制自己，但networking工作者不能做到这一点，因为没有访问canvas对象或DOM等。你会怎么做？基本的游戏devise就像http://tinypic.com/view.php?pic=1zoxnbq&s=5，但这基本上是一个自由/开源软件项目，所以可以随意使用View Source疯狂;-) [实际上有一个稍微老一点的版本GitHub https://github.com/danielrhodeswarp/JS-Robots ] 谢谢

Scrapy就像Nodejs的工具？: 我想知道是否有像Scrapy这样的nodejs？如果不是，你觉得使用简单的网页下载和parsing它使用cheerio？有没有更好的办法。

networking推送未知问题，WebPushError“收到意外的响应代码”400: 在使用GCM和chrome进行networking推送的过程中。我最近遇到了这个问题（几个小时前，一切仍然正常）我不确定是否由于GCM的一些变化或云的停机时间而发生这种情况…任何信息将不胜感激。我的代码 var payload = JSON.stringify({ title: 'notification title', body: 'message body' }); webPush.sendNotification(params.endpoint, { userPublicKey: params.userPublicKey, userAuth: params.userAuth, payload: payload }).then(function (res) { // console.log of stuff }) .catch(function(error){ console.log(error); process.exit(1); }); 跟踪： { WebPushError: Received unexpected response code at IncomingMessage.<anonymous> (/var/www/***/pwa/node_modules/web-push/index.js:264:20) at emitNone (events.js:91:20) at IncomingMessage.emit (events.js:185:7) at endReadableNT (_stream_readable.js:926:12) at […]

用AJAX请求刮一个页面: 我使用jsDOM的Node.js来抓取网页，并在其中执行JavaScript。但是，如果一个页面包含AJAX请求，它们不会被执行。有没有一个选项来执行刮脸页面内的AJAX调用？

最好的方法来抓取混合内容的一组网页: 我正在试着用今天的菜单来展示办公室周围的午餐场所。但问题是提供午餐菜单的网站并不总是提供相同types的内容。例如，一些网站提供了一个不错的JSON输出。看看这个，它提供了英文/芬兰的课程名称分开，我需要的一切都可用。还有其他几个像这样的。但其他人，并不总是有一个很好的输出。像这样内容是用简单的HTML布局的，而英文和芬兰的食物名称并不是完全有序的。同样的食物性质，如（L，VL，VS，G等）只是正常的文字，如食品的名称。你认为什么是以不同格式提取所有可用数据并将其转换为可用数据的最佳方法？我试图用Node.js（＆phantomjs等）制作一个刮板，但是它只能在一个网站上运行，而且在食品名称不正确的情况下。提前致谢。

如何使用Node.js创buildnetworking爬虫？: 我最近对search引擎的工作方式感兴趣，并且发现他们使用“bots”或“webcrawlers”。我立即开始想知道这些事情是如何工作的，我想创造一个！所以，首先：你如何制作一个从服务器请求页面的程序？如果你给了我一个JavaScript的简单例子（我正在使用Node作为一个正常的脚本语言运行），这将是非常棒的。接下来，是否有一个Node模块让我来解释HTML？为我创build一个DOM所以我可以循环所有的链接等？纠正我，如果我错了，但我想这是这样做的…在C + +，C或Python的任何例子也受到热烈欢迎，虽然我更喜欢JS或Python，因为我更熟悉高级脚本语言。

如何从本地主机断开？: 是否有可能从本地主机断开连接？我正在写一个Node.js WebSocket服务器，我想在本地testing如果连接错误地closures会发生什么。如果我正在远程testing，则只需closuresWi-Fi，但不会断开与本地主机的连接。思考？

Qt应用程序 – node.js服务器通信: 我想制作一个桌面应用程序（因为它应该是跨平台的，我已经决定坚持使用Qt，而且我已经很熟悉了）连接到服务器。该应用程序在概念上与聊天应用程序类似。我知道有应用程序服务器，但是现在，我熟悉诸如rails之类的web服务器框架，并且正在尝试使用node.js。我想知道应该如何让我的应用程序（基于Qt）连接到服务器，主要问题是，我应该如何实现服务器？想到各种select后，包括将整个项目移植到一个Web应用程序，我已经决定最好的select是使用应用程序以某种方式连接到node.js服务器，它将服务的HTML文件其中将包含应用程序的命令。我在正确的道路上？可以这样（Qt-app和node.js服务器通信）以我想的方式实现吗？这是正确的方法吗？