Tag: networking抓取

多语种网站和机器人检测

我有一个网站，我实施多语言。 我为每个子域划分我的语言。 fr-fr.mywebsite.com es-es.mywebsite.com www.mywebsite.com // root domain => neutral language for bots 在子域上，如果没有设置语言cookie，我使用子域作为语言代码。 在主域（www）上，如果没有设置语言cookie，则： 如果它是一个机器人，我使用中性语言 如果不是机器人，我使用“accept-language”标题检测用户语言。 如果它是一个机器人如何安全地检测？ 我在这个问题上读了旧的话题，但人们只是使用“接受语言”，因为机器人没有发送这个头，但是，迄今为止，谷歌发送这个头… 检测它是一个bot还是反向检测它是否是Web浏览器会更安全吗？ 因为如果机器人没有被检测到，那么这个网站将被错误的语言索引。 想法？

在CF / BlueMix上部署nodejs问题

当我尝试部署下面的回购CF / BlueMix我得到了错误的“devDependencies”： Error: Cannot find module 'webpack' 如果我添加webpack到dep我得到错误 Error: Cannot find module 'postcss-cssnext' 并继续为其他dev dev dep …. devDependencies的哪个部分，部署不应该只安装“prod”依赖项？ 这是回购： https ： //github.com/Hashnode/mern-starter 我使用npm run bs在本地运行构build，然后将manifest.yml放在下面 — applications: – name: myapp buildpack: nodejs_buildpack memory: 512M command: npm run start:prod services: – mong 什么可能是失败的原因依赖？

如何定位行中的第一个ID

我正在尝试做网页抓取，我想以JSON格式显示数据。 我的任务是从网站中提取每个post，并以JSON格式显示其相关数据。 我的问题是，我似乎无法定位行（），然后定位每个ID。 我可以在我的代码中inputid，但是我希望程序能够通过seacrh获得id，控制台会logging每行id中的数据。 例如：我想通过id获得第一篇文章的标题。 我希望我有道理。 我试图从以下网站提取数据的网站： 我的代码： var express = require('express'); var path = require('path'); var request = require('request'); var cheerio = require('cheerio'); var fs = require('fs'); var app = express(); var port = 8080; var url= "https://news.ycombinator.com/"; request(url, function(err,resp,body){ var $ = cheerio.load(body); var title = $('tr'); var uri var author var points […]

服务工作人员不能使用nodejs服务器以脱机模式运行

我已经创build了新的项目PWA。 当我开发没有使用节点js的（socket.io运行）只是在离线运行，如我所料，需要。 但在与nodejs服务器集成时。 当上网时，运行良好的应用程序不会有任何问题。 但是当我切换到离线模式我的服务工作不运行，但显示离线浏览器。 这是我的代码节点js服务器： var express = require('express'); var app = express(); var server = require('http').Server(app); var io = require('socket.io')(server); var cors = require('cors'); app.use(cors()); app.use(express.static(__dirname + '/')); app.use(function(req, res, next){ res.header('Access-Control-Allow-Origin', '*'); res.header('Access-Control-Allow-Methods', 'GET,PUT,POST,DELETE'); res.header('Access-Control-Allow-Headers', 'Content-Type'); next(); }); io.on('connection', function(socket) { console.log('new connection'); socket.on('afterBid', function(data) { io.emit('bcCurrentBid', { current_bidding: data.auction_current_bidding, user_id_dominated: data.user_id_dominated […]

带有串口的node.js < – > arduino。 错误资源暂时不可用无法locking端口

当数字首先从NodeJS发送到Arduino，我看到这个错误： Error Resource temporarily unavailable Cannot lock port 我使用Linux。 我更新了一些值（在networking服务器）和串口捕捉值，所以我可以看到在Arduino串行监视器的价值。 但是，当我再次更新一些值后，会导致错误。 这是NodeJS代码： var serialport = require('serialport'), SerialPort = serialport.SerialPort, portName = '/dev/ttyACM0', portConfig = { baudRate: 9600, // call myPort.on('data') when a newline is received: //parser: serialport.parsers.readline('\n') }; … (code) … pool.getConnection(function(err,connection) { var sql = "update value set temperature=? , humidity=? where idx=?"; connection.query(sql,[temperature,humidity,idx],function(err,result) […]

如何用多核CPU来提高游戏服务器的性能

如何通过mutil-core cpu提供游戏服务器性能我的观点： 一个繁忙的过程使一个核心忙，如果只有一个繁忙的过程，非常糟糕。 多进程进程并监听不同端口上的并发连接 多进程不能直接共享内存数据。 他们需要沟通。 他们可以在socket，fp socket和redis中进行通信 单独的游戏服务器转化为不同的function，每个function都是一个独立的过程，某些function可以是并行过程。 如果我的观点是正确的，我的问题是： 什么是进程之间沟通的最佳方式，保持数据同步，最好的办法就是快速简单。 我正在使用nodejs，但是我认为对于这个主题也是一样的。 编辑： 按function分片或分离，效果更好

将数据从OSX应用程序推送到nodeJS

我有一个用c ++编写的OSX应用程序（特别是使用OpenFrameworks构build的）和一个使用nodejs编写的服务器。 应用程序跟踪在一个房间周围漫游的对象，我想发送有关对象的位置信息以相对恒定的（至less每秒3次）服务器。 从我所能告诉的是，我需要一个只需要很less的设置开销的协议，或者打开一个可以推送到的持久连接的能力。 如果你不能说 – 我不是一个networking编程大师！ 有没有人知道node.js端和C ++端的库可以完成这个没有500万秒的延迟？

NodeJS缓冲区分割，string和二进制

我有3个信息需要发送一个UDP数据包，userID（int），authentication码（string）和二进制数据。 我将如何能够立即发送这些项目，并能够在另一端拆分它们。 我已经尝试连接三个缓冲区的信息，但不能想办法在另一端拆分它们，因为UID和授权码的长度会有所不同。

Zombie.js – 下载文件支持

我试图在Zombie.js中处理下载提示，通过API查看我没有看到任何指示如何这样做。 基本上我想要做的是浏览通过身份validation所需的网站，然后单击网站上的button（无href），然后自动进行下载。 下载的文件将被重命名并发送到指定的文件夹。 有没有办法做到这一点？

自动修复损坏的Web链接

我的问题是我的网页中的一些链接被破坏，除非有人报告，否则没有修复。 我可以自动化，使页面中的每一个链接“ping”检查是否活着或find替代的链接？ 有没有在服务器端的自动化脚本（PHP左右）来解决在一个页面中断链接？