Tag: networking抓取

Miroservices与sockets之间的服务间通信

我目前正在为以下场景devise一个系统：数据从客户端stream式传输，由多个服务依次处理（不平行）。 然后，在分析数据的同时将数据传输回客户端。 在这个过程中服务器返回客户端部分分析的数据是非常重要的（这就是为什么我需要套接字）。 客户端甚至可以在服务器分析过程中发送更多的信息，这可能会影响分析结果。 我制作的高级素描 我已经做了大量的研究，我看到只有REST微服务或使用各种消息队列的套接字asynchronous处理。 我还没有看到任何人在这些服务之间直接使用这么多打开的套接字来实现微服务。 现在我的问题是：我在这里做正确的事情吗？ 在我所有的服务器之间打开套接字是错误还是不可靠？

我怎样才能抓取网页find一个主题的链接/网站？

我真的不知道从哪个项目开始，所以请原谅这个模糊的标题。 当我谷歌“如何编程”，我想在一些可行的forms，search的结果。 我不知道是否可以用Google或其他方式search这个，但是如果不能，我怎样才能build立自己的软件来获取这些数据呢？ 谷歌如何运行它的search？ 我知道JavaScript和NodeJS – 我还需要学习什么？ （我肯定可以想象某种数据库）。

你如何覆盖生成的元标记？

我想覆盖我的Hexo博客的meta标签： <meta property="og:type" content="website"> <meta property="og:title" content="Borgez"> <meta property="og:url" content="http://feliborgez.github.io/blog/index.html"> <meta property="og:site_name" content="Borgez"> <meta property="og:description" content="The personal blog of Felipe Borgez"> <meta name="twitter:card" content="summary"> <meta name="twitter:title" content="Borgez"> <meta name="twitter:description" content="The personal blog of Felipe Borgez"> 但是，它们似乎并不是由主题产生的（或者我可以轻易改变它们）。 他们在哪里产生？

“后续的variables声明必须具有相同的types”

我正在关注这个链接，使用webworker-thread启动一个示例节点js项目。 https://www.npmjs.com/package/webworker-threads 这里是我的ts代码： var Worker = require('webworker-threads').Worker; // var w = new Worker('worker.js'); // Standard API // You may also pass in a function: var worker = new Worker(function(){ postMessage("I'm working before postMessage('ali')."); this.onmessage = function(event) { postMessage('Hi ' + event.data); self.close(); }; }); worker.onmessage = function(event) { console.log("Worker said : " + event.data); }; […]

不适用于networking抓取中的空白

我想刮掉下面提到的页面，但“ .trans-section ”节点中有一些空格。 “.trans-section”节点正在捕捉“ 标题 ”以及“ 描述 ”。 在某些表中，标题将在那里，但描述缺失。 当描述为空时，我希望数据填充NA 。 由于节点是相同的，我没有得到任何空白行。 请帮忙。 url ： https ：//patentscope.wipo.int/search/en/result.jsf ？ currentNavigationRow = 5＆ prevCurrentNavigationRow =2& query = FP:(Gaming) & office =& sortOption = Pub%20Date%20Desc & prevFilter =& maxRec = 39316 & viewOption = All & listLengthOption = 200 library(rvest) library(httr) library(XML) FinalD <- data.frame() for (i in […]

节点Web服务器在外部不可见，但Python是（MacOS）

我刚刚开始构build一个Ionic 2应用程序，但我无法在我的移动设备上正常工作。 Python（作品） 为了演示手机可以看到主机，我尝试了一个Python服务器： $ python -m SimpleHTTPServer 8000 Serving HTTP on 0.0.0.0 port 8000 … 如果我在手机上访问http://192.168.8.101:8000 ， 它连接正常，并显示目录列表。 节点（失败） 但是，当我启动Ionic时： $ ionic serve -p 8000 […] [INFO] Development server running Local: http://localhost:8000 External: http://192.168.8.101:8000 我可以在我的主机的networking浏览器中加载它，但是我无法从我的手机或其他计算机上看到它 （超时）。 我也尝试了一个基本的节点服务器 ： $ npm install http-server -g $ http-server -p 8000 Starting up http-server, serving ./ Available on: […]

Cheerioerror handling程序节点js

我开始使用Node.js一个新的项目，我想知道是否有任何方法来pipe理从cheerio.load（）函数返回什么。 我试图使用callback和承诺（然后赶上），但它没有工作。 例： var $ = cheerio.load(html); //what if it's falied ???? how I can handle it? 我问这是因为我试图运行脚本仆人时间，但有时它是工作，有时不。 顺便说一句：我使用npm站点的cheerio模块 – > npm install cheerio. 谢谢 ：-）

从另一个Docker容器运行Zalenium的Selenium命令

由于我目前的项目情况，我需要一起使用2个docker图像进行seleniumtesting。 一个叫做Zalenium。 我已经通过docker-compose演示了。 它基本上像seleniumdocker回购，除了这可以loggingvideo，并显示你现场进展。 zalenium: image: "dosel/zalenium" container_name: zalenium hostname: zalenium tty: true volumes: – /Users/josephastrahan/seluser/videos:/home/seluser/videos – /var/run/docker.sock:/var/run/docker.sock – /usr/bin/docker:/usr/bin/docker ports: – 4444:4444 command: > start –chromeContainers 1 –firefoxContainers 1 –maxDockerSeleniumContainers 8 –screenWidth 800 –screenHeight 600 –timeZone "Europe/Berlin" –videoRecordingEnabled true –sauceLabsEnabled false –browserStackEnabled false –testingBotEnabled false –startTunnel false environment: – HOST_UID – HOST_GID – SAUCE_USERNAME […]

Node.js“ws”websocket服务器在〜30秒后随机断开客户端，错误1006

我有一个简单的websocket服务器，如下所示： const WebSocket = require('ws'); const wss = new WebSocket.Server( { server: server, path: "/ws" }); wss.on('connection', function connection(ws, req) { console.log("Connected"); ws.on('message', function incoming(message) { console.log('received: %s', message); }); ws.on('close', function close(code, reason) { console.log("Code: "+code+" | Reason: "+reason); console.log('disconnected'); }); ws.send('something'); }); 我有一个连接到它的客户端，但连接大约30秒后，websocket服务器closures连接，错误代码为“1006”。 谷歌告诉我这意味着连接exception中断。 但是，我不确定是什么原因造成的。 ws.on('error')callback也不会被触发。 我如何与客户保持无限期的连接？

路由器（代理）与NodeJS？

我想build立一个路由器来控制我的互联网访问（通过服务器的WLAN）。 只有less数几个网站（通过白名单/黑名单）应在特定的时间提供。 是否有任何路由/代理networking（http / s，ftp）和电子邮件（pop / imap / smtp）stream量的良好软件包？