Tag: hdfs

如何从node.js中删除一个hdfs文件

我在hdfs中有以下文件 hdfs://localhost.localdomain:8020/user/cloudera/direccionbikes.out 我在node.js中写了一个进程，我需要删除这个文件。 我使用api webhdfs。 我在这个程序中使用createReadStream和createWriteStream。 但是我不知道如何从node.js中删除这个文件 我在哪里可以阅读有关这个​​问题的信息（webhdfs）

通过node.js和hdfs模块将file upload到HDFS

我正在尝试使用node.js将file upload到HDFS。 我正在使用hdfs模块，但最终在我的HDFS上的文件是空的（stupidfile.txt不是） var WebHDFS = require('webhdfs'); var hdfs = WebHDFS.createClient(); var fs = require('fs') var localFilePath = "stupidfile.txt"; var remoteFilePath = "/user/cloudera/doesthiswork.txt"; var localFileStream = fs.createReadStream(localFilePath); var remoteFileStream = hdfs.createWriteStream(remoteFilePath); localFileStream.pipe(remoteFileStream); console.log("opening stream to HDFS"); remoteFileStream.on('error', function onError (err) { // Do something with the error console.log("it failed"); console.log(err); }); remoteFileStream.on('finish', function onFinish () […]

我应该使用哪个nodejs库来写入HDFS？

我有一个nodejs应用程序，我想将数据写入hadoop HDFS文件系统。 我看到两个主要的nodejs库可以做到这一点：node-hdfs和node-webhdfs。 有人试过了吗？ 任何提示？ 我应该在生产中使用哪一个？ 我倾向于使用node-webhdfs，因为它使用WebHDFS REST API。 node-hdfs似乎是一个c ++绑定。 任何帮助将不胜感激。