Tag: csv

我如何parsing大型tsv文件通过Nodejs JSON: 我有一个370MB的文件。我需要parsing，然后更新mongodb中的条目，我已经使用npm node-tsv-json.It适用于小文件，但不适合大one.It说致命错误：CALL_AND_RETRY_LAST分配失败 – JavaScript堆内存不足

从CSV导入到MongoDB的嵌套元素: 我有以下的CSV文件： Website Company name City State Zip Country Founded year Company email Twitter Followers Employees Revenue Public/Private/Nonprofit Industry Monthly Technology Spend First name Last name Title Email Confidence Phone website.com Some Company Sydney NSW 2010 Australia 2012 support@company.com 94750 100 – 250 $1 – 10M Private Design $5K – 20K Fred Smith Mixing Technology and […]

JSON到csv文件的中文字符编码: 我已经写下了将json转换为csv的代码。 var json2csv = require('json2csv'); var fs = require('fs'); var fields = ['car.make', 'car.model', 'price', 'color']; var myCars = [ { "car": {"make": "萱萱的 iPad Mini", "model": "萱萱的 iPad Mini"}, "price": 40000, "color": "blue" }, { "car": {"make": "萱萱的 iPad Mini", "model": "萱萱的 iPad Mini"}, "price": 35000, "color": "black" }, { "car": {"make": "萱萱的 iPad […]

错误：第5行的列数不一致 – parsingCSV时: 我试图parsing一个CSV文件，使用制表符作为列分隔符。我得到下面的错误： Error: Number of columns is inconsistent on line 5 at Parser.__push (/Users/mesamhaider/Desktop/workspace/Order_CSV_Parsing_Tool/node_modules/csv-parse/lib/index.js:248:14) at Parser.__write (/Users/mesamhaider/Desktop/workspace/Order_CSV_Parsing_Tool/node_modules/csv-parse/lib/index.js:469:20) at Parser._transform (/Users/mesamhaider/Desktop/workspace/Order_CSV_Parsing_Tool/node_modules/csv-parse/lib/index.js:182:14) at Parser.Transform._read (_stream_transform.js:190:10) at Parser.Transform._write (_stream_transform.js:178:12) at doWrite (_stream_writable.js:371:12) at writeOrBuffer (_stream_writable.js:357:5) at Parser.Writable.write (_stream_writable.js:274:11) at ReadStream.ondata (_stream_readable.js:626:20) at emitOne (events.js:115:13) 我正在使用的代码如下所示： const fs = require('fs'); const parse = require('csv-parse'); fs.createReadStream('../in/*.csv') .pipe(parse({delimiter : ' '})) […]

快速有效地创buildCSV文件报告，而不会减慢node.js服务器的速度: 我有一个Node.js快速API，托pipe在一个Azure应用服务上，提供来自SQL服务器数据库的数据。一个新的要求是根据可定制的数据导出报告。这些应该是即时生成的CSV文件。我面临的问题是，在某些情况下，CSV文件将会非常大（可能是50万行）。我不难创build这些文件，然后将它们上传到Blob存储，或者直接将它们提供给用户。但是，正如你可以想象的那样，这将花费一些负载在服务器上。这个API每分钟提供约500个Post / Get请求。 Node的单线程特性意味着当有人请求类似的CSV文件时，服务器将抓取。我需要一些build议，而不是做什么。我的想法是启动一个新的应用程序，在一个新的服务器上（可能是一个用ASP.NET编写的），负责创buildCSV文件。它公开一个接收参数来创build文件的结束点，然后用文件或链接进行响应。但是，因为它是一个单独的服务器（如果我做了类似于.NET的单独线程），它在等待响应时不会降低节点服务器的速度。这看起来好像很多工作。有什么简单的吗？我对任何可以直接连接到SQL数据库并生成报告的服务开放（所以我可以把它给客户端，而不是定制的报告，我需要硬编码）。

CSV-parse npm库，返回“列数不一致”: 我想用csv-parseparsing一个csv文件。此时，如果在文件的第一行没有标题，我可以parsing带有标题的文件。所以例如我的文件是这样的： Item1;Item2:Item3 Test1;Test2;Test3 但我需要能够跳过第一行，因为实际的数据是这样的： This is a file with items Items are stored below: Item1;Item2:Item3 Test1;Test2;Test3 所以我需要跳过第一行。 csv-parse可以使用from：选项执行此操作。但是，当我使用它会返回一个列数不一致的错误。这是真的，因为前几行是文本，所以只有一列。但是当我以例如：4作为选项设置时，csv-parse不会占用前几行。我的代码： var fs = require('fs'); var parse = require('csv-parse'); var parser = parse({delimiter: ';', from: 2}, function(err, data){ if(err){ return console.log(err); } var keys = data.shift(); var objects = data.map(function(values) { return […]

如何将spark rdd保存到csv文件: 我有一个要求检索cassandra表数据并将其保存到文件系统（Linux文件系统）。该文件不应该分裂成多个节点，它应该创build在一个单一的节点。我们有四个以spark模式运行的节点（datastax）cassandra集群。 dse版本：5.0.1 Spark版本：1.6.1 这里是我的示例代码： val sc = new SparkContext(conf) val sqlContext1 = new CassandraSQLContext(sc); sqlContext1.setKeyspace("KeyspaceName"); val results = sqlContext1.sql("SELECT * FROM KeyspaceName.TableName"); results.collect().foreach(println); 现在结果RDD。需要在一个节点上保存到本地文件系统（linux）。我跟着一些博客，但没有工作。有人可以指导解决这个问题吗？

节点CSVparsing器输出问题: 我正在尝试使用Node CSVparsing器从我的Mongo数据库中读取查询结果，并将其写入到csv文件中。当我运行我的脚本，我得到一个csv文件，第一行有两个[对象]条目，其他一切都是空白的。这是我的代码： // node samples/sample.js var csv = require('csv'); var mongoose = require('mongoose'); var User = require('../models/userModel').User; dsn = "mongodb://localhost/test"; mongoose.connect(dsn); console.log ("here"); var users = User.find({}, function(err, result){ console.log(result); }); var columns = ['userName','agencyName','email','password','id']; csv() .from(users, { columns: true }) .toPath(__dirname+'/users.csv',{ columns: ['userName','agencyName','email','password','id'] }) .transform(function(data){ data.unshift(data.pop()); return data; }) .on('data',function(data,index){ console.log('#'+index+' '+JSON.stringify(data)); […]

node.js如何在从stream中导入数据库后同步最终callback: 这听起来像一个非常典型的用例如Q或async库，但我真的不知道什么是最好的方式来做到这一点。我想用150行（使用node-csv ）导入CSV文件，并为每行创build一个mongo文档。然而，streamparsing看起来比“db插入”更快，所以我遇到了callback被调用得太早的问题。 // importtest.mocha.js […] importer.loadFromCsv (url, function(result) { result.length.should.be.equal (150); // nope, it's always around 41 } // importer.js function loadFromCsv (url, callback){ csv().from.stream(url) .on ('record', function(record, index){ new Row({data: record}).save(function() { console.log ('saved a row to db'); }); }) .on ('end', function() { callback (Row.find({})); // E parser finished, but probably […]

用CSV写节点js的匹配行: 我正在与node js婴儿的步骤。第一个任务，逐行阅读一个分隔的文件，并吐出包含string“imputed”的行。 #!/usr/bin/env node var Csv = require("csv"), Fs = require("fs"); var foods = "/../data/sr26"; Csv() .from.stream( Fs.createReadStream(__dirname + foods + "/SRC_CD.txt"), {"delimiter": "^", "quote": "~"} ) .to(function(data, count) { console.log(data); }) .transform(function(row, index, callback) { //if (row[1].search(/imputed/) != -1) { process.nextTick(function() { callback( null, row[1].substr(0, 15) + "… " + row[1].search(/imputed/) + "\n" […]