Tag: csv

像nodeJs中的参数那样传递csv文件

我不能为我的生活想办法做到这一点。 我以前曾经将csv文件导入到js文件中,但是为了解决这个问题,我必须创build一个js文件,将可执行文件从数据文件作为input传递到shell。 任何想法如何做到这一点? 〜挑战性的描述〜 该程序必须可以从一个shell执行,并将CSV文件作为input。 例如: node score_calculator.js data.csv

heroku上的node.js:错误:无法find模块'csv'

我正在使用公共节点包'csv'来做CSVparsing。 它在我的本地mac上运行良好,但不在heroku上运行。 在“heroku日志”中,我找不到模块“csv” 。 是的,我在我的包json文件中: { "name":"rimes", "version":"0.0.1", "dependencies":{ "sys":"", "url":"", "http":"", "querystring":"", "oauth":"0.9.10", "fs":"", "csv":"0.3.0", "request":"", "node-cache":"", "underscore":"" } } 我需要在我的app.js var sys = require('sys'), http = require('http'), url = require('url'), qs = require('querystring'), OAuth= require('oauth').OAuth, fs = require('fs'), csv = require('csv'), myreq = require('request'), NodeCache = require('node-cache'), us = require('underscore'); 我能做些什么来解决这个问题呢? 谢谢,托德

针对用户的Nodejs CSV数据导出系统

我需要允许用户以csv格式导出他们的数据。 我已经在nodejs中编写了应用程序。 用户的导出数据可能很大。 所以我想知道如何在nodejs中处理这种情况。 我应该用户process.nexttick或subprocessnodejs的API? 还有没有任何好的模块可用于nodejs将数据从mysql转换为csv。

使用node.js csv模块从mongodb生成csv文件

我需要更好地控制数据如何输出到CSV,所以我不能使用mongoexport。 我想一次读入一个mongodb文件,并在文件中写入csv格式的行。 如果有人能指出我的方向是正确的,那将是有帮助的。 如果我所有需要考虑写在CSV文件的价值是逃避双引号,我可能只需写出行,而无需csv模块。 主要关注csv的创build部分。

fs转储相当于NodeJs?

目的 强制fs(以及使用它的库)在终止应用程序之前将所有内容写入文件。 背景 我正在使用npm包csv-write-stream将对象写入CSV文件。 一旦库完成了CSV文件的写入,我想用process.exit()终止我的应用程序。 码 为了达到上述目标,我写了以下内容: let writer = csvWriter({ headers: ['country', 'postalCode'] }); writer.pipe(fs.createWriteStream('myOutputFile.csv')); //Very big array with a lot of postal code info let currCountryCodes = [{country: Portugal, postalCode: '2950-286'}, {country: Barcelona, postalCode: '08013'}]; for (let j = 0; j < currCountryCodes.length; j++) { writer.write(currCountryCodes[j]); } writer.end(function() { console.log('=== CSV written successfully, […]

NodeJS – parsingCSV文件

我正在尝试使用NodeJSparsingCSV文件。 到目前为止,我已经尝试过这些包: 快速CSV YA-CSV 我想parsing一个CSV文件到基于标题的对象。 我已经能够使用fast-csv完成这个工作,但是我想要忽略CSV文件中的“”值。 我似乎不能用fast-csv来做这个,即使我尝试使用 {escape:'"'} 我用ya-csv来试图解决这个问题,但是当我尝试的时候没有写任何值: var reader = csv.createCsvFileReader('YT5.csv', {columnsFromHeader:true, 'separator': ','}); var writer = new csv.CsvWriter(process.stdout); reader.addListener('YT5', function(data){ writer.writeRecord(data); }); 我没有输出,任何帮助将是伟大的。 谢谢。 编辑:我想这种格式的输出…. { 'Video ID': '—kAT_ejrw', 'Content Type': 'UGC', Policy: 'monetize', 'Video Title': 'Battlefield 3 Multiplayer – TDM na Kanałach Nouszahr (#3)', 'Video Duration (sec)': '1232', Username: 'Indmusic', Uploader: […]

节点js CSV到JSON(大文件)

我需要在csv文件中将行转换为json。 我使用csvtojson软件包并且像魅力一样工作,但是我的csv文件非常庞大,大概有21000000行。 🙁 我的节点应用程序可以处理所有行。 看到我的snippet吼叫。 csv({noheader:true, delimiter:";", workerNum: 4}) .fromFile(csvFilePath) .on('json',(jsonObj, rowIndex)=>{ var TN = jsonObj.field1; var cod_op = jsonObj.field2; var msisdn = TN.toString(); //UP TO FIREBASE HERE!!! noticia.child(msisdn).set(cod_op); console.log(TN + ' ' + rowIndex); }) .on('done',(error)=>{ console.log() })

Node.js 1gb csvfile upload – 错误:请求中止

我有一个大file upload的问题。 我试图上传较小的文件,它的工作很好,但是当我尝试上传较大的文件(700MB和更多)时,node.js服务器给我一个错误: Error: Request aborted at IncomingMessage.onReqAborted (/home/xxx/node_modules/express/node_modules/connect/node_modules/multiparty/index.js:131:17) at IncomingMessage.EventEmitter.emit (events.js:92:17) at abortIncoming (http.js:1911:11) at Socket.serverSocketCloseListener (http.js:1923:5) at Socket.EventEmitter.emit (events.js:117:20) at TCP.close (net.js:465:12) 它甚至没有达到阅读状态。 我用 谷歌浏览器 expression3.0 我已经包括在内 app.use(express.bodyParser({limit: '2048mb'})); 另外我想我应该提到这一点; 得到上述错误后,文件开始再次上传失败。 再次,小文件没有问题。 所以我的问题是我怎样才能有效地使用这种方法stream大文件,或者有更好的方法来做到这一点? 谢谢。

如何上传和parsingnodejs / express中的大型csv文件?

我有nodejs /快速应用程序,应接收CVS文件parsing它们,并将parsing的值存储到mongodb数据库。 我应该如何使这些文件的上传路线快递? 我应该使用stream吗?

以每秒1行的速度parsingCSV

我一直在试图find库(以避免重新发明轮子)读取CSV文件中的一行,并将值推送到下游进程。 但是,我需要读取和处理每秒只发生一次。 有没有办法做到这一点的节点?