Tag: 亚马逊红移

在保留期限后自动化红移截断/删除数据

我有一个红移表,它存储了大量的数据。 每个周末我都会去手工使用Workbench TRUNCATE上周我不再需要的数据。 我手动必须运行 DELETE FROM tableName WHERE created_date BETWEEN timeStamp1 AND timeStamp2; 是否有可能有办法告诉表或有一些过期策略,每个星期天都会删除我的数据? 如果没有,是否有办法自动化每7天的删除过程? 在nodeJS中执行此操作的某种shell脚本或cron作业。

使用NodeJS将RabbitMQ转换为AWS Redshift

我有一个RabbitMQ使用者在RabbitMQ中监听队列,并在NodeJS中接收事件数据。 我希望让消费者将每个数据事件发送到AWS Redishit(可能使用他们的JavaScript SDK),但是我找不到如何执行此操作的任何示例,我也无法在Amazon文档中find任何有关此过程的说明。 如何使用AWS JavaScript SDK将NodeJS中的数据发送到Redshift? 谢谢,德鲁

通过Node和Meteor连接Redshift PostgreSQL

我已经尝试过使用pg和其他模块和包来通过Node和Meteor连接Redshift PostgreSQL 。 这是我最近编写的节点代码。 无法连接到Redshift 。 client.connect函数从不响应。 但是,如果我尝试连接到其他PostgreSQL服务器,如本地主机或其他远程服务器,然后代码正常工作。 meteor的问题也是一样的。 var pg = require('pg'); var conString = "postgres://User:Password@EndPoint/Database"; //var conString = "postgres://postgres:postgres@localhost/postgres"; console.log("Started…"); var client = new pg.Client(conString); console.log("Client", client); client.connect(function(err) { if(err) { return console.error('could not connect to postgres', err); } client.query('SELECT NOW() AS "theTime"', function(err, result) { if(err) { return console.error('error running query', err); […]

使用节点jsencryption文件并在PostgreSQL中解密文件

我是encryption和解密文件的新手 这里我试图encryptioncsv文件(客户端encryption),并推入S3的桶与期望的元数据,然后我试图解密(推)CSV文件从S3桶到红移使用PostgreSQL复制命令,但它抛出坏的encryption错误 我知道这实际上是一个普通的问题,当用户在一种语言encryption和解密在另一个,但我期待的结果。 这是我的代码 的NodeJS var fs = require('fs'); var crypto = require('crypto'); var sharedSecret = crypto.randomBytes(32).toString("base64"); var initializationVector = crypto.randomBytes(16).toString("base64"); var cipher = crypto.createCipher('AES256', sharedSecret,initializationVector); var input = fs.createReadStream('file.csv'); var output = fs.createWriteStream('fileEncrypt.csv'); input.pipe(cipher).pipe(output); output.on('finish', function() { console.log('Encrypted file written to disk!'); }); Redshift Copycommand COPY objects.encrypteddata (Date,Device, Start) FROM 's3://fakepath/fileEncrypt.csv' CREDENTIALS 'aws_access_key_id=<access_key>;aws_secret_access_key=<secret_key>;master_symmetric_key=<master_Key>' delimiter […]

具有公共expression式(WITH子句)支持的基于节点的SQL生成器

我正在构build一个需要使用CTE查询Redshift数据库(基于postgres 8.0.2)的Node.js应用程序。 不幸的是,到目前为止,我查看的SQL查询构build器( node-sql , knex.js和sequelize)似乎不支持公用表expression式(CTE)。 我在Ruby中使用Jeremy Evans的Sequel gem获得了巨大的成功,它有一个with两个参数的方法来定义表的别名和数据集引用。 我想在Node中有类似的东西。 我错过了Node.js SQL查询构build器的任何明显的竞争者吗? 从我所能告诉的是,这四个最明显的是: 节点-SQL nodesql(没有postgres支持?) knex.js sequelize

使用Node.js将数据加载到Redshift中

使用node.js将数据插入Amazon Redshift的一些方法是什么? 这应该是非常简单的,但我无法find有效的加载的具体例子。