将SQL SERVER（RDS）事务实时stream式传输到NoSQL

我有一种情况，希望将所有更新，删除和插入从我的AWS RDS SQL Server传输到NoSQL DB（如DynamoDB或RethinkDB）。

我试图实现的是将我的用户分为关键数据库和非关键数据库，从而减less我的rds服务器的负载，并使用rethinkdb或dynamodbstream等技术将另一组数据（非关键）发送到前端。

我曾想过各种方法来做到这一点：

  1. 最明显的是在两个数据库中只是asynchronous进入，尽pipe我最终可能会遇到其中一个条目可能失败的情况。

  2. 二是使用RabbitMQ或排队服务aws sqs que第二项，并确保它插入。

  3. （我想实现）是否如果以某种方式nodejs服务可以侦听mssqlstream并将内容推送到nosql。

在这样的情况下可以做些什么？

我正在寻找的利润是将数据集存储在nosql中，可以向超过10万用户提供服务，因为他们都希望仅通过一些where子句更改和实时查看相同的数据。 这反过来会将RDS服务器事务减less到最小读写次数。

您可以使用以下两种方法：

  1. AWS DMS

  2. 或者， 结合EMR，Amazon Kinesis和Lambda（使用自定义脚本）

Interesting Posts