最快的方式来处理Postgres表中的所有数据?

我有一个NodeJS应用程序需要从RDS Postgresstream数据,执行一些相对昂贵的CPU操作数据,并将其插入到另一个数据库。 CPU密集型部分已经卸载到AWS Lambda中,Node应用程序将获得一批行并立即将它们传递给Lambda进行处理。 瓶颈似乎是从Postgres接收数据的速度。

为了利用多个连接到数据库,我有一个algorithm,有效地跳过sorting的ID,以便可以保持许多并发连接。 例如:1连接获取标识符1-100,第二个获取标识符101-200等,然后当第一个返回也许它获取ids 1001-1100。 这是相对标准的做法吗? 有没有更快的方法拉出数据进行处理?

只要我低于数据库的max_connections,添加更多,可能作为额外的并发应用程序stream出数据是否可以说是有益的? 应用程序和RDS目前都在VPC中,RDS的CPU利用率约为30%,内存为60%。

将Postgres数据库转储到CSV文件或将其直接导出到平面文件,将平面文件转储到S3之后,然后让工作人员自己处理每批文件,可能会更快。

从Postgresstream出数据(特别是如果你做了数百万个项目)将需要大量的IO和很长的时间。