在sorting时stream式传输大数据

我有大量的数据，因此我不能把它全部放在内存中，而且总是出现内存不足的错误。 显然其中一个解决scheme将使用Node.JS中的stream; 但是stream式传输是不可能的（就我所知），sorting是我应用于数据的function之一。 是否有任何algorithm可能分而治之algorithm，我可以使用stream和sorting的组合（这是我的function之一，我的数据？）

Answer 1

您可以使用Kinesis来stream式传输数据，并使用Kinesis客户端库 ，或者为您的Kinesisstream预订Lambda函数，并逐步维护已sorting的物化视图。 在哪里存储sorting的物化视图以及如何划分数据将取决于您的应用程序。 如果无法存储整个分类的物化视图，则可以使用滚动视图。 如果您的数据是时间序列的，或者具有其他自然顺序，则可以将您的有序属性的范围分成块。 然后，例如，您可以对数据进行1天或1小时的分类。 换句话说，select允许您根据需要将信息保存在内存中的sorting细分。