Tag: 亚马逊冰川

节点以指定的块大小读取文件

目标：将大file upload到AWS Glacier，而不将整个文件保留在内存中。 我现在正在使用fs.readFileSync（）上传到冰川，而且正在运行。 但是，我需要处理大于4GB的文件，我想同时上传多个块。 这意味着转移到分段上传。 我可以select块大小，但冰河需要每个块大小相同（除了最后一个） 这个线程表明我可以在读取stream上设置一个块大小，但是我并不确定是否能够得到它。 任何有关如何获得一致的部分，而不必将整个文件读入内存并手动拆分的信息？ 假设我可以达到这一点，我只是要使用群集，有几个进程将数据stream尽快上传到AWS。 如果这似乎是错误的方式来平行的工作，我会在那里的build议。