无法find有效的方法倾销leveldb平面文件(S)

我使用LevelDB作为本地进程的一部分,当完成时,它拥有大约10-100万个JSON条目。

我需要将这些文件转换为可移植的格式,最好是将一个或多个csv(甚至是行分隔的json)文件导入到一个单独的mongodb系统中。

我在node.js中做了一个快速testing,将数据库内容传输到一个文件(使用node-levelup) ,在我的机器上花费了大约18.5分钟,处理1000万对,看起来很慢。

寻找leveldb快速转储/导出的build议。

我已经考虑使用mongodb作为本地处理的存储,因为mongoexport更快,但是在安装过程中会有更多的开销,因为我需要几个分片来获得更多的写入速度。

检索leveldb中所有条目的最快方法是使用迭代器,这可能是node-levelup已经做到的。

由于你仍然需要一个工具来parsing导出的文件,所以我build议你只复制leveldb的数据目录作为导出的文件。 你可以打开它,并在python / ruby​​ / …中迭代它,只要有一个leveldb包装器的脚本。