Tag: 重复数据删除

为OS X构build重复数据删除应用程序，我应该如何使用它作为文件的哈希值

我即将开始编程之旅，毫无疑问，它将以失败告终，并且/或者将我的鼠标通过我的Mac投掷出去，但这是一个有趣的问题。 我想要构build一个应用程序，该应用程序从基本目录开始扫描，然后循环遍历每个文件，如果find完全相同的重复文件，则将其删除，并在其位置上创build符号链接。 基本上穷人重复数据删除。 这实际上解决了一个真正的问题，因为我的Mac上有一堆重复的文件，我需要释放磁盘空间。 从我所读到的，这是战略： 通过recursion循环，并为每个文件生成一个散列。 散列需要非常独特。 这是第一个问题。 我应该使用什么散列？ 我如何通过这个神奇的散列运行每个文件的整个二进制内容？ 将每个文件散列和全path存储在键/值存储中。 我认为redis是一个非常好的select，因为它的速度。 遍历键/值存储区，查找重复的哈希值，删除重复的文件，创build符号链接，并将键/值存储区中的行标记为副本。 因此我的问题是： 我应该为每个文件使用什么散列algorithm？ 这是怎么做的？ 我在考虑使用node.js，因为节点通常在I / Otypes的东西上很快。 问题是节点吸取CPU密集的东西，所以哈希可能是瓶颈。 我还有什么其他的缺点？