通常我们从不同来源获取到的文本或内容以后，发现数据中存在重复或者相似的问题，我们需要根据文本内容对其进行去重，常见的解决办法有余弦算法、欧式距离、SimHash算法等，我们采用simhash算法。
simhash算法可以将原始的文本内容映射为一个不太长的数字，也就是hash编码，较为相近的内容对应的编码也相近。这样我们就可以将比较文本相似转换为比较数字串的差异。