上次的博文主要说了从网上下载图片，于是我把整个笑话网站的图片都拔下来了，但是在拔取的图片中有很多重复的，比如说页面的其他图片、重复发布的图片等等。所以我又找了python的一些方法，写了一个脚本可以删除指定文件夹里重复的图…

注：本文基于python2.7.5 之前已经使用python写过文件去重的脚本(Windows下使用python删除重复图片)，但是文件多了脚本运行比较慢，因此改进一下，使用多线程感受一下效果。 思路还是不变，通过比较文件的MD5值确定是否是…

注：本文基于python2.7.5 用完多线程，必然得尝试下多进程咯。 python下多进程一般通过multiprocessing模块实现，和上篇一样，我们还是以图片去重为例。 #-*- coding: UTF-8 -*-import multiprocessing from multiprocessing im…

需求：对用户上传的文件去除空行，去重 方法一：根据HashMap键唯一实现 示例 /** *拿到前端传来的MultipartFile流文件，去除空行和去重及去除邮箱格式不合法的地址，并将去重后的文件写入集合（使用FileUtils…