python 删除重复文件 附源代码

#! /usr/bin/env python
#coding=utf-8
import os
import md5
import timedef getmd5( filename ):
'''
形参:文件名
返回:文件的MD5码
'''
file = open( filename, 'rb' )
file_content = file.read(1024*1024)
file.close()
m = md5.new( file_content )
return m.hexdigest()def delfile(flist_temp):
'''
形参:文件名list
返回:要删除的文件名list
'''
dellist = []
flist = []
fsize = [] for f in flist_temp:
if os.path.isfile( f ):
fsize.append( os.stat(f).st_size )
flist.append( f ) for i in range( len(fsize) ):
for j in range( i+1, len(fsize) ):
if fsize[i] == fsize[j]:
if getmd5( flist[i] ) == getmd5( flist[j] ):
dellist.append( flist[i] )
break return dellistdef main():
'''
删除当前目录下的重复文件(包括子文件夹下的重复文件)
'''
print '删除当前目录下的重复文件(包括子文件夹下的重复文件)\n'
start = time.clock()
path = os.getcwd()
list_fn = []
for i in os.walk(path):
for fn in i[-1]:
full_path = os.path.join( i[0],fn )
list_fn.append( full_path ) list_fn.reverse()
print '文件总数:\t',len( list_fn ),'\n'
delf = delfile( list_fn )
for f in delf:
print '删除\t',f
#os.remove( f )
end = time.clock()
print '\n文件总数:\t',len( list_fn ),'\n'
print '删除文件:\t',len( delf ),'\n'
print '总共用时:\t',end-start,'\n'
#os.remove('delReFile.py')
time.sleep(30)
return 0if __name__ == '__main__':
main()