玩蛇网提供最新Python编程技术信息以及Python资源下载!
您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容

python超速遍历文件夹下面三十几万个txt文档的处理

1.文件夹下面有三十几万txt文档。
2.如下代码感觉太慢


fp = open("texts.txt","a+")
for root,dirs,files in os.walk(dir):
    for file in files:
        fp.write(file+'\n')
        print os.path.join(root,file)
fp.close()    

3.有没有其他方法快速遍历

你遍历以后要干啥呢?如果简单的查找替换啥的,用grep/sed啊

试试 Python 3.5 或以上的版本。

[this version] makes it [os.walk / os.scandir] 3 to 5 times faster on POSIX systems and 7 to 20 times faster on Windows systems

有计算吗?没计算多线程或者协程来做

玩蛇网文章,转载请注明出处和文章网址:http://www.iplaypy.com/wenda/wd14251.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2018年07月11日 - 21时33分54秒 发布自玩蛇网

我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules