这篇文章主要介绍python如何递归下载文件夹下所有文件，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
最近想备份网站，但是php下载文件的大小是有大小限制的，而我也懒得装ftp再下载了，就想着暂时弄个二级域名站，然后用python(python3)的requests库直接下载网站根目录下的所有文件以及文件夹。（0-0就是这么任性）
1.安装requests库
pip install requests
2.下载文件夹下所有文件及文件夹
这里需要处理的地方主要是文件夹，这里我们判断出该链接是文件夹时，自动创建文件夹，并递归继续进行操作，否则判断该链接是文件，直接使用requests get方法下载，话不多说，看代码
####春江暮客 www.bobobk.com
import requests
import re
import os
import sys
def help(script):
text = 'python3 %s https://www.bobobk.com ./' % script
print(text)
def get_file(url,path):##文件下载函数
content = requests.get(url)
print("write %s in %s" % (url,path))
filew = open(path+url.split("/")[-1],'wb')
for chunk in content.iter_content(chunk_size=512 * 1024):
if chunk: # filter out keep-alive new chunks
filew.write(chunk)
filew.close()
def get_dir(url,path): #文件夹处理逻辑
content = requests.get(url).text
if "Index of" in content:
sub_url = re.findall('href="(.*?)" rel="external nofollow" ',content)
print(sub_url)
for i in sub_url:
if "/" in i:
i = i.split("/")[0]
print(i)
if i!="." and i!="..":
if not os.direxists(path+i):
os.mkdir(path+i)
get_dir(url+"/"+i,path+i+"/")
print("url:"+url+"/"+i+"\nurl_path:"+path+i+"/")
else:
get_file(url+"/"+i,path)
else:
get_file(url,path)
if __name__ == '__main__':
if not sys.argv[1]:
help(sys.argv[0])
exit(0)
else:
get_dir(sys.argv[1],"./")</pre><p>至此，就在本地目录完全还原下载原网站的路径和文件了。</p><p>以上是“python如何递归下载文件夹下所有文件”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！</p> <br>
分享题目：python如何递归下载文件夹下所有文件-创新互联 <br>
当前链接：<a href="http://kswjz.com/article/pcghi.html">http://kswjz.com/article/pcghi.html</a>
</div>
<div class="view-qrocde cl">
<div class="m z"><img src="/Public/Home/images/ew.jpg"/></div>
<div class="text">
<h6>扫二维码与项目经理沟通</h6>
<p>我们在微信上24小时期待你的声音</p>
<p>解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流</p>
</div>
</div>
<div class="othernews cl">
<h3>其他资讯</h3>
<ul>
<li><a href="/article/iidhcp.html">web分布式系统架构有哪些优缺点</a></li><li><a href="/article/iidhog.html">windows网络编程基础知识有哪些</a></li><li><a href="/article/iidhsi.html">html5怎么实现页面跳转功能</a></li><li><a href="/article/iidhic.html">Vue开源库有哪些</a></li><li><a href="/article/iidppo.html">哪个国外虚拟空间好</a></li> </ul>
</div>
</div>
</div>
<div class="sidebar">
<div class="tuijian">
<a href="#">
<h2 class="cl"><span>行业动态</span></h2>
<h3>企业网站建设的重要性！</h3>
<p>现在虽然是移动互联网时代，但企业网站依然重要，包含PC站点，移动站。可以说企业网站关系企业的未来发展和前途，尤其对中小企业更是如此，一些中小企业老板，对自己的名片很在乎，因为这是个门面。...</p>
</a>
</div>
<div class="ser sidesub">
<h2>服务项目</h2>
<ul class="ebox">
<li class="sub sub-1">
<div>
<h3>网站建设</h3>
<p></p>
<a class="btn" href="/serve/website/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>移动端/APP</h3>
<p></p>
<a class="btn" href="/serve/moblie/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>微信/小程序</h3>
<p></p>
<a class="btn" href="/serve/small/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>技术支持</h3>
<p></p>
<a class="btn" href="/serve/tech/">查看详情</a>
</div>
</li>
<li class="sub sub-1">
<div>
<h3>其它服务</h3>
<p></p>
<a class="btn" href="/serve/othe/">查看详情</a>
</div>
</li>
<li class="sub sub-5">
<div>
<h3>更多服务项目</h3>
<p> <a>用我们的专业和诚信赢得您的信赖，从PC到移动互联网均有您想要的服务！</a></p>
<a class="btn" href="/serve/">获取更多</a>
</div>
</li>
</ul>
</div>
<div class="contact" id="fix">
<h2 class="cl"> <span>联系吧</span> <a href="https://map.baidu.com/" class="ditu" rel="nofollow" target="_blank">在百度地图上找到我们</a> </h2>
<h3>电话：13518219792</h3>
<p>如遇占线或暂未接听请拨：136xxx98888</p>
<div class="qq"> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">业务咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">技术咨询</a> <a href="//wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes" rel="nofollow" target="_blank">售后服务</a> </div>
</div>
</div>
<script>
//固定滚动
(function () {
var oDiv = document.getElementById("fix");
var H = 120,
iE6;
var Y = oDiv;
while (Y) {
H += Y.offsetTop;
Y = Y.offsetParent
};
iE6 = window.ActiveXObject && !window.XMLHttpRequest;
if (!iE6) {
window.onscroll = function ()
{
var s = document.body.scrollTop || document.documentElement.scrollTop;
if (s > H) {
oDiv.className = "contact fixed";
if (iE6) {
oDiv.style.top = (s - H) + "px";
}
} else {
oDiv.className = "contact ";
}
};
}
})();
</script>
</div>
<div class="footer">
<div class="wp">
<div class="wpss cl">
<dl class="about">
<dt>网站设计</dt>
<dd><a href="http://www.cdkjz.cn/fangan/education/" target="_blank" title="教育网站设计方案">教育网站设计方案</a></dd><dd><a href="http://www.4006tel.net/vision/website.html" target="_blank" title="网站设计">网站设计</a></dd><dd><a href="http://seo.cdkjz.cn/mobile/" target="_blank" title="自适应网站设计">自适应网站设计</a></dd><dd><a href="http://m.cdcxhl.com/" target="_blank" title="成都网站设计">成都网站设计</a></dd> </dl>
<dl class="about">
<dt>网站制作</dt>
<dd><a href="http://m.cdcxhl.com/" target="_blank" title="成都网站制作">成都网站制作</a></dd><dd><a href="https://www.cdxwcx.com/" target="_blank" title="网站制作">网站制作</a></dd><dd><a href="http://www.cxjianzhan.com/mobile/" target="_blank" title="wap网站制作">wap网站制作</a></dd><dd><a href="http://chengdu.cdcxhl.com/" target="_blank" title="成都营销网站制作">成都营销网站制作</a></dd> </dl>
<dl class="contact">
<dt>联系我们</dt>
<dd>电话：13518219792</dd>
<dd>邮箱：631063699@qq.com</dd>
<dd>地址：成都青羊区锦天国际1002号</dd>
<dd>网址：www.kswjz.com</dd>
</dl>
<dl class="about" style="margin-left:50px;width:235px;">
<dt>网站建设</dt>
<dd><a href="https://www.cdxwcx.com/" target="_blank" title="网站建设">网站建设</a></dd><dd><a href="http://chengdu.cdweb.net/" target="_blank" title="成都网站建设">成都网站建设</a></dd><dd><a href="https://www.cdcxhl.com/qiye.html" target="_blank" title="成都企业网站建设">成都企业网站建设</a></dd><dd><a href="http://www.cxjianzhan.cn/fwxm/yingxiao.html" target="_blank" title="营销型网站建设">营销型网站建设</a></dd> </dl>
<dl class="flow">
<dt></dt>
<div class="ma cl">
<div class="m"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</div>
</dl>
</div>
</div>
<div class="footer-link wp">
<ul class="wpss cl">
<li class="fisrt">友情链接</li>
<li><a href="https://www.cdcxhl.com/tuoguan.html" title="四川主机托管" target="_blank">四川主机托管</a></li><li><a href="http://chengdu.cdcxhl.cn/" title="成都网站营销推广" target="_blank">成都网站营销推广</a></li><li><a href="http://www.cxjianzhan.com/seo/" title="seo关键词优化" target="_blank">seo关键词优化</a></li><li><a href="https://www.cdcxhl.com/seo.html" title="成都网站推广" target="_blank">成都网站推广</a></li><li><a href="http://www.cdxwcx.cn/tuoguan/" title="成都主机托管" target="_blank">成都主机托管</a></li><li><a href="http://www.kswsj.cn/tuiguang/" title="网站SEO优化排名" target="_blank">网站SEO优化排名</a></li><li><a href="http://www.cdfuwuqi.com/tuoguan/" title="服务器托管" target="_blank">服务器托管</a></li><li><a href="https://www.cdxwcx.com/wangzhan/dingzhi.html" title="网站定制" target="_blank">网站定制</a></li><li><a href="https://www.cdxwcx.com/city/shifang/" title="什邡网站建设" target="_blank">什邡网站建设</a></li><li><a href="http://www.cdxwcx.cn/tuoguan/ershu.html" title="中国电信成都枢纽中心" target="_blank">中国电信成都枢纽中心</a></li> </ul>
</div>
</div>
<div class="bot-footer">
<div class="wp">
<p class="wpss"> <em>Copyright © 2002-2023 www.kswjz.com 快上网建站品牌 QQ：244261566 版权所有</em> <em>备案号：<a href="http://beian.miit.gov.cn/" rel="external nofollow">蜀ICP备19037934号</a></em>
</p>
<p class="wpss" style="line-height:30px !important;"> </p>
</div>
</div>
<div class="footer-kefu">
<ul>
<li class="qq"><a href="https://wpa.qq.com/msgrd?v=3&uin=244261566&site=qq&menu=yes"><em></em>在线咨询</a>
</li>
<li class="tel"><a href="tel:13518219792" target="_blank"><em></em>13518219792</a></li>
<li class="wx"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>微信二维码</p>
</div>
</li>
<li class="m"> <em></em>
<div class="code"> <img src="/Public/Home/images/ew.jpg" />
<p>移动版官网</p>
</div>
</li>
<li class="top"><em></em></li>
</ul>
</div>
<script src="/Public/Home/js/all.js"></script>
</body>
</html>
<script>
$(".cont img").each(function(){
var src = $(this).attr("src"); //获取图片地址
var str=new RegExp("http");
var result=str.test(src);
if(result==false){
var url = "https://www.cdcxhl.com"+src; //绝对路径
$(this).attr("src",url);
}
});
window.onload=function(){
document.oncontextmenu=function(){
return false;
}
}
</script>