扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章将为大家详细讲解有关利用Python如何实现根据URL地址下载并保存文件至对应目录，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。
引言
在编程中经常会遇到图片等数据集将图片等数据以URL形式存储在txt文档中，为便于后续的分析，需要将其下载下来，并按照文件夹分类存储。本文以Github中Alexander Kim提供的图片分类数据集为例，下载其提供的图片样本并分类保存
Python 3.6.5，Anaconda， VSCode
1. 下载数据集文件
建立项目文件夹，下载上述Github项目中的raw_data文件夹，并保存至项目目录中。
2. 获取样本文件位置
编写get_doc_path.py，根据根目录位置，获取目录及其子目录所有数据集文件
import os
def get_file(root_path, all_files={}):
'''
递归函数，遍历该文档目录和子目录下的所有文件，获取其path
'''
files = os.listdir(root_path)
for file in files:
if not os.path.isdir(root_path + '/' + file): # not a dir
all_files[file] = root_path + '/' + file
else: # is a dir
get_file((root_path+'/'+file), all_files)
return all_files
if __name__ == '__main__':
path = './raw_data'
print(get_file(path)) 
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网