扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要介绍Pandas怎么读取大文件，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
成都创新互联公司专注于铁岭网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供铁岭营销型网站建设，铁岭网站制作、铁岭网页设计、铁岭网站官网定制、小程序设计服务，打造铁岭网络公司原创品牌,更为您提供铁岭网站排名全网营销落地服务。
如何利用read_csv函数读取没有表头的文件
get_chunk()方法来分块读取数据
concat()方法将数据库进行叠加（垂直方向）
若数据量过大，采取随机抽放（是否放回）
filepath = open("taobao.csv",errors="ignore") # 指定文件路径
reader = pd.read_csv(filepath,
header=None,
names=["user_id","item_id","cat_id","type","time"], # 指定列属性名称
iterator=True)
# loop,chunkSize,chunks = True, 10000000, [] # 连续赋值语句
loop = True
chunkSize = 10000000
chunks = []
while loop: # loop一直为True，执行循环
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
# 如果考虑数据量过大，只抽取部分的数据来进行分析，采取不放回抽样的方式
# pd.concat(chunks, ignore_index=True).sample(frac=0.05, replace=False) 不放回抽样、记录不重复
df = pd.concat(chunks, ignore_index=True)以上是“Pandas怎么读取大文件”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网