扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
# //get_goods_from_taobao
成都创新互联专注为客户提供全方位的互联网综合服务,包含不限于成都网站设计、做网站、雨花台网络推广、成都小程序开发、雨花台网络营销、雨花台企业策划、雨花台品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;成都创新互联为所有大学生创业者提供雨花台建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com
import requests
import re
import xlsxwriter
cok='' # 此处写入登录之后自己的cookie
# 获取页面
def getHTMLText(url):
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'}
usercookies=cok
cookies={}
for a in usercookies.split(';'):
name,value=a.strip().split('=',1)
cookies[name]=value
try:
r=requests.get(url,cookies=cookies,headers=headers,timeout=60)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return''
# 格式化页面,查找数据
def parsePage(ilt,html):
try:
print('爬取成功')
plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
tlt=re.findall(r'\"raw_title\"\:\".*?\"',html)
for i in range(len(plt)):
price=eval(plt[i].split(':')[1])
title=eval(tlt[i].split(':')[1])
ilt.append([price,title])
except:
print('')
# 打印数据列表
def printGoodList(ilt):
tplt='{:4}\t{:8}\t{:16}'
print(tplt.format('序号','价格','名称'))
count=0
for c in ilt:
count=count+1
print(tplt.format(count,c[0],c[1]))
# 写入excel
def writetoexcel(list):
print('开始创建excel表格')
book = xlsxwriter.Workbook(u'淘宝数据.xlsx')
sheet = book.add_worksheet()
sheet.write(0, 0, '序号')
sheet.write(0, 1, '名称')
sheet.write(0, 2, '价格')
row = 1
col = 0
for index, item in enumerate(list):
print('写入第%s行数据'%row)
sheet.write(row, col, index + 1) # 写入序号值
sheet.write(row, col + 1, item[1]) # 写入名称
sheet.write(row, col + 2, item[0]) # 写入价格
row += 1
print('写入完成')
book.close() # 关闭
def main():
goods=input('请输入想查询的内容:'.strip()) #输入想搜索的商品名称
function(){ //隔夜利息 http://www.kaifx.cn/question/kaifx/1752.html
depth=3 # 爬取的页数
start_url='http://s.taobao.com/search?q='+goods # 搜索接口地址
infoList=[]
for i in range(depth):
try:
page=i+1
print('正在爬取第%s页数据'%page)
url=start_url+'&s='+str(44*i)
html=getHTMLText(url)
parsePage(infoList,html)
except:
continue
printGoodList(infoList)
writetoexcel(infoList)
main()
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流