扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
去装一个 pymsql包
创新互联建站专注于企业成都营销网站建设、网站重做改版、泰安网站定制设计、自适应品牌网站建设、H5场景定制、商城网站定制开发、集团公司官网建设、外贸网站建设、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为泰安等各大城市提供网站开发制作服务。
然后
import pymysql #导入pymsql模块
#链接数据库,注意port是int型,不是str,所以不要用引号
conn = pymysql.connect(
user='root',
password='root',
host='127.0.0.1',
port=3306,
database='test_demo',
use_unicode=True,
charset="utf8"
)
#获取游标
cursor = conn.cursor()
#插入数据,注意看有变量的时候格式
cursor.execute("INSERT INTO tieba_user(`uuid`,`user_name`,`user_rank`,`user_level`,`level_status`,`tieba_name`) VALUES (%s,%s,%s,%s,%s,%s)", (user_id, user_name, user_rank, user_level, level_statu, tieba_name))
#提交
conn.commit()
#关闭连接
cursor.close()
类似这样
1、打开电脑,在电脑桌面的开始界面中找到mysql,如图所示。
2、双击打开mysql软件,并输入密码,如图所示。
3、如果sql文件的内容中有创建数据库的语句,或者想将表存放在已有的数据库,在这里就不用创建数据库。
4、输入“show databases;”就能看到自己创建的数据库,如图所示。
5、输入“use 数据库名”,开始使用这个数据库,如图所示。
6、开始导入sql文件,输入“source sql文件的路径”(注意文件路径要是复制来的,要将"\"全部换成“/”)。
7、最后输入“show tables”,就会看到导入的数据了,如图所示。
根据爬取到的数据的字段分类,设计mysql表进行存错,文本太长建议设置成text类型,就是普通的jdbc操作。。
python爬取到的json数据怎么存入到MySQL数据库中
json的数据json.loads进来以后会变成一个json的对象,你需要自己把python对象中的字段值取出来,拼成sql语句
启动MySQL的爬取代码功能。
1、IDEA想要爬取咸鱼数据存储到MYSQL里面,首先打开任务管理器开启MySQL服务。
2、打开后连接到数据库,建表打上勾,防止运行会报错,即可爬取。
Scrapy依赖于twisted,所以如果Scrapy能用,twisted肯定是已经安装好了。
抓取到的数据,可以直接丢到MySQL,也可以用Django的ORM模型丢到MySQL,方便Django调用。方法也很简单,按数据库的语句来写就行了,在spiders目录里定义自己的爬虫时也可以写进去。
当然使用pipelines.py是更通用的方法,以后修改也更加方便。你的情况,应该是没有在Settings.py里定义pipelines,所以Scrapy不会去执行,就不会生成pyc文件了。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流