扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
前两天处理数据的时候,需要得到两个数据的交集数据,所以要去除数据中非重复部分,只保留数据中的重复部分。
我们提供的服务有:网站制作、成都网站建设、微信公众号开发、网站优化、网站认证、渝中ssl等。为上1000家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的渝中网站制作公司
网上看了一下大家的教程,大部分都是教去除重复行,很少有说到仅保留重复行的。所以在这里用drop_duplicates这个去重函数来实现这个功能。
drop_duplicates函数介绍 :
data.drop_duplicates(subset=[‘A’,‘B’],keep=‘first’,inplace=True)
#subset对应的值是列名,表示只考虑这两列,将这两列对应值相同的行进行去重。
默认值为subset=None表示考虑所有列。
keep='first’表示保留第一次出现的重复行,是默认值。
keep另外两个取值为"last"和False,分别表示保留最后一次出现的重复行和去除所有重复行。
inplace=True表示直接在原来的DataFrame上删除重复项,而默认值False表示生成一个副本。
要用函数取得数据集data中的重复列,分三个步骤 :
(提前导入pandas模块)
data0_1 = data.drop_duplicates() #保留第一个重复行
data0_2 = data.drop_duplicates(keep=False) #去除所有重复行
data0_3=pd.concat([data0_1,data0_2]).drop_duplicates(keep=False)
#合并起来再去重,只剩下真的重复行。
举例:data中wangwu行和tony行重复,需要把它们两行取出。
第一步:#保留第一个重复行
第二步:#去除所有重复行
第三步:#合并起来再去重
通过以上步骤实现取出数据中的重复行。
感觉是你的函数使用了一个全局的对象(如list)
然后每次调用函数都会给这个对象添加一个值,比如(list.append())
这样就会造成每次执行都会添加一个值
因为python中对象的作用域是全局的,你在函数中改变就会改变这个对象,而不是像其它语言中函数内并不影响函数外面的对象
解决重复调用。
反复执行Python,Python如何使程序重复运行,Python的周期基本1主题=(\u201Clinux系统\u201D、\u201CMysql数据库\u201D,\u201CPython语言\u201D)#定义一个元组,三个元素代表三个课程2=0#和定义变量num作为初始分数3我的主题:#元组中的每个元素分配给我,总共三次4'Please进入打印测试分数%s的%我#提示输入分数,使用格式字符串函数,表示分数的名字我每次获得的元素名称,5分=%s意味着字符串输入()#接收分数由用户输入,并将其分配给score6总和+=分数#把分数分配金额相当于金额=和+score7avg=和\/len(科目)#后跳出的for循环,计算平均值。
Python由荷兰数学和计算机科学研究学会的吉多·范罗苏姆于1990年代初设计,作为一门叫做ABC语言的替代品Python提供了高效的高级数据结构,还能简单有效地面向对象编程。
Duplicated函数功能:查找并显示数据表中的重复值
这里需要注意的是:
drop_duplicates函数功能是:删除数据表中的重复值,判断标准和逻辑与duplicated函数一样
函数。在python编程中我们通常把重复使用的程序模块定义在Python编程中,我们通常把重复使用的程序模块定义成函数,之后用函数名就可以代替整个程序模块(即调用函数)。
代码如下:
def func1(num_list):
if len(num_list) != len(set(num_list)):
return True
else:
return False
if __name__ == '__main__':
num_list = [[1, 2, 3, 4], [6, 7, 8], [4, 5, 6, 6, 6]]
for one_list in num_list:
print(func1(one_list))
运行结果:
扩展资料
python对列表去重的几种方式:
1、直观方法,先建立一个新的空列表,通过遍历原来的列表,再利用逻辑关系not in 来去重。总结:这样可以做出来,但是过程不够简单。但是此方法保证了列表的顺序性。
2、利用set的自动去重功能,将列表转化为集合再转化为列表,利用集合的自动去重功能。简单快速。缺点是:使用set方法无法保证去重后的顺序。
参考资料:python官网-Doc语法文档
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流