扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
年前走查脚本代码时,发现大家对selenium功能都在重复造轮子,而且容易出现一些常见低级bug。于是在闲暇之余,封装一些常用的selenium功能。
创新互联专业为企业提供鄄城网站建设、鄄城做网站、鄄城网站设计、鄄城网站制作等企业网站建设、网页设计与制作、鄄城企业网站模板建站服务,十年鄄城做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。
在某些网页中,存在多个frame嵌套。而selenium提供的find_element函数只能在当前frame中查找,不能切换到其他frame中,需要从最上级frame中逐步切换(当然也可以指定xpath的绝对路径,但是一般没人这么做)。在我们写代码过程中,需要明确知道当前frame位置和需要寻找元素的frame位置。在frame切换过程中,容易因为疏忽导致frame切换错误导致元素无法找到的bug。
页面中分布的frame,可以理解为树状结构。因此我们可以采用递归的方式, 沿着某条搜索路线frame节点,依次对树中每个节点均做一次访问。
我们以163网址上的登录框为例:点击登录按钮,弹出登录iframe页面。输入框位置在iframe中,因此我们不能使用xpath获取元素位置,需要进入iframe中,然后获取元素。
手动切换ifame可能会产生bug,因此需要一套自动切换和检索frame的机制。具体代码如下:
需要注意的是:如果页面中多个frame中,存在相同的xpath元素。还是需要指定frame的路径,否则会返回搜索到的第一个元素。
强制等待
直接调用系统time.sleep函数,不管页面加载情况一定会等待指定的时间, 即使元素已被加载 。
1.如果设置的时间较长,会浪费时间
2.如果设置的时间较短,元素可能没有加载。
页面中某元素如果未能立即加载,隐式等待告诉WebDriver需等待一定的时间,然后去查找元素。默认不等待,隐式等待作用于整个WebDriver周期,只需设置一次即可。
1.在上文的find_element函数中,采用递归方式在所有frame寻找元素。若采用隐式等待,则在每个frame中都需要等待设定的时间,耗时非常长。
2.某些页面我们想要的元素已经加载完毕,但是部分其他资源未加载。隐式等待必须等待所有元素加载完毕,增加额外等待时间。
显示等待一般作用于某一个元素,在设定的时间范围内,默认每间隔0.5秒查找元素。返回被加载的元素,若超过设定的时间范围未能查找则报错。显示等待作为selenium常用的等待机制,我们来看下他的源码和机制。
driver 注释中解释为WebDriver实例,但是代码中并未有相关检测,因此可以传入任何对象
但是__repr__函数中使用到session_id属性,如果需要显示属性或者转为str对象,最好在driver对象中添加session_id属性
在until函数中,我们可以看到driver对象传入method函数。在计时结束前,在不断循环执行method函数,如果method函数有正常返回值则退出循环,否则报TimeoutException错误。
可以采用装饰器对隐式等待进行封装,这样代码更加精简
同样的,采用装饰器对其他常用的函数进行封装,例如强制等待、点击、输入文本等。
装饰器虽然很方便,但也会产生一些麻烦。例如在find_element函数递归调用过程中,理应只要执行一次装饰器函数。但因为装饰器已经装饰完毕,导致每次递归都会执行。例如强制等待的sleep函数,如果递归次数越多等待时间越长。
解除装饰器一般有两种做法:一是约定参数,当递归第二次调用时则不生效。例如
这种方式实现简单,容易理解。但是增加了参数限制,在fun函数中就不能使用first_sleep参数。
二是采用装饰器采用wrapped实现,通过访问wrapped属性获得原始函数。例如
但是某一个函数被多个装饰器装饰时,需要递归解除装饰器。例如
最后整体代码如下
这次的封装其实还存在很多问题
1.find_element函数不仅仅只是提供查找元素功能,还提供一些其他功能,因此叫element_operation更为合适。
2.find_element函数的参数过多,并且很多参数的使用并不在函数本身中,对代码阅读很不友好。
3.得小心避免参数重复问题,假设装饰器sleep和装饰器wait_time都使用time这个参数,将无法区分具体是哪个函数使用。
4.不利于扩展和维护,当功能过多时find_element的参数过于庞大。
如果只是简单地封装和使用,上面这种方式也能达到较好的效果。如果想进一步封装,建议采用链式调用方式,装饰器辅助封装。例如
这样函数的扩展性和可阅读性有较大的提升
楼主你好!
看你的代码存在很多问题,一个个来说明
1)首先你代码的报错源于你想用list来展开你的SLinkedList类,在python中,除非内置的可迭代对象外,其他都需要实现__iter__()函数,才能用list来进行展开。注意:判断一个对象是否可迭代,请使用isinstance(obj, Iterable)来判断obj是不是可以迭代,Iterable需要从collections中导入
2)插入的方法存在严重问题,按楼主的方法插入的话,因为头节点始终在变,所以当你需要遍历链表的时候就会找不到头节点;
3)pop的方法实现也有问题,因为是单向链,所以无法从末节点开始删除,只能删除头节点
4)top方法的意图未知
其他:
下面列举了一下我修改后的方案,做了一些锦上添花的操作,每个基本操作都会返回链表对象,这样就可以使用链式操作来写代码;迭代函数使用yield来实现,避免展开时占用不必要的内存。
另:我的展开时直接取链表中各个节点的元素,加了一些关键注释在代码中;
# -*- coding: utf-8 -*-
class Node:
def __init__(self):
'''
elm:节点元素
nxt:下个节点指针
'''
self.elm, self.nxt = None, None
class SLinkedList:
def __init__(self):
'''
head: 链表头
end_point: 链表尾
'''
self.head = None
self.end_point = None
def push(self, x):
p = Node()
p.elm = x
if self.head is None:
self.head = p
self.end_point = p
return self
self.end_point.nxt = p
self.end_point = p
return self
def pop(self):
'''因为实现的是一个单链表,所以只能从头开始删除节点'''
if self.head.nxt is None:
return
self.head = self.head.nxt
return self
def __iter__(self):
temp_node = self.head
while temp_node is not None:
yield temp_node.elm
temp_node = temp_node.nxt
if __name__ == '__main__':
'''增加1,2,5三个元素,并删除一个头节点'''
mylinklist = SLinkedList().push(1).push(2).push(5).pop()
print(list(mylinklist))
其实python这个语言使用链表有些画蛇添足,但是如果拿来当作需求练手也无妨。
望采纳,谢谢!
顺序存储结构最大的缺点是插入和删除时需要移动大量元素,耗费大量时间。
如果让相邻元素间留有足够余地,也就是不考虑相邻位置了,那么,我们这里可以引入链式存储结构。
链表结构可以充分利用计算机内存空间,实现灵活的内存动态管理。
二、链表的定义
链表(Linked list)是一种常见的基础数据结构,是一种线性表,但是不像顺序表一样连续存储数据,而是在每一个节点(数据存储单元)里存放下一个节点的位置信息(即地址)。
1、单向链表
单向链表也叫单链表,是链表中最简单的一种形式,一个信息域(元素域)和一个链接域组成一个节点。
这个链接指向链表中的下一个节点,而最后一个节点的链接域则指向一个空值。
链表的每个结点中只包含一个链接域,所以叫做单链表。
表元素域elem用来存放具体的数据。
链接域next用来存放下一个节点的位置(python中的标识)
变量p指向链表的头节点(首节点)的位置,从p出发能找到表中的任意节点。
链表中第一个结点的长处位置叫做头指针
显著性链表的最后一个结点指针为“空”(通常用NULL或“^”符号表示)
通常会在单链表的第一个结点前附设一个结点,称为头结点。它的信息域可以不存储数据,也可以存储线性表长度等附加信息,头结点的链接域指向第一个结点的指针。
头指针与头结点的异同
无论链表是否为空,头指针均不为空,头指针是链表的必要元素;头结点不一定是链表的必要要素。
头指针具有标识作用,所以常用头指针冠以链表的名字。
python join函数用法如下:
join函数python就是把一个list中所有的串按照你定义的分隔符连接起来。join是string类型的一个函数,用调用他的字符串去连接参数里的列表,python里面万物皆对象,调用join函数,将后面的列表里的值用逗号连接成新的字符串。str(i)foriinlist这是一个映射,就是把list中每个值都转换成字符串。
函数含义
python中得thread的一些机制和C/C++不同:在C/C++中,主线程结束后,其子线程会默认被主线程kill掉。而在python中,主线程结束后,会默认等待子线程结束后,主线程才退出。
python对于thread的管理中有两个函数:join和setDaemon。
join:如在一个线程B中调用threada。join(),则threada结束后,线程B才会接着threada。join()往后运行。
setDaemon:主线程A启动了子线程B,调用b。setDaemaon(True),则主线程结束时,会把子线程B也杀死,与C/C++中得默认效果是一样的。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流