python并发编程-进程池

在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。多进程是实现并发的手段之一，需要注意的问题是：

成都创新互联公司专注于企业成都全网营销、网站重做改版、陆丰网站定制设计、自适应品牌网站建设、H5场景定制、购物商城网站建设、集团公司官网建设、成都外贸网站建设、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为陆丰等各大城市提供网站开发制作服务。

例如当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个。。。手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。

我们就可以通过维护一个进程池来控制进程数目，比如httpd的进程模式，规定最小进程数和最大进程数..

ps： 对于远程过程调用的高级应用程序而言，应该使用进程池，Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，就重用进程池中的进程。

创建进程池的类：如果指定numprocess为3，则进程池会从无到有创建三个进程，然后自始至终使用这三个进程去执行所有任务，不会开启其他进程

参数介绍：

方法介绍：

主要方法：

其他方法（了解部分）

应用：

发现：并发开启多个客户端，服务端同一时间只有3个不同的pid，干掉一个客户端，另外一个客户端才会进来，被3个进程之一处理

回调函数：

需要回调函数的场景：进程池中任何一个任务一旦处理完了，就立即告知主进程：我好了额，你可以处理我的结果了。主进程则调用一个函数去处理该结果，该函数即回调函数

我们可以把耗时间（阻塞）的任务放到进程池中，然后指定回调函数（主进程负责执行），这样主进程在执行回调函数时就省去了I/O的过程，直接拿到的是任务的结果。

如果在主进程中等待进程池中所有任务都执行完毕后，再统一处理结果，则无需回调函数

怎么理解回调函数？回调函数有什么好处

回调函数，或简称回调，是指通过函数参数传递到其它代码的，某一块可执行代码的引用。回调函数不是由该函数的实现方直接调用，而是在特定的事件或条件发生时由另外的一方调用的，用于对该事件或条件进行响应。这一设计允许了底层代码调用在高层定义的子程序。回调的形式因程序设计语言的不同而不同。（C, C++ and Pascal允许将函数指针作为参数传递给其它函数。其它语言，例如JavaScript，Python，Perl和PHP，允许简单的将函数名作为参数传递。Objective-C中允许利用@selector关键字传递SEL类型的函数名。）

回调允许函数调用者在运行时调整原始函数的行为。因为可以把调用者与被调用者分开，所以调用者不关心谁是被调用者。它只需知道存在一个具有特定原型和限制条件的被调用函数。

回调函数使得程序设计更加灵活。

如何在Python中创建一个CFUNCTYPE-python，回调callback，ctypes

1. 我忘了ctypes的操作方法是：

下面是从复制

因此，我们的回调函数接收整型指针，并且必须返回一个整数。首先，我们创建了回调函数的类型：

CMPFUNC = CFUNCTYPE(c_int, POINTER(c_int), POINTER(c_int))

对于优先个回调函数中，我们简单地打印出我们得到，并返回0（;-)：

def py_cmp_func(a, b):

print "py_cmp_func", a, b

return 0

创建C可调用的回调函数：

cmp_func = CMPFUNC(py_cmp_func)

为什么 Python 工程师很少像 Java 工程师那样讨论垃圾回收

1、Python是如何进行内存管理的？

Python的内存管理主要有三种机制：引用计数机制、垃圾回收机制和内存池机制。

a. 引用计数

当给一个对象分配一个新名称或者将一个对象放入一个容器（列表、元组或字典）时，该对象的引用计数都会增加。

当使用del对对象显示销毁或者引用超出作用于或者被重新赋值时，该对象的引用计数就会减少。

可以使用sys.getrefcount()函数来获取对象的当前引用计数。多数情况下，引用计数要比我们猜测的大的 多。对于不可变数据（数字和字符串），解释器会在程序的不同部分共享内存，以便节约内存。

b. 垃圾回收

当一个对象的引用计数归零时，它将被垃圾收集机制处理掉。

当

两个对象a和b相互引用时，del语句可以减少a和b的引用计数，并销毁用于引用底层对象的名称。然而由于每个对象都包含一个对其他对象的应用，因此引用

计数不会归零，对象也不会销毁。（从而导致内存泄露）。为解决这一问题，解释器会定期执行一个循环检测器，搜索不可访问对象的循环并删除它们。

c. 内存池机制

Python提供了对内存的垃圾收集机制，但是它将不用的内存放到内存池而不是返回给操作系统。

1）Pymalloc机制。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。

2）Python中所有小于256个字节的对象都使用pymalloc实现的分配器，而大的对象则使用系统的 malloc。

3）对于Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数，用于缓存这些整数的内存就不能再分配给浮点数。

【Python环境】12道 Python面试题总结

2、什么是lambda函数？它有什么好处？

lambda 表达式，通常是在需要一个函数，但是又不想费神去命名一个函数的场合下使用，也就是指匿名函数

lambda函数：首要用途是指点短小的回调函数

lambda [arguments]： expression

a=lambda x，y：x+y

a(3，11)

3、Python里面如何实现tuple和list的转换？

直接使用tuple和list函数就行了，type()可以判断对象的类型。

4、请写出一段Python代码实现删除一个list里面的重复元素。

这个地方用set可以实现。

5、Python里面如何拷贝一个对象？（赋值，浅拷贝，深拷贝的区别）

赋值（=），就是创建了对象的一个新的引用，修改其中任意一个变量都会影响到另一个。

浅拷贝：创建一个新的对象，但它包含的是对原始对象中包含项的引用（如果用引用的方式修改其中一个对象，另外一个也会修改改变）{1，完全切片方法；2，工厂函数，如list()；3，copy模块的copy()函数}

深拷贝：创建一个新的对象，并且递归的复制它所包含的对象（修改其中一个，另外一个不会改变）{copy模块的deep.deepcopy()函数}

6、介绍一下except的用法和作用？

try…except…except…[else…][finally…]

执行try下的语句，如果引发异常，则执行过程会跳到except语句。对每个except分支顺序尝试执行，如果引发的异常与except中的异常组匹配，执行相应的语句。如果所有的except都不匹配，则异常会传递到下一个调用本代码的最高层try代码中。

try下的语句正常执行，则执行else块代码。如果发生异常，就不会执行

如果存在finally语句，最后总是会执行。

【Python环境】12道 Python面试题总结

7、Python里面match()和search()的区别？

re模块中match(pattern，string [，flags])，检查string的开头是否与pattern匹配。

re模块中research(pattern，string [，flags])，在string搜索pattern的第一个匹配值。

print(re.match(‘super’， ‘superstition’).span())

(0， 5)

print(re.match(‘super’， ‘insuperable’))

None

print(re.search(‘super’， ‘superstition’).span())

(0， 5)

print(re.search(‘super’， ‘insuperable’).span())

(2， 7)

8、用Python匹配HTML tag的时候，.*和.*？有什么区别？

术语叫贪婪匹配( .* )和非贪婪匹配( .*？ )

例如：

test

.* ：

test

.*？ ：

9、以下的代码的输出将是什么？ 说出你的答案并解释

输出：

使你困惑或是惊奇的是关于最后一行的输出是 3 2 3 而不是 3 2 1。为什么改变了 Parent.x 的值还会改变 Child2.x 的值，但是同时 Child1.x 值却没有改变？

这

个答案的关键是，在 Python

中，类变量在内部是作为字典处理的。如果一个变量的名字没有在当前类的字典中发现，将搜索祖先类（比如父类）直到被引用的变量名被找到（如果这个被引用的

变量名既没有在自己所在的类又没有在祖先类中找到，会引发一个 AttributeError 异常 ）。

因此，在父类中设置 x = 1 会使得类变量 X 在引用该类和其任何子类中的值为 1。这就是因为第一个 print 语句的输出是 1 1 1。

随后，如果任何它的子类重写了该值（例如，我们执行语句 Child1.x = 2），然后，该值仅仅在子类中被改变。这就是为什么第二个 print 语句的输出是 1 2 1。

最后，如果该值在父类中被改变（例如，我们执行语句 Parent.x = 3），这个改变会影响到任何未重写该值的子类当中的值（在这个示例中被影响的子类是 Child2）。这就是为什么第三个 print 输出是 3 2 3。

10、以下代码将输出什么？

答案

以上代码将输出 []，并且不会导致一个 IndexError。

正如人们所期望的，试图访问一个超过列表索引值的成员将导致 IndexError（比如访问以上列表的 list[10]）。尽管如此，试图访问一个列表的以超出列表成员数作为开始索引的切片将不会导致 IndexError，并且将仅仅返回一个空列表。

【Python环境】12道 Python面试题总结

一个讨厌的小问题是它会导致出现 bug ，并且这个问题是难以追踪的，因为它在运行时不会引发错误。

11、以下的代码的输出将是什么？ 说出你的答案并解释？

你将如何修改 extendList 的定义来产生期望的结果

以上代码的输出为：

许多人会错误的认为 list1 应该等于 [10] 以及 list3 应该等于 ['a']。认为 list 的参数会在 extendList 每次被调用的时候会被设置成它的默认值 []。

尽管如此，实际发生的事情是，新的默认列表仅仅只在函数被定义时创建一次。随后当 extendList 没有被指定的列表参数调用的时候，其使用的是同一个列表。这就是为什么当函数被定义的时候，表达式是用默认参数被计算，而不是它被调用的时候。

因此，list1 和 list3 是操作的相同的列表。而 ````list2是操作的它创建的独立的列表（通过传递它自己的空列表作为list``` 参数的值）。

extendList 函数的定义可以做如下修改，但，当没有新的 list 参数被指定的时候，会总是开始一个新列表，这更加可能是一直期望的行为。

12、以下程序输出什么？

好

吧，第一行代码觉对是我第一次见，第一行输出的是[[]， []， []， []， []]，一个含有5个空列表的列表，而第二行输出的是[[10]，

[10]， [10]， [10]，

[10]]，我只能解释为这5个列表指向了同一个列表，所以修改任意一个其它4个都会改变，可以用list[0]=10 断开一个连接试试。

网站栏目：python回调函数很少 python获取回调函数返回值
链接URL：http://kswjz.com/article/doodhih.html