问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

Python的垃圾回收机制(garbage collection)是什么

发布网友 发布时间:2022-04-05 23:29

我来回答

2个回答

懂视网 时间:2022-04-06 03:50

python教程栏目今天来剖析Python垃圾回收机制!

1、垃圾回收

引用计数器为主、分代码回收和标记清除为辅

1.1 大管家refchain

在Python的C源码中有一个名为refchain的环状双向链表,这个链表比较牛逼了,因为Python程序中一旦创建对象都会把这个对象添加到refchain这个链表中。也就是说他保存着所有的对象。

1.2 引用计数器

  • 在refchain中的所有对象内部都有一个ob_refcnt用来保存当前对象的引用计数器,顾名思义就是自己被引用的次数。
  • 当值被多次引用时候,不会在内存中重复创建数据,而是引用计数器+1 。 当对象被销毁时候同时会让引用计数器-1,如果引用计数器为0,则将对象从refchain链表中摘除,同时在内存中进行销毁(暂不考虑缓存等特殊情况)。
  • age = 18number = age # 对象18的引用计数器 + 1del age  # 对象18的引用计数器 - 1def run(arg):
     print(arg)
    run(number) # 刚开始执行函数时,对象18引用计数器 + 1,当函数执行完毕之后,对象18引用计数器 - 1 。num_list = [11,22,number] # 对象18的引用计数器 + 1复制代码

    1.3 标记清除&分代回收

    基于引用计数器进行垃圾回收非常方便和简单,但他还是存在循环引用的问题,导致无法正常的回收一些数据,例如:

    v1 = [11,22,33] # refchain中创建一个列表对象,由于v1=对象,所以列表引对象用计数器为1.v2 = [44,55,66] # refchain中再创建一个列表对象,因v2=对象,所以列表对象引用计数器为1.v1.append(v2) # 把v2追加到v1中,则v2对应的[44,55,66]对象的引用计数器加1,最终为2.v2.append(v1) # 把v1追加到v1中,则v1对应的[11,22,33]对象的引用计数器加1,最终为2.del v1 # 引用计数器-1del v2 # 引用计数器-1复制代码
  • 对于上述代码会发现,执行del操作之后,没有变量再会去使用那两个列表对象,但由于循环引用的问题,他们的引用计数器不为0,所以他们的状态:永远不会被使用、也不会被销毁。项目中如果这种代码太多,就会导致内存一直被消耗,直到内存被耗尽,程序崩溃。
  • 为了解决循环引用的问题,引入了标记清除技术,专门针对那些可能存在循环引用的对象进行特殊处理,可能存在循环应用的类型有:列表、元组、字典、集合、自定义类等那些能进行数据嵌套的类型。
  • 标记清除:创建特殊链表专门用于保存 列表、元组、字典、集合、自定义类等对象,之后再去检查这个链表中的对象是否存在循环引用,如果存在则让双方的引用计数器均 - 1 。

    分代回收:对标记清除中的链表进行优化,将那些可能存在循引用的对象拆分到3个链表,链表称为:0/1/2三代,每代都可以存储对象和阈值,当达到阈值时,就会对相应的链表中的每个对象做一次扫描,除循环引用各自减1并且销毁引用计数器为0的对象。

    // 分代的C源码#define NUM_GENERATIONS 3struct gc_generation generations[NUM_GENERATIONS] = { /* PyGC_Head,     threshold, count */
     {{(uintptr_t)_GEN_HEAD(0), (uintptr_t)_GEN_HEAD(0)}, 700, 0}, // 0代
     {{(uintptr_t)_GEN_HEAD(1), (uintptr_t)_GEN_HEAD(1)}, 10,  0}, // 1代
     {{(uintptr_t)_GEN_HEAD(2), (uintptr_t)_GEN_HEAD(2)}, 10,  0}, // 2代};复制代码

    特别注意:0代和1、2代的threshold和count表示的意义不同。

    0代,count表示0代链表中对象的数量,threshold表示0代链表对象个数阈值,超过则执行一次0代扫描检查。 1代,count表示0代链表扫描的次数,threshold表示0代链表扫描的次数阈值,超过则执行一次1代扫描检查。 2代,count表示1代链表扫描的次数,threshold表示1代链表扫描的次数阈值,超过则执行一2代扫描检查。

    1.4 情景模拟

    根据C语言底层并结合图来讲解内存管理和垃圾回收的详细过程。

    第一步:当创建对象age=19时,会将对象添加到refchain链表中。

    第二步:当创建对象num_list = [11,22]时,会将列表对象添加到 refchain 和 generations 0代中。

    第三步:新创建对象使generations的0代链表上的对象数量大于阈值700时,要对链表上的对象进行扫描检查。

    当0代大于阈值后,底层不是直接扫描0代,而是先判断2、1是否也超过了阈值。

  • 如果2、1代未达到阈值,则扫描0代,并让1代的 count + 1 。
  • 如果2代已达到阈值,则将2、1、0三个链表拼接起来进行全扫描,并将2、1、0代的count重置为0.
  • 如果1代已达到阈值,则讲1、0两个链表拼接起来进行扫描,并将所有1、0代的count重置为0.
  • 对拼接起来的链表在进行扫描时,主要就是剔除循环引用和销毁垃圾,详细过程为:

  • 扫描链表,把每个对象的引用计数器拷贝一份并保存到 gc_refs中,保护原引用计数器。
  • 再次扫描链表中的每个对象,并检查是否存在循环引用,如果存在则让各自的gc_refs减 1 。
  • 再次扫描链表,将 gc_refs 为 0 的对象移动到unreachable链表中;不为0的对象直接升级到下一代链表中。
  • 处理unreachable链表中的对象的 析构函数 和 弱引用,不能被销毁的对象升级到下一代链表,能销毁的保留在此链表。析构函数,指的就是那些定义了__del__方法的对象,需要执行之后再进行销毁处理。
  • 最后将 unreachable 中的每个对象销毁并在refchain链表中移除(不考虑缓存机制)。
  • 至此,垃圾回收的过程结束。

    1.5 缓存机制

    从上文大家可以了解到当对象的引用计数器为0时,就会被销毁并释放内存。而实际上他不是这么的简单粗暴,因为反复的创建和销毁会使程序的执行效率变低。Python中引入了“缓存机制”机制。

    例如:引用计数器为0时,不会真正销毁对象,而是将他放到一个名为 free_list 的链表中,之后会再创建对象时不会在重新开辟内存,而是在free_list中将之前的对象来并重置内部的值来使用。

  • float类型,维护的free_list链表最多可缓存100个float对象。
  •  v1 = 3.14 # 开辟内存来存储float对象,并将对象添加到refchain链表。
     print( id(v1) ) # 内存地址:4436033488
     del v1 # 引用计数器-1,如果为0则在rechain链表中移除,不销毁对象,而是将对象添加到float的free_list.
     v2 = 9.999 # 优先去free_list中获取对象,并重置为9.999,如果free_list为空才重新开辟内存。
     print( id(v2) ) # 内存地址:4436033488
     # 注意:引用计数器为0时,会先判断free_list中缓存个数是否满了,未满则将对象缓存,已满则直接将对象销毁。复制代码
  • int类型,不是基于free_list,而是维护一个small_ints链表保存常见数据(小数据池),小数据池范围:-5 <= value < 257。即:重复使用这个范围的整数时,不会重新开辟内存。
  •  v1 = 38 # 去小数据池small_ints中获取38整数对象,将对象添加到refchain并让引用计数器+1。
     print( id(v1)) #内存地址:4514343712
     v2 = 38 # 去小数据池small_ints中获取38整数对象,将refchain中的对象的引用计数器+1。
     print( id(v2) ) #内存地址:4514343712
     # 注意:在解释器启动时候-5~256就已经被加入到small_ints链表中且引用计数器初始化为1,
     # 代码中使用的值时直接去small_ints中拿来用并将引用计数器+1即可。另外,small_ints中的数据引用计数器永远不会为0
     # (初始化时就设置为1了),所以也不会被销毁。复制代码
  • str类型,维护unicode_latin1[256]链表,内部将所有的ascii字符缓存起来,以后使用时就不再反复创建。
  •  v1 = "A"
     print( id(v1) ) # 输出:4517720496
     del v1
     v2 = "A"
     print( id(v1) ) # 输出:4517720496
     # 除此之外,Python内部还对字符串做了驻留机制,针对只含有字母、数字、下划线的字符串(见源码Objects/codeobject.c),如果
     # 内存中已存在则不会重新在创建而是使用原来的地址里(不会像free_list那样一直在内存存活,只有内存中有才能被重复利用)。
     v1 = "asdfg"
     v2 = "asdfg"
     print(id(v1) == id(v2)) # 输出:True复制代码
  • list类型,维护的free_list数组最多可缓存80个list对象。

  •  v1 = [11,22,33]
    print( id(v1) ) # 输出:4517628816del v1
    v2 = ["你","好"]
    print( id(v2) ) # 输出:4517628816复制代码
  • tuple类型,维护一个free_list数组且数组容量20,数组中元素可以是链表且每个链表最多可以容纳2000个元组对象。元组的free_list数组在存储数据时,是按照元组可以容纳的个数为索引找到free_list数组中对应的链表,并添加到链表中。
  • v1 = (1,2)
    print( id(v1) )del v1 # 因元组的数量为2,所以会把这个对象缓存到free_list[2]的链表中。v2 = ("哈哈哈","Alex") # 不会重新开辟内存,而是去free_list[2]对应的链表中拿到一个对象来使用。print( id(v2) )复制代码
  • dict类型,维护的free_list数组最多可缓存80个dict对象
  •  v1 = {"k1":123}
     print( id(v1) ) # 输出:4515998128
     del v1
     v2 = {"name":"哈哈哈","age":18,"gender":"男"}
     print( id(v1) ) # 输出:4515998128复制代码

    C语言源码底层分析

    相关免费学习推荐:python教程(视频)

    热心网友 时间:2022-04-06 00:58

    这里能说的很多。你应该提到下面几个主要的点:

    Python在内存中存储了每个对象的引用计数(reference count)。如果计数值变成0,那么相应的对象就会小时,分配给该对象的内存就会释放出来用作他用。

    偶尔也会出现引用循环(reference cycle)。垃圾回收器会定时寻找这个循环,并将其回收。举个例子,假设有两个对象o1和o2,而且符合o1.x == o2和o2.x == o1这两个条件。如果o1和o2没有其他代码引用,那么它们就不应该继续存在。但它们的引用计数都是1。来自三人行慕课

    Python中使用了某些启发式算法(heuristics)来加速垃圾回收。例如,越晚创建的对象更有可能被回收。对象被创建之后,垃圾回收器会分配它们所属的代(generation)。每个对象都会被分配一个代,而被分配更年轻代的对象是优先被处理的。
    声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
    帮忙介绍几个昆山好吃的地方 ...古代文学论述题——举例说明庄子散文的特点。谢谢(⊙o⊙)哦知 ... 天津滨海职业大学智能制造装备技术学什么 智能制造装备技术专业就业方向有哪些 智能制造装备技术专业主要学什么 公孙衍人物故事 吹奏乐器巴乌 巴乌简介 倒库要打转向灯 倒车入库要开转向灯吗 如何理解和掌握Python垃圾回收机制 Python垃圾回收机制是什么样的? 我把电脑的3.5mm耳机接口用线接在调音台上的PLAY接口接口上面没声音出来,是为什么? 电脑耳机声音笔记本电脑之前插上3.5mm耳机后有声音,但是今天突然就没有声音了,但是会出来弹窗显示_问一问 3.5MM耳机插入电脑无声 电脑3.5接口耳机插上没有声音 win 10电脑3.5接口耳机插上没有声音 3.5耳机插电脑没声音 电脑内存4g和8g有什么区别 笔记本电脑8g内存和4g内存的区别 笔记本CPU双核心四线程和四核心八线程有什么区别? 各有什么优劣?? 请问下高手,所谓的虚拟四核和八核是什么意思?难道我买个四核的电脑实际只是两核的吗那双核的就是一核啊 平板电脑8核和4核到底有什么区别 电脑的四核与八核的区别? 准备换电脑 谁能告诉我4核 跟8核的处理器有什么区别? 电脑双4核和8核的区别是什么 笔记本电脑4g内存够用吗? 现在电脑4g内存够用吗,会不会开几个网页再打开几个程序就会卡? 急求!3D MAX作图步骤 有什么笔记本电脑推荐, 运行3D建模软件的配置需要多少 虚幻引擎的又需要什么配置 Python里的垃圾回收机制是什么意思,搞不懂 python 什么时候 垃圾回收 python怎么进行内存管理的? 为什么Python工程师很少像Java工程师那样讨论垃圾回收 为什么Python工程师很少像Java工程师那样讨论垃圾回收? Python是怎么进行内存管理的? Python是如何进行内存管理的 Python如何管理内存? php如何关闭安全模式 php.ini怎样关闭安全模式 如何禁用php安全模式? 怎样退出安全模式? 怎么退出安全模式呢? 10分windows下怎么安装 PHP的gd库 phpstudy安装imagick扩展库怎么装 linux系统如何让php使用GD库函数 php7 gd库安装需要依赖哪些包 pphp开发中Windows下配置GD库,我按你前面的回答做,发现php安装路径&#47;ext文件夹下的php_gd2.dll打不开? 西部数码建站助手gd 扩展扩展怎样开启 PHP代码实现:1)删除整个数组2)删除数组中指定的元素3)删除重复的元素?