python内存优化函数 python程序内存分析

python使用函数可以减小内存开支吗

函数其实也就是封装好python内存优化函数的算法代码python内存优化函数，因为一些常用函数都经过开发者python内存优化函数，用户的多次测试优化，在python的开源环境下更是如此，所以大多时候比新手开发者自己写的方法内存性能都有提升，但针对不同的需求，自己写新的算法可能更优，并不绝对

Python内存驻留机制

字符串驻留机制在许多面向对象编程语言中都支持，比如Java、python、Ruby、PHP等，它是一种数据缓存机制，对不可变数据类型使用同一个内存地址，有效python内存优化函数的节省python内存优化函数了空间，本文主要介绍Python的内存驻留机制。

字符串驻留就是每个字符串只有一个副本，多个对象共享该副本，驻留只针对不可变数据类型，比如字符串，布尔值，数字等。在这些固定数据类型处理中，使用驻留可以有效节省时间和空间，当然在驻留池中创建或者插入新的内容会消耗一定的时间。

下面举例介绍python中的驻留机制。

在Python对象及内存管理机制一文中介绍了python的参数传递以及以及内存管理机制，来看下面一段代码python内存优化函数：

知道结果是什么吗python内存优化函数？下面是执行结果python内存优化函数：

l1和l2内容相同，却指向了不同的内存地址，l2和l3之间使用等号赋值，所以指向了同一个对象。因为列表是可变对象，每创建一个列表，都会重新分配内存，列表对象是没有“内存驻留”机制的。下面来看不可变数据类型的驻留机制。

在 Jupyter或者控制台交互环境 中执行下面代码：

执行结果：

可以发现a1和b1指向了不同的地址，a2和b2指向了相同的地址，这是为什么呢？

因为启动时，Python 将一个 -5~256 之间整数列表预加载（缓存）到内存中，我们在这个范围内创建一个整数对象时，python会自动引用缓存的对象，不会创建新的整数对象。

浮点型不支持：

如果上面的代码在非交互环境，也就是将代码作为python脚本运行的结果是什么呢？（运行环境为python3.7）

全为True，没有明确的限定临界值，都进行了驻留操作。这是因为使用不同的环境时，代码的优化方式不同。

在 Jupyter或者控制台交互环境 中：

满足标识符命名规范的字符：

结果：

乘法获取字符串（运行环境为python3.7）

结果：

在非交互环境中：

注意： 字符串是在编译时进行驻留 ，也就是说，如果字符串的值不能在编译时进行计算，将不会驻留。比如下面的例子：

在交互环境执行结果如下：

都指向不同的内存。

python 3.7 非交互环境执行结果：

发现d和e指向不同的内存，因为d和e不是在编译时计算的，而是在运行时计算的。前面的 a = 'aa'*50 是在编译时计算的。

除了上面介绍的python默认的驻留外，可以使用sys模块中的intern()函数来指定驻留内容

结果：

使用intern()后，都指向了相同的地址。

本文主要介绍了python的内存驻留，内存驻留是python优化的一种策略，注意不同运行环境下优化策略不一样，不同的python版本也不相同。注意字符串是在编译时进行驻留。

--THE END--

Python中的10条冷门知识

下面时Python中一些不常见的冷门知识，感兴趣的小伙伴不妨来学习一下。

1、省略号也是对象

… 这是省略号，在Python中，一切皆对象。它也不例外。在 Python 中，它叫做 Ellipsis 。在 Python 3 中你可以直接写…来得到这玩意。

...

Ellipsis

type(...)

class 'ellipsis'

而在 Python2 中没有…这个语法，只能直接写Ellipsis来获取。

Ellipsis

Ellipsis

type(Ellipsis)

type 'ellipsis'

它转为布尔值时为真

bool(...)

True

最后，这东西是一个单例。

id(...)

4362672336

id(...)

4362672336

这东西有啥用呢？据说它是Numpy的语法糖，不玩 Numpy 的人，可以说是没啥用的。

在网上只看到这个 用 … 代替 pass ，稍微有点用，但又不是必须使用的。

try:

1/0

except ZeroDivisionError:

...

2、增量赋值的性能更好

诸如 += 和 *= 这些运算符，叫做 增量赋值运算符。这里使用用 += 举例，以下两种写法，在效果上是等价的。

# 第一种

a = 1 ; a += 1

# 第二种

a = 1; a = a + 1

+= 其背后使用的魔法方法是 iadd，如果没有实现这个方法则会退而求其次，使用 add 。

这两种写法有什么区别呢？

用列表举例 a += b，使用 add 的话就像是使用了a.extend(b),如果使用 add 的话，则是 a = a+b,前者是直接在原列表上进行扩展，而后者是先从原列表中取出值，在一个新的列表中进行扩展，然后再将新的列表对象返回给变量，显然后者的消耗要大些。

所以在能使用增量赋值的时候尽量使用它。

3、and 和or 的取值顺序

and 和 or 是我们再熟悉不过的两个逻辑运算符。而我们通常只用它来做判断，很少用它来取值。

如果一个or表达式中所有值都为真，Python会选择第一个值，而and表达式则会选择第二个。

(2 or 3) * (5 and 7)

14 # 2*7

4、修改解释器提示符

import sys

sys.ps1

' '

sys.ps2

'... '

sys.ps2 = '---------------- '

sys.ps1 = 'Python编程时光'

Python编程时光for i in range(2):

---------------- print (i)

----------------

5、默认参数最好不为可变对象

函数的参数分三种

可变参数

默认参数

关键字参数

今天要说的是，传递默认参数时，新手很容易踩雷的一个坑。

先来看一个示例：

def func(item, item_list=[]):

item_list.append(item)

print(item_list)

func('iphone')

func('xiaomi', item_list=['oppo','vivo'])

func('huawei')

在这里，你可以暂停一下，思考一下会输出什么？

思考过后，你的答案是否和下面的一致呢

['iphone']

['oppo', 'vivo', 'xiaomi']

['iphone', 'huawei']

如果是，那你可以跳过这部分内容，如果不是，请接着往下看，这里来分析一下。

Python 中的 def 语句在每次执行的时候都初始化一个函数对象，这个函数对象就是我们要调用的函数，可以把它当成一个一般的对象，只不过这个对象拥有一个可执行的方法和部分属性。

对于参数中提供了初始值的参数，由于 Python 中的函数参数传递的是对象，也可以认为是传地址，在第一次初始化 def 的时候，会先生成这个可变对象的内存地址，然后将这个默认参数 item_list 会与这个内存地址绑定。在后面的函数调用中，如果调用方指定了新的默认值，就会将原来的默认值覆盖。如果调用方没有指定新的默认值，那就会使用原来的默认值。

在这里插入图片描述

6、访问类中的私有方法

大家都知道，类中可供直接调用的方法，只有公有方法（protected类型的方法也可以，但是不建议）。也就是说，类的私有方法是无法直接调用的。

这里先看一下例子

class Kls():

def public(self):

print('Hello public world!')

def __private(self):

print('Hello private world!')

def call_private(self):

self.__private()

ins = Kls()

# 调用公有方法，没问题

ins.public()

# 直接调用私有方法，不行

ins.__private()

# 但你可以通过内部公有方法，进行代理

ins.call_private()

既然都是方法，那我们真的没有方法可以直接调用吗？

当然有啦，只是建议你千万不要这样弄，这里只是普及，让你了解一下。

# 调用私有方法，以下两种等价

ins._Kls__private()

ins.call_private()

7、时有时无的切片异常

这是个简单例子

my_list = [1, 2, 3, 4, 5]

print(my_list[5])

Traceback (most recent call last):

File "F:/Python Script/test.py", line 2, in module

print(my_list[5])

IndexError: list index out of range

来看看，如下这种写法就不会报索引异常，执行my_list[5:]，会返回一个新list：[]。

my_list = [1, 2, 3]

print(my_list[5:])

8、for 死循环

for 循环可以说是 基础得不能再基础的知识点了。但是如果让你用 for 写一个死循环，你会写吗？（问题来自群友 陈**）

这是个开放性的问题，在往下看之前，建议你先尝试自己思考，你会如何解答。

好了，如果你还没有思路，那就来看一下 一个海外 MIT 群友的回答:

for i in iter(int, 1):pass

是不是懵逼了。iter 还有这种用法？这为啥是个死循环？

这真的是个冷知识，关于这个知识点，你如果看中文网站，可能找不到相关资料。

还好你可以通过 IDE 看py源码里的注释内容，介绍了很详细的使用方法。

原来iter有两种使用方法，通常我们的认知是第一种，将一个列表转化为一个迭代器。

而第二种方法，他接收一个 callable对象，和一个sentinel 参数。第一个对象会一直运行，直到它返回 sentinel 值才结束。

在这里插入图片描述

那int 呢，这又是一个知识点，int 是一个内建方法。通过看注释，可以看出它是有默认值0的。你可以在终端上输入 int() 看看是不是返回0。

在这里插入图片描述

由于int() 永远返回0，永远返回不了1，所以这个 for 循环会没有终点。一直运行下去。

9、奇怪的字符串

字符串类型作为 Python 中最常用的数据类型之一，Python解释器为了提高字符串使用的效率和使用性能，做了很多优化。

例如：Python 解释器中使用了 intern（字符串驻留）的技术来提高字符串效率。

什么是 intern 机制？就是同样的字符串对象仅仅会保存一份，放在一个字符串储蓄池中，是共用的，当然，肯定不能改变，这也决定了字符串必须是不可变对象。

示例一

# Python2.7

a = "Hello_Python"

id(a)

32045616

id("Hello" + "_" + "Python")

32045616

# Python3.7

a = "Hello_Python"

id(a)

38764272

id("Hello" + "_" + "Python")

32045616

示例二

a = "MING"

b = "MING"

a is b

True

# Python2.7

a, b = "MING!", "MING!"

a is b

True

# Python3.7

a, b = "MING!", "MING!"

a is b

False

示例三

# Python2.7

'a' * 20 is 'aaaaaaaaaaaaaaaaaaaa'

True

'a' * 21 is 'aaaaaaaaaaaaaaaaaaaaa'

False

# Python3.7

'a' * 20 is 'aaaaaaaaaaaaaaaaaaaa'

True

'a' * 21 is 'aaaaaaaaaaaaaaaaaaaaa'

True

示例四

s1="hello"

s2="hello"

s1 is s2

True

# 如果有空格，默认不启用intern机制

s1="hell o"

s2="hell o"

s1 is s2

False

# 如果一个字符串长度超过20个字符，不启动intern机制

s1 = "a" * 20

s2 = "a" * 20

s1 is s2

True

s1 = "a" * 21

s2 = "a" * 21

s1 is s2

False

s1 = "ab" * 10

s2 = "ab" * 10

s1 is s2

True

s1 = "ab" * 11

s2 = "ab" * 11

s1 is s2

False

10、两次return

我们都知道，try…finally… 语句的用法，不管 try 里面是正常执行还是报异常，最终都能保证finally能够执行。

同时，我们又知道，一个函数里只要遇到 return 函数就会立马结束。

基于以上这两点，我们来看看这个例子，到底运行过程是怎么样的？

def func():

... try:

... return 'try'

... finally:

... return 'finally'

...

func()

'finally'

惊奇的发现，在try里的return居然不起作用。

原因是，在try…finally…语句中，try中的return会被直接忽视，因为要保证finally能够执行。

Python 多进程内存占用问题

当我们有一个很长很长的任务队列(mission_list)和阈值对应的一个处理函数(missionFunction)时，我们一般采用如下的方式进行处理：

但是，如果这任务列表很长很长，处理函数很复杂(占用cpu)时，单核往往需要很长的时间进行处理，此时，Multiprocess便可以极大的提高我们程序的运行速度，相关内容请借鉴 multiprocessing --- 基于进程的并行 — Python 3.10.4 文档。

以上这种场景下，推荐大家采用最简单的进程池+map的方法进行处理，标准的写法， chunksize要借鉴官方的说法，最好大一点 ：

但是！！！！ 如果我们的任务列表非常的长，这会导致多进程还没跑起来之前，内存已经撑爆了，任务自然没法完成，此时我们有几种办法进行优化：

进程的启动方法有三种，可参考官方文档：

[图片上传失败...(image-48cd3c-1650511153989)]

在linux环境下，使用forkserver可以节省很多的内存空间， 因为进程启动的是一个服务，不会把主进程的数据全部复制

采用imap会极大的节省空间，它返回的是一个迭代器，也就是结果列表：

但注意，以上写法中，你写的结果迭代部分必须写在with下面。或者采用另一种写法：

还有最后一种，当你的mission list实在太大了，导致你在生成 mission list的时候已经把内存撑爆了，这个时候就得优化 mission_list了，如果你的mission_list是通过一个for循环生成的，你可以使用yield字段，将其封装为一个迭代器，传入进程池：

这样子，我们就封装好了mission_list，它是一个可迭代对象，在取数据的时候才会将数据拉到内存

我在项目中结合了后两种方法，原本256G的内存都不够用，但在修改后内存只占用了不到10G。希望能够帮助到你

关于python内存优化函数和python程序内存分析的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。