正文
python函数耗时的简单介绍
小程序:扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序
【扫一扫了解最新限行尾号】
复制小程序
python 统计 函数运行 次数。
import time
def time_me(fn):
def _wrapper(*args, **kwargs):
start = time.clock()
fn(*args, **kwargs)
print "%s cost %s second"%(fn.__name__, time.clock() - start)
return _wrapper
#这个装饰器可以在方便地统计函数运行的耗时。
#用来分析脚本的性能是最好不过了。
#这样用:
@time_me
def test(x, y):
time.sleep(0.1)
@time_me
def test2(x):
time.sleep(0.2)
test(1, 2)
test2(2)
#输出:
#test cost 0.1001529524 second
#test2 cost 0.199968431742 second
Python:
Python(英语发音:/ˈpaɪθən/), 是一种面向对象、解释型计算机程序设计语言,由Guido van Rossum于1989年发明,第一个公开发行版发行于1991年。
Python是纯粹的自由软件, 源代码和解释器CPython遵循 GPL(GNU General Public License)协议[1] 。
Python语法简洁清晰,特色之一是强制用空白符(white space)作为语句缩进。
Python具有丰富和强大的库。它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。常见的一种应用情形是,使用Python快速生成程序的原型(有时甚至是程序的最终界面),然后对其中有特别要求的部分,用更合适的语言改写,比如3D游戏中的图形渲染模块,性能要求特别高,就可以用C/C++重写,而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题,某些可能不提供跨平台的实现。
Python中冷门但非常好用的内置函数
Python中有许多内置函数,不像print、len那么广为人知,但它们的功能却异常强大,用好了可以大大提高代码效率,同时提升代码的简洁度,增强可阅读性
Counter
collections在python官方文档中的解释是High-performance container datatypes,直接的中文翻译解释高性能容量数据类型。这个模块实现了特定目标的容器,以提供Python标准内建容器 dict , list , set , 和 tuple 的替代选择。在python3.10.1中它总共包含以下几种数据类型:
容器名简介
namedtuple() 创建命名元组子类的工厂函数
deque 类似列表(list)的容器,实现了在两端快速添加(append)和弹出(pop)
ChainMap 类似字典(dict)的容器类,将多个映射集合到一个视图里面
Counter 字典的子类,提供了可哈希对象的计数功能
OrderedDict 字典的子类,保存了他们被添加的顺序
defaultdict 字典的子类,提供了一个工厂函数,为字典查询提供一个默认值
UserDict 封装了字典对象,简化了字典子类化
UserList 封装了列表对象,简化了列表子类化
UserString 封装了字符串对象,简化了字符串子类化
其中Counter中文意思是计数器,也就是我们常用于统计的一种数据类型,在使用Counter之后可以让我们的代码更加简单易读。Counter类继承dict类,所以它能使用dict类里面的方法
举例
#统计词频
fruits = ['apple', 'peach', 'apple', 'lemon', 'peach', 'peach']
result = {}
for fruit in fruits:
if not result.get(fruit):
result[fruit] = 1
else:
result[fruit] += 1
print(result)
#{'apple': 2, 'peach': 3, 'lemon': 1}下面我们看用Counter怎么实现:
from collections import Counter
fruits = ['apple', 'peach', 'apple', 'lemon', 'peach', 'peach']
c = Counter(fruits)
print(dict(c))
#{'apple': 2, 'peach': 3, 'lemon': 1}显然代码更加简单了,也更容易阅读和维护了。
elements()
返回一个迭代器,其中每个元素将重复出现计数值所指定次。元素会按首次出现的顺序返回。如果一个元素的计数值小于1,elements()将会忽略它。
c = Counter(a=4, b=2, c=0, d=-2)
sorted(c.elements())
['a', 'a', 'a', 'a', 'b', 'b']most_common([n])
返回一个列表,其中包含n个最常见的元素及出现次数,按常见程度由高到低排序。如果n被省略或为None,most_common()将返回计数器中的所有元素。计数值相等的元素按首次出现的顺序排序:
Counter('abracadabra').most_common(3)
[('a', 5), ('b', 2), ('r', 2)]这两个方法是Counter中最常用的方法,其他方法可以参考 python3.10.1官方文档
实战
Leetcode 1002.查找共用字符
给你一个字符串数组words,请你找出所有在words的每个字符串中都出现的共用字符(包括重复字符),并以数组形式返回。你可以按任意顺序返回答案。
输入:words = ["bella", "label", "roller"]
输出:["e", "l", "l"]
输入:words = ["cool", "lock", "cook"]
输出:["c", "o"]看到统计字符,典型的可以用Counter完美解决。这道题是找出字符串列表里面每个元素都包含的字符,首先可以用Counter计算出每个元素每个字符出现的次数,依次取交集最后得出所有元素共同存在的字符,然后利用elements输出共用字符出现的次数
class Solution:
def commonChars(self, words: List[str]) - List[str]:
from collections import Counter
ans = Counter(words[0])
for i in words[1:]:
ans = Counter(i)
return list(ans.elements())提交一下,发现83个测试用例耗时48ms,速度还是不错的
sorted
在处理数据过程中,我们经常会用到排序操作,比如将列表、字典、元组里面的元素正/倒排序。这时候就需要用到sorted(),它可以对任何可迭代对象进行排序,并返回列表
对列表升序操作:
a = sorted([2, 4, 3, 7, 1, 9])
print(a)
# 输出:[1, 2, 3, 4, 7, 9]对元组倒序操作:
sorted((4,1,9,6),reverse=True)
print(a)
# 输出:[9, 6, 4, 1]使用参数:key,根据自定义规则,按字符串长度来排序:
fruits = ['apple', 'watermelon', 'pear', 'banana']
a = sorted(fruits, key = lambda x : len(x))
print(a)
# 输出:['pear', 'apple', 'banana', 'watermelon']all
all() 函数用于判断给定的可迭代参数iterable中的所有元素是否都为 TRUE,如果是返回 True,否则返回 False。元素除了是 0、空、None、False外都算True。注意:空元组、空列表返回值为True。
all(['a', 'b', 'c', 'd']) # 列表list,元素都不为空或0
True
all(['a', 'b', '', 'd']) # 列表list,存在一个为空的元素
False
all([0, 1,2, 3]) # 列表list,存在一个为0的元素
False
all(('a', 'b', 'c', 'd')) # 元组tuple,元素都不为空或0
True
all(('a', 'b', '', 'd')) # 元组tuple,存在一个为空的元素
False
all((0, 1, 2, 3)) # 元组tuple,存在一个为0的元素
False
all([]) # 空列表
True
all(()) # 空元组
Trueany函数正好和all函数相反:判断一个tuple或者list是否全为空,0,False。如果全为空,0,False,则返回False;如果不全为空,则返回True。
F-strings
在python3.6.2版本中,PEP 498提出一种新型字符串格式化机制,被称为 “字符串插值” 或者更常见的一种称呼是F-strings,F-strings提供了一种明确且方便的方式将python表达式嵌入到字符串中来进行格式化:
s1='Hello'
s2='World'
print(f'{s1} {s2}!')
# Hello World!在F-strings中我们也可以执行函数:
def power(x):
return x*x
x=4
print(f'{x} * {x} = {power(x)}')
# 4 * 4 = 16而且F-strings的运行速度很快,比传统的%-string和str.format()这两种格式化方法都快得多,书写起来也更加简单。
本文主要讲解了python几种冷门但好用的函数,更多内容以后会陆陆续续更新~
找出python程序中运行时最耗时间的部分
那就是profile和cProfile模块:
import cProfile
cProfile.run('function....')
另外,time模块,在不同的函数的开头和结尾分别计时,然后将两个时间相减,就可以获得这段函数的运行时间了,然后在看哪段函数占的时间比较大:
import time
t1=time.time()
##you function segment here
t2=time.time()
timediff=t2-t1
「干货」让Python性能起飞的15个技巧,你知道几个呢?
前言
Python 一直以来被大家所诟病的一点就是执行速度慢,但不可否认的是 Python 依然是我们学习和工作中的一大利器。本文总结python函数耗时了15个tips有助于提升 Python 执行速度、优化性能。
关于 Python 如何精确地测量程序的执行时间,这个问题看起来简单其实很复杂,因为程序的执行时间受到很多因素的影响,例如操作系统、Python 版本以及相关硬件(CPU 性能、内存读写速度)等。在同一台电脑上运行相同版本的语言时,上述因素就是确定的了,但是程序的睡眠时间依然是变化的,且电脑上正在运行的其python函数耗时他程序也会对实验有干扰,因此严格来说这就是实验不可重复。
我了解到的关于计时比较有代表性的两个库就是 time 和 timeit 。
其中, time 库中有 time() 、 perf_counter() 以及 process_time() 三个函数可用来计时(以秒为单位),加后缀 _ns 表示以纳秒计时(自 Python3.7 始)。在此之前还有 clock() 函数,但是在 Python3.3 之后被移除了。上述三者的区别如下:
与 time 库相比, timeit 有两个优点:
timeit.timeit(stmt='pass', setup='pass', timer= , number=1000000, globals=None) 参数说明:
本文所有的计时均采用 timeit 方法,且采用默认的执行次数一百万次。
为什么要执行一百万次呢python函数耗时?因为我们的测试程序很短,如果不执行这么多次的话,根本看不出差距。
Exp1:将字符串数组中的小写字母转为大写字母。
测试数组为 oldlist = ['life', 'is', 'short', 'i', 'choose', 'python']。
方法一
方法二
方法一耗时 0.5267724000000005s ,方法二耗时 0.41462569999999843s ,性能提升 21.29%
Exp2:求两个 list 的交集。
测试数组:a = [1,2,3,4,5],b = [2,4,6,8,10]。
方法一
方法二
方法一耗时 0.9507264000000006s ,方法二耗时 0.6148200999999993s ,性能提升 35.33%
关于 set() 的语法: | 、 、 - 分别表示求并集、交集、差集。
我们可以通过多种方式对序列进行排序,但其实自己编写排序算法的方法有些得不偿失。因为内置的 sort() 或 sorted() 方法已经足够优秀了,且利用参数 key 可以实现不同的功能,非常灵活。二者的区别是 sort() 方法仅被定义在 list 中,而 sorted() 是全局方法对所有的可迭代序列都有效。
Exp3:分别使用快排和 sort() 方法对同一列表排序。
测试数组:lists = [2,1,4,3,0]。
方法一
方法二
方法一耗时 2.4796975000000003s ,方法二耗时 0.05551999999999424s ,性能提升 97.76%
顺带一提, sorted() 方法耗时 0.1339823999987857s 。
可以看出, sort() 作为 list 专属的排序方法还是很强的, sorted() 虽然比前者慢一点,但是胜在它“不挑食”,它对所有的可迭代序列都有效。
扩展 :如何定义 sort() 或 sorted() 方法的 key
1.通过 lambda 定义
2.通过 operator 定义
operator 的 itemgetter() 适用于普通数组排序, attrgetter() 适用于对象数组排序
3.通过 cmp_to_key() 定义,最为灵活
Exp4:统计字符串中每个字符出现的次数。
测试数组:sentence='life is short, i choose python'。
方法一
方法二
方法一耗时 2.8105250000000055s ,方法二耗时 1.6317423000000062s ,性能提升 41.94%
列表推导(list comprehension)短小精悍。在小代码片段中,可能没有太大的区别。但是在大型开发中,它可以节省一些时间。
Exp5:对列表中的奇数求平方,偶数不变。
测试数组:oldlist = range(10)。
方法一
方法二
方法一耗时 1.5342976000000021s ,方法二耗时 1.4181957999999923s ,性能提升 7.57%
大多数人都习惯使用 + 来连接字符串。但其实,这种方法非常低效。因为, + 操作在每一步中都会创建一个新字符串并复制旧字符串。更好的方法是用 join() 来连接字符串。关于字符串的其他操作,也尽量使用内置函数,如 isalpha() 、 isdigit() 、 startswith() 、 endswith() 等。
Exp6:将字符串列表中的元素连接起来。
测试数组:oldlist = ['life', 'is', 'short', 'i', 'choose', 'python']。
方法一
方法二
方法一耗时 0.27489080000000854s ,方法二耗时 0.08166570000000206s ,性能提升 70.29%
join 还有一个非常舒服的点,就是它可以指定连接的分隔符,举个例子
life//is//short//i//choose//python
Exp6:交换x,y的值。
测试数据:x, y = 100, 200。
方法一
方法二
方法一耗时 0.027853900000010867s ,方法二耗时 0.02398730000000171s ,性能提升 13.88%
在不知道确切的循环次数时,常规方法是使用 while True 进行无限循环,在代码块中判断是否满足循环终止条件。虽然这样做没有任何问题,但 while 1 的执行速度比 while True 更快。因为它是一种数值转换,可以更快地生成输出。
Exp8:分别用 while 1 和 while True 循环 100 次。
方法一
方法二
方法一耗时 3.679268300000004s ,方法二耗时 3.607847499999991s ,性能提升 1.94%
将文件存储在高速缓存中有助于快速恢复功能。Python 支持装饰器缓存,该缓存在内存中维护特定类型的缓存,以实现最佳软件驱动速度。我们使用 lru_cache 装饰器来为斐波那契函数提供缓存功能,在使用 fibonacci 递归函数时,存在大量的重复计算,例如 fibonacci(1) 、 fibonacci(2) 就运行了很多次。而在使用了 lru_cache 后,所有的重复计算只会执行一次,从而大大提高程序的执行效率。
Exp9:求斐波那契数列。
测试数据:fibonacci(7)。
方法一
方法二
方法一耗时 3.955014900000009s ,方法二耗时 0.05077979999998661s ,性能提升 98.72%
注意事项:
我被执行了(执行了两次 demo(1, 2) ,却只输出一次)
functools.lru_cache(maxsize=128, typed=False) 的两个可选参数:
点运算符( . )用来访问对象的属性或方法,这会引起程序使用 __getattribute__() 和 __getattr__() 进行字典查找,从而带来不必要的开销。尤其注意,在循环当中,更要减少点运算符的使用,应该将它移到循环外处理。
这启发我们应该尽量使用 from ... import ... 这种方式来导包,而不是在需要使用某方法时通过点运算符来获取。其实不光是点运算符,其他很多不必要的运算我们都尽量移到循环外处理。
Exp10:将字符串数组中的小写字母转为大写字母。
测试数组为 oldlist = ['life', 'is', 'short', 'i', 'choose', 'python']。
方法一
方法二
方法一耗时 0.7235491999999795s ,方法二耗时 0.5475435999999831s ,性能提升 24.33%
当我们知道具体要循环多少次时,使用 for 循环比使用 while 循环更好。
Exp12:使用 for 和 while 分别循环 100 次。
方法一
方法二
方法一耗时 3.894683299999997s ,方法二耗时 1.0198077999999953s ,性能提升 73.82%
Numba 可以将 Python 函数编译码为机器码执行,大大提高代码执行速度,甚至可以接近 C 或 FORTRAN 的速度。它能和 Numpy 配合使用,在 for 循环中或存在大量计算时能显著地提高执行效率。
Exp12:求从 1 加到 100 的和。
方法一
方法二
方法一耗时 3.7199997000000167s ,方法二耗时 0.23769430000001535s ,性能提升 93.61%
矢量化是 NumPy 中的一种强大功能,可以将操作表达为在整个数组上而不是在各个元素上发生。这种用数组表达式替换显式循环的做法通常称为矢量化。
在 Python 中循环数组或任何数据结构时,会涉及很多开销。NumPy 中的向量化操作将内部循环委托给高度优化的 C 和 Fortran 函数,从而使 Python 代码更加快速。
Exp13:两个长度相同的序列逐元素相乘。
测试数组:a = [1,2,3,4,5], b = [2,4,6,8,10]
方法一
方法二
方法一耗时 0.6706845000000214s ,方法二耗时 0.3070132000000001s ,性能提升 54.22%
若要检查列表中是否包含某成员,通常使用 in 关键字更快。
Exp14:检查列表中是否包含某成员。
测试数组:lists = ['life', 'is', 'short', 'i', 'choose', 'python']
方法一
方法二
方法一耗时 0.16038449999999216s ,方法二耗时 0.04139250000000061s ,性能提升 74.19%
itertools 是用来操作迭代器的一个模块,其函数主要可以分为三类:无限迭代器、有限迭代器、组合迭代器。
Exp15:返回列表的全排列。
测试数组:["Alice", "Bob", "Carol"]
方法一
方法二
方法一耗时 3.867292899999484s ,方法二耗时 0.3875405000007959s ,性能提升 89.98%
根据上面的测试数据,我绘制了下面这张实验结果图,可以更加直观的看出不同方法带来的性能差异。
从图中可以看出,大部分的技巧所带来的性能增幅还是比较可观的,但也有少部分技巧的增幅较小(例如编号5、7、8,其中,第 8 条的两种方法几乎没有差异)。
总结下来,我觉得其实就是下面这两条原则:
内置库函数由专业的开发人员编写并经过了多次测试,很多库函数的底层是用 C 语言开发的。因此,这些函数总体来说是非常高效的(比如 sort() 、 join() 等),自己编写的方法很难超越它们,还不如省省功夫,不要重复造轮子了,何况你造的轮子可能更差。所以,如果函数库中已经存在该函数,就直接拿来用。
有很多优秀的第三方库,它们的底层可能是用 C 和 Fortran 来实现的,像这样的库用起来绝对不会吃亏,比如前文提到的 Numpy 和 Numba,它们带来的提升都是非常惊人的。类似这样的库还有很多,比如Cython、PyPy等,这里我只是抛砖引玉。
原文链接:
最全Python函数知识点,斯坦福教授耗时一月整理!
举例2:
运行结果:
运行结果:
定义:
调用:
我们经常在看别人的代码中,经常出现def(*args, **kwargs)这样的表现形式:
外部变量被改(x由100改为101):
内部变量外部也可用:
统计程序中的变量,返回的是个字典
结果:
lambda版本写法:
结果:
举例:
Python有什么缺点呢?
1. - 运行速度慢,因为Python是解释型语言,是一种高级语言,代码会在执行的时候,一行一行的使用解释器翻译成底层代码,翻译成机器码,而这个过程非常耗时,所以他运行过程中,比很多语言的代码都慢了很多。
- 线程不能利用多CPU,这是Python最大的确定,GIL即全局解释器锁(Global Interpreter Lock),是计算机程序设计语言解释器用于同步线程的工具,使得任何时刻仅有一个线程在执行,Python的线程是操作系统的原生线程。在Linux上为pthread,在Windows上为Win thread,完全由操作系统调度线程的执行。一个python解释器进程内有一条主线程,以及多条用户程序的执行线程。即使在多核CPU平台上,由于GIL的存在,所以禁止多线程的并行执行。
Python的优缺点可以看看传智播客的社区,里面很多技术老师写的相关文章。并且有学习线路图适合小白学习,每个板块下面都有配套视频。
关于python函数耗时和的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。