纯粹的python优化（数据结构、cache、推导、生成器）

learn from 《Python高性能（第2版）》

1. 数据结构与算法

列表、双端队列

  • list 底层是数组，在 开头 插入和删除的时间复杂度 O(n)， 在结尾插入和删除是 O(1)，访问任意元素是 O(1)
  • deque 底层是 双向链表实现，开头结尾操作时间复杂度均为 O(1)，代价是访问中间元素是 O(n)
  • 在有序列表里查找元素，可以使用二分查找，bisect 模块，时间O(log n)

字典、反向索引

在N篇文档中查找包含 X 单词的所有文档 [doc for doc in docs if 'X' in doc]
当N非常大的时候这样的效率是很低的

首次可以生成 单词 : [包含该单词的 doc 的 id]，以后每次查询的时间复杂度是 O(1)

集合

底层也是哈希

堆

插入和删除元素的时间复杂度都是 O(log n)

heapq

>>> import heapq
>>> c = [10,1,3,2,5]
>>> heapq.heapify(c)
>>> c
[1, 2, 3, 10, 5]
>>> heapq.heappop(c)  # 弹出最小的值 时间复杂度O(1)
1
>>> heapq.heappush(c, 9)
>>> c
[2, 5, 3, 10, 9]

PriorityQueue 优先队列，它是线程、进程安全的

>>> from queue import PriorityQueue
>>> q = PriorityQueue()
>>> for x in [2, 5, 10, 9, 1]:
...     q.put(x)
>>> q
<queue.PriorityQueue object at 0x0000017DD91EED08>
>>> while not q.empty():
...     q.get()  # 取出最小值
...
1
2
5
9
10

如果是元组等，将按第一个元素排序，一样的话，按第二个，以此类推

>>> q.put([1,2])
>>> q.put([1,3])
>>> q.put([1,-1])
>>> q.get()
[1, -1]
>>> q.get()
[1, 2]
>>> q.get()
[1, 3]

字典树

标准库没有实现，有第三方包实现
字典树可以快速查找前缀字符串，课用于文字补全

pip install patricia-trie

另外还有 C语言编写优化过的字典树库 datrie， marisa-trie

https://pypi.org/project/datrie/
https://pypi.org/project/marisa-trie/0.7.1/

from random import choice
from patricia import trie
from string import ascii_lowercase
import cProfiledef random_string(length):return ''.join(choice(ascii_lowercase) for i in range(length))def gen_strings():strings = [random_string(32) for _ in range(100000)]return stringsstrings = gen_strings()
strings_dict = {s: 0 for s in strings}
strings_trie = trie(**strings_dict)def func1():matches = [s for s in strings if s.startswith('abc')]print(matches)def func2():matches = list(strings_trie.iter('abc'))print(matches)if __name__ == "__main__":cProfile.run('func1()', sort='tottime')cProfile.run('func2()', sort='tottime')

D:\ProgramData\Anaconda3\envs\cv\python.exe D:/gitcode/Python_learning/Python-High-Performance-Second-Edition-master/Chapter02/trie.py 
['abcimostjvrhrhuswjhshhsnoyawtuaq', 'abcymrvuyenkyuppjuwnstzpaxarjpjo', 'abcbltxrvuktanyoiezntijmaryojbvg', 'abckxrzwjmdjaekmiqquezgwjabdhohe', 'abcecoluitahquyqxoidjiwaupatgszd', 'abcppzcrqjxgzuoiuskethybnlgbougt', 'abcbaznirxvyhnvabmbhwmsefdtultpj']100006 function calls in 0.036 secondsOrdered by: internal timencalls  tottime  percall  cumtime  percall filename:lineno(function)100000    0.019    0.000    0.019    0.000 {method 'startswith' of 'str' objects}1    0.017    0.017    0.036    0.036 trie.py:18(<listcomp>)1    0.000    0.000    0.036    0.036 {built-in method builtins.exec}1    0.000    0.000    0.000    0.000 {built-in method builtins.print}1    0.000    0.000    0.036    0.036 trie.py:17(func1)1    0.000    0.000    0.036    0.036 <string>:1(<module>)1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}['abcimostjvrhrhuswjhshhsnoyawtuaq', 'abcymrvuyenkyuppjuwnstzpaxarjpjo', 'abcbltxrvuktanyoiezntijmaryojbvg', 'abcbaznirxvyhnvabmbhwmsefdtultpj', 'abckxrzwjmdjaekmiqquezgwjabdhohe', 'abcecoluitahquyqxoidjiwaupatgszd', 'abcppzcrqjxgzuoiuskethybnlgbougt']83 function calls (66 primitive calls) in 0.000 secondsOrdered by: internal timencalls  tottime  percall  cumtime  percall filename:lineno(function)1    0.000    0.000    0.000    0.000 {built-in method builtins.exec}25/8    0.000    0.000    0.000    0.000 patricia.py:57(_items)1    0.000    0.000    0.000    0.000 {built-in method builtins.print}3    0.000    0.000    0.000    0.000 patricia.py:161(_next)1    0.000    0.000    0.000    0.000 trie.py:21(func2)1    0.000    0.000    0.000    0.000 patricia.py:354(iter)8    0.000    0.000    0.000    0.000 patricia.py:51(_keys)7    0.000    0.000    0.000    0.000 {method 'join' of 'str' objects}9    0.000    0.000    0.000    0.000 {method 'values' of 'dict' objects}8    0.000    0.000    0.000    0.000 {method 'pop' of 'list' objects}1    0.000    0.000    0.000    0.000 patricia.py:366(_accumulate)8    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}1    0.000    0.000    0.000    0.000 <string>:1(<module>)3    0.000    0.000    0.000    0.000 {method 'startswith' of 'str' objects}5    0.000    0.000    0.000    0.000 {built-in method builtins.len}1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

可以看出 trie 快了至少好几十倍

2. 缓存

lru_cache

例如：计算斐波那契数列，动态规划
python 有 functools.lru_cache装饰器，可指定大小 maxsize

>>> from functools import lru_cache
>>> @lru_cache()
... def sum2(a, b):
...     print('calculate')
...     return a+b
...
>>> sum2(1,2)
calculate
3
>>> sum2(1,2)  # 没有进行计算，直接输出结果了
3
>>> sum2(1,3)
calculate
4

缓存性能查看

>>> sum2.cache_info()
CacheInfo(hits=1, misses=2, maxsize=128, currsize=2)

>>> sum2.cache_clear()
>>> sum2.cache_info()
CacheInfo(hits=0, misses=0, maxsize=128, currsize=0)

from functools import lru_cache
import cProfile
@lru_cache(maxsize=None)
def fibonacci_mem(n):if n < 1:  return 1else:  return fibonacci_mem(n - 1) + fibonacci_mem(n - 2)def fibonacci(n):if n < 1:  return 1else:  return fibonacci(n - 1) + fibonacci(n - 2)if __name__ == '__main__':cProfile.run('fibonacci(30)', sort='tottime')print(fibonacci_mem)cProfile.run('fibonacci_mem(30)', sort='tottime')

输出：

D:\ProgramData\Anaconda3\envs\cv\python.exe D:/gitcode/Python_learning/Python-High-Performance-Second-Edition-master/Chapter02/cache.py 4356620 function calls (4 primitive calls) in 1.695 secondsOrdered by: internal timencalls  tottime  percall  cumtime  percall filename:lineno(function)
4356617/1    1.695    0.000    1.695    1.695 cache.py:8(fibonacci)1    0.000    0.000    1.695    1.695 {built-in method builtins.exec}1    0.000    0.000    1.695    1.695 <string>:1(<module>)1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}<functools._lru_cache_wrapper object at 0x000001882C23E550>35 function calls (4 primitive calls) in 0.000 secondsOrdered by: internal timencalls  tottime  percall  cumtime  percall filename:lineno(function)1    0.000    0.000    0.000    0.000 {built-in method builtins.exec}32/1    0.000    0.000    0.000    0.000 cache.py:3(fibonacci_mem)1    0.000    0.000    0.000    0.000 <string>:1(<module>)1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

joblib

提供了基于磁盘的简单缓存

pip install joblib

import os
from joblib import Memory
mem = Memory(cachedir=os.path.join(os.path.dirname(__file__), 'cache_dir'))@mem.cache
def fibonacci(n):if n < 1:  return 1else:  return fibonacci(n - 1) + fibonacci(n - 2)if __name__ == '__main__':fibonacci(32)

在这里插入图片描述

3. 推导和生成器

两者可以替代显式的 for 循环，效率比 for 循环要高

对生成器对象进行迭代时，每次只返回一个计算结果，可以节省内存使用

jupyter 中

%load_ext memory_profiler
import osnumbers = range(1000000)def map_comprehension(numbers):a = [n * 2 for n in numbers]b = [n ** 2 for n in a]c = [n ** 0.33 for n in b]return max(c)%memit map_comprehension(numbers) 

peak memory: 236.46 MiB, increment: 112.98 MiB

def map_normal(numbers):a = map(lambda n: n * 2, numbers)b = map(lambda n: n ** 2, a)c = map(lambda n: n ** 0.33, b)return max(c)%memit map_normal(numbers)

peak memory: 123.73 MiB, increment: 0.00 MiB

可以看出 生成器版本更节省内存

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/470849.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

解决在vue init webpack my-project卡住的问题（已解决）

解决在vue init webpack my-project卡住的问题（已解决）

执行vue init webpack test命令&#xff1a; 然后cd test&#xff0c;然后cnpm install 或者 npm install --registryhttps://registry.npm.taobao.org 然后执行 npm run dev命令&#xff1a;
阅读更多...
error_reporting

error_reporting

定义和用法&#xff1a;error_reporting() 设置 PHP 的报错级别并返回当前级别。 语法&#xff1a;error_reporting(report_level) 如果参数 level 未指定&#xff0c;当前报错级别将被返回。 任意数目的以上选项都可以用“或”来连接&#xff08;用 OR 或 |&#xff09;&#…
阅读更多...
十一、案例：TabBar的封装

十一、案例：TabBar的封装

0、案例效果演示&#xff1a; 一、TabBar实现思路 如果在下方有一个单独的TabBar组件&#xff0c;你如何封装 自定义TabBar组件&#xff0c;在APP中使用 让TabBar出于底部&#xff0c;并且设置相关的样式 TabBar中显示的内容由外界决定 定义插槽 flex布局平分TabBar 自定义Ta…
阅读更多...
POJ 3126 Prime Path

POJ 3126 Prime Path

水题&#xff1a;直接判断素数bfs 1 #include <iostream>2 #include <cstdio>3 #include <cstring>4 #include <sstream>5 #include <algorithm>6 #include <list>7 #include <map>8 #include <vector>9 #include <queue&g…
阅读更多...
Mysql timestamp字段自动更新 踩坑记录

Mysql timestamp字段自动更新 踩坑记录

start_time timestamp comment 开始时间, finish_time timestamp comment 结束时间,上面的创建 Mysql table 的语句&#xff0c;在更新表的其他字段的时候&#xff0c;我发现 start_time 字段自动变成了执行 sql 时的时间 经过探索发现&#xff0c;给字段加个默认值 NULL 可…
阅读更多...
TCP中间件_个人方案

TCP中间件_个人方案

按照功能分类&#xff0c;不管是直接的 insert/delete/update/select语句 还是 调用存储过程&#xff0c;基本的功能 就是 增删改查。又分为两大类: (1)、查询(会返回结果集的)&#xff0c;(2)、非查询(不会返回结果集的&#xff0c;只会返回生效的记录的条数)。 注意(1): 双方…
阅读更多...
十二、Promise的学习笔记(Promise的基本使用、链式编程、all())

十二、Promise的学习笔记(Promise的基本使用、链式编程、all())

一、认识Promise ES6中一个非常重要和好用的特性就是Promise 但是初次接触Promise会一脸懵逼&#xff0c;这TM是什么东西&#xff1f;看看官方或者一些文章对它的介绍和用法&#xff0c;也是一头雾水。 Promise到底是做什么的呢&#xff1f; Promise是异步编程的一种解决方…
阅读更多...
十三、Vuex学习笔记

十三、Vuex学习笔记

一、Vuex是做什么的? 官方解释&#xff1a;Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式。 它采用 集中式存储管理 应用的所有组件的状态&#xff0c;并以相应的规则保证状态以一种可预测的方式发生变化。Vuex 也集成到 Vue 的官方调试工具 devtools extension&#xf…
阅读更多...
SQL Server2008附加数据库失败

SQL Server2008附加数据库失败

今天旁晚时分&#xff0c;我准备把老师在上课时候发给我们的一个数据库附加到我的SQL Server2008上面去&#xff0c;本来在学校机房用的SQL Server2000是很顺利地就成功了&#xff0c;但是把*.mdf文件附加到我的08上就不行了&#xff0c;出现了下面的问题&#xff08;图是我 百…
阅读更多...
数据解析学习笔记(正则解析、bs4解析、xpath解析)

数据解析学习笔记(正则解析、bs4解析、xpath解析)

聚焦爬虫:爬取页面中指定的页面内容。 - 编码流程&#xff1a; - 指定url - 发起请求 - 获取响应数据 - 数据解析 - 持久化存储 数据解析分类&#xff1a; 正则bs4xpath&#xff08;***&#xff09; 数据解析原理概述&#xff1a; - 解析的局部的文本内容都会在标签之间或者标…
阅读更多...
Rasa NLU 实践

Rasa NLU 实践

文章目录1. 目录结构2. nlu.yml3. config.yml4. domain.yml5. 实践learn from https://github.com/Chinese-NLP-book/rasa_chinese_book_code 1. 目录结构 2. nlu.yml version: "3.0" nlu:- intent: greetexamples: |- 你好- hello- hi- 喂- 在么- intent: goodbye…
阅读更多...
字符串数组判断数字，字母汉字，

字符串数组判断数字，字母汉字，

c中判断字符串是否为数字的方法:cout << "请输入一个整数数组&#xff08;不超过1000个&#xff09;&#xff1a;" << endl;17 cin >> arr[0];18 while (getchar() ! \n)19 {20 cin >> arr[num];21 num;22 …
阅读更多...
python3爬虫验证码识别——超级鹰打码平台的使用实战：识别古诗文网登录页面中的验证码

python3爬虫验证码识别——超级鹰打码平台的使用实战：识别古诗文网登录页面中的验证码

一、验证码和爬虫之间的爱恨情仇&#xff1f; 反爬机制&#xff1a;验证码.识别验证码图片中的数据&#xff0c;用于模拟登陆操作。 二、识别验证码的操作&#xff1a; 人工肉眼识别。&#xff08;不推荐&#xff09;第三方自动识别&#xff08;推荐&#xff09; - 超级鹰打…
阅读更多...
Rasa Core实践 报时机器人

Rasa Core实践 报时机器人

文章目录1. 领域 domain2. 故事 story用户消息机器人动作与事件辅助符号3. 动作 action回复动作表单默认动作自定义动作4. 词槽 slot词槽和对话行为词槽类型词槽映射5. 策略 policy6. 端点 endpoints.yml7. rasa SDK、自定义动作自定义动作运行自定义动作8. rasa 支持的客户端9…
阅读更多...
python爬虫模拟登录人人网

python爬虫模拟登录人人网

模拟登录&#xff1a;爬取基于某些用户的用户信息。 需求1&#xff1a;对人人网进行模拟登录。 点击登录按钮之后会发起一个post请求post请求中会携带登录之前录入的相关的登录信息&#xff08;用户名&#xff0c;密码&#xff0c;验证码…&#xff09;验证码&#xff1a;每次…
阅读更多...
在centos7环境下建立MariaDB多实例

在centos7环境下建立MariaDB多实例

环境全部基于vmware player 12 os: centos7 mariadb: mariadb-10.1.12-linux-x86_64.tar.gz 主要根据MariaDB给出的帮助文档&#xff0c;以及网上的这篇帖子进行操作 中间碰到了无数问题&#xff0c;在google的帮助下都一一解决了 耗费好几个小时&#xff0c;我真是个鶸 su roo…
阅读更多...
python爬虫——代理IP

python爬虫——代理IP

代理&#xff1a;破解封IP这种反爬机制。 什么是代理&#xff1a; 代理服务器。 代理的作用&#xff1a; 突破自身IP访问的限制。隐藏自身真实IP 代理相关的网站&#xff1a; - 快代理 西祠代理www.goubanjia.comhttps://ip.jiangxianli.com/?page1 代理ip的类型&#…
阅读更多...
centos7 通过kvm+vnc 实现远程桌面虚拟化和创建windows、Linux虚拟机

centos7 通过kvm+vnc 实现远程桌面虚拟化和创建windows、Linux虚拟机

感谢朋友支持本博客。欢迎共同探讨交流&#xff0c;因为能力和时间有限。错误之处在所难免&#xff0c;欢迎指正&#xff01;假设转载。请保留作者信息。博客地址&#xff1a;http://blog.csdn.net/qq_21398167 原博文地址&#xff1a;http://blog.csdn.net/qq_21398167/articl…
阅读更多...
ES 安装、search、index、doc

ES 安装、search、index、doc

文章目录1. 安装2. search3. index4. doc CRUDop_type获取 doc 元字段只获取 doc 源数据删除 docupdate doc1. 安装 https://www.elastic.co/cn/ 下载 https://www.elastic.co/cn/downloads/past-releases/elasticsearch-8-5-3 https://www.elastic.co/cn/downloads/past-rele…
阅读更多...
UWP开发入门（十一）——Attached Property的简单应用

UWP开发入门（十一）——Attached Property的简单应用

UWP中的Attached Property即附加属性&#xff0c;在实际开发中是很常见的&#xff0c;比如Grid.Row: <Grid Background"{ThemeResource ApplicationPageBackgroundThemeBrush}"><Grid.RowDefinitions><RowDefinition></RowDefinition><Ro…
阅读更多...
最新文章

Copyright @ 2022~2023