最佳实践：Python字典值的优化方法

Python 笔记

一、对于大数量的字典值的优化

当我们需要在Python程序中处理大量的字典key value（如从数据库中读取数十万到数百万条数据），为了优化程序性能，可以考虑用以下方法：

1、使用python内置的合并字典方法，用update()函数来替代循环来合并字典。


dict1 = {'a': 1, 'b': 2}
dict2 = {'c': 3, 'd': 4}
dict3 = {'e': 5, 'f': 6}

merged_dict = {}
for d in (dict1, dict2, dict3):
    merged_dict.update(d)
    
print(merged_dict)

2、使用Python 3.5引入的“优化字典”技术，可以使用编译选项您的Python 3.5以启用，在此之前，我们可以使用第三方python包“concurrent.futures”对多个CPU核进行处理。


from collections import defaultdict

count_dict = defaultdict(int)
for word in word_list:
    count_dict[word] += 1
    
import concurrent.futures

count_dict = defaultdict(int)
def increment_count_dict(word):
    count_dict[word] += 1
with concurrent.futures.ProcessPoolExecutor() as executor:
    executor.map(increment_count_dict, word_list)

二、对于小数量的字典值的优化

针对小数量的字典key value在优化时需要把握好程序的开销与效率的平衡，比如现有以下例子：


# 例 1，使用 in 实现
import time

my_dict = {'a': 1, 'b': 2, 'c': 3}
start_time = time.time()  
if 'a' in my_dict:
    print(my_dict['a'])  
end_time = time.time()  
print("使用in判断和取值所需要的时间：", end_time - start_time)

# 例 2，使用 get() 函数实现 O(1) 查询操作
start_time = time.time()  
print(my_dict.get('a', None))  # None 为默认值
end_time = time.time()  
print("使用get()的时间：", end_time - start_time)

对于这两个例子，我们需要使用time模块来计算程序执行所花费的时间，从运行结果发现，使用in的方法比使用get()函数的方法要快，因为调用函数的开销比较大，当字典里的数据一大，实际上还是get()函数更高效。

三、对于包含不同类型的字典值的优化

当我们的字典包含不同类型的数据时，我们需要用到Python内置的collections模块，主要有defaultdict()和OrderedDict()两类：

1、defaultdict()创建了一个类似于字典的对象，其中具有给定默认值的键的条目将被隐式创建。比如：


from collections import defaultdict

default_dict = defaultdict(list)
default_dict['0_0'].append('a')

print(default_dict)

运行结果如下：


defaultdict(, {'0_0': ['a']})

2、OrderedDict()可以记住键值的顺序。比如：


from collections import OrderedDict

ordered_dict = OrderedDict()
ordered_dict['a'] = 1
ordered_dict['c'] = 3
ordered_dict['b'] = 2

print(ordered_dict)
print(list(ordered_dict.keys()))

运行结果如下：


OrderedDict([('a', 1), ('c', 3), ('b', 2)])
['a', 'c', 'b']

四、结语

上面介绍了一些Python字典值的优化方法，但是优化的效率也会受到数据量、类型等因素影响，因此具体问题需具体分析，希望能够给需要优化字典数值的开发人员提供帮助。