为什么用“泡菜”倾倒比“json”快得多

Question

这是针对Python 3.6的。

编辑并删除了许多结果无关紧要的东西。

我原以为json比pickle快，关于Stack Overflow的其他答案和评论似乎还有很多人也相信这一点。

我的测试是犹太洁食吗？差距比我预期的要大得多。我在非常大的物体上得到相同的结果测试。

import json
import pickle
import timeit
file_name = 'foo'
num_tests = 100000
obj = {1: 1}
command = 'pickle.dumps(obj)'
setup = 'from __main__ import pickle, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("pickle: %f seconds" % result)
command = 'json.dumps(obj)'
setup = 'from __main__ import json, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("json:   %f seconds" % result)

和输出：

pickle: 0.054130 seconds
json:   0.467168 seconds

Answer 1

我已经根据您的代码片段尝试了几种方法，发现使用 cPickle 将转储方法的协议参数设置为： cPickle.dumps(obj, protocol=cPickle.HIGHEST_PROTOCOL)是最快的转储方法。

import msgpack
import json
import pickle
import timeit
import cPickle
import numpy as np
num_tests = 10
obj = np.random.normal(0.5, 1, [240, 320, 3])
command = 'pickle.dumps(obj)'
setup = 'from __main__ import pickle, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("pickle:  %f seconds" % result)
command = 'cPickle.dumps(obj)'
setup = 'from __main__ import cPickle, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("cPickle:   %f seconds" % result)

command = 'cPickle.dumps(obj, protocol=cPickle.HIGHEST_PROTOCOL)'
setup = 'from __main__ import cPickle, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("cPickle highest:   %f seconds" % result)
command = 'json.dumps(obj.tolist())'
setup = 'from __main__ import json, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("json:   %f seconds" % result)

command = 'msgpack.packb(obj.tolist())'
setup = 'from __main__ import msgpack, obj'
result = timeit.timeit(command, setup=setup, number=num_tests)
print("msgpack:   %f seconds" % result)

输出：

pickle         :   0.847938 seconds
cPickle        :   0.810384 seconds
cPickle highest:   0.004283 seconds
json           :   1.769215 seconds
msgpack        :   0.270886 seconds

Answer 2

JSON 以

人类可读的方式进行序列化。 Pickle 以二进制表示形式进行序列化。然而，泡菜往往很慢。有像cPickle这样的变体更快。如果你想要更好的序列化，请使用msgpack。

Answer 3

你运行了多少次基准测试？在任何情况下，您都需要删除由线程阻塞等引入的随机延迟。您可以通过运行足够高的基准测试次数来做到这一点。此外，您的输入太小，无法抑制"样板"代码的任何延迟。