Python Pycryptodome AES-GCM 加密代码性能改进

Question

我有大约19G的数据，我正在做tar然后加密。我使用以下代码来完成这项工作。

from subprocess import call
from Crypto.Cipher import AES
from Crypto.Random import get_random_bytes
import sys
cmd = ["tar","--acls","--selinux","-czPf","./out.tar.gz","./src"]
proc = call(cmd)
data = open("./out.tar.gz", "rb").read()
key = get_random_bytes(32)
cipher = AES.new(key, AES.MODE_GCM)
ciphertext, tag = cipher.encrypt_and_digest(data)
out = open("./out.bin", "wb")
[out.write(x) for x in (cipher.nonce, tag, ciphertext)]
out.close()

我使用的是具有 48 个 CPU 内核和 128G 内存以及 1800.3 GB 硬盘空间的 HP Gen10 硬件。只有一个内核几乎 100% 被利用，内存使用率约为 43%。整个过程需要一天多的时间。 我在寻找提高上述代码中性能的方法。

在SquareRootOfTwentyThree注释之后，我对代码进行了重大改进：

from subprocess import call
from Crypto.Cipher import AES
from Crypto.Random import get_random_bytes
import StringIO
key = get_random_bytes(32)
def readLargeFile(filename):
with open(filename, "rb") as f:
while True:
data = f.read(1024)
if not data:
break
yield data
cmd = ["tar","--acls","--selinux","-czPf","./out.tar.gz","./src"]
call(cmd)
cipher = AES.new(key, AES.MODE_GCM)
ciphertext = []
for data in readLargeFile("./out.tar.gz"):
ciphertext.append(cipher.encrypt(data))
out = open("./out.bin", "wb")
[out.write(x) for x in (cipher.nonce, cipher.digest(), b"".join(ciphertext))]
out.close()
file_in = open("./out.bin", "rb")
nonce, tag, ciphertext = [file_in.read(x) for x in (16, 16, -1)]
cipher = AES.new(key, AES.MODE_GCM, nonce)
#data = cipher.decrypt_and_verify(ciphertext, tag)
data = []
for buf in StringIO.StringIO(ciphertext).read(1024):
data.append(cipher.decrypt(buf))
cipher.verify(tag)
with open("./dst/out.tar.gz", "wb") as f:
f.write(b''.join(data))
cmd = ["tar","-xzPf","./dst/out.tar.gz","-C","./dst"]
proc = call(cmd)

加密成功，但解密的验证((导致值错误：MAC检查失败
注意：我正在使用PyCryptodome v3.6.6

不知何故，我成功地进行了解密，以下是我的最新代码：

#! /usr/bin/python
from subprocess import Popen,PIPE,call
from Crypto.Cipher import AES
from Crypto.Random import get_random_bytes
import StringIO,io,tarfile
import os,sys
import datetime
print "*** Encryption Starts *** " + str(datetime.datetime.now())
key = get_random_bytes(32)
def readLargeFile(filename):
with open(filename, "rb") as f:
while True:
data = f.read(1024)
if not data:
break
yield data
cmd = ["tar --acls --selinux -czPf /nfs/out.tar.gz ./encrypt_disk/src/*"]
call(cmd, shell=True)
cipher = AES.new(key, AES.MODE_GCM)
ciphertext = []
for data in readLargeFile("/nfs/out.tar.gz"):
ciphertext.append(cipher.encrypt(data))
out = open("/nfs/out.bin", "wb")
[out.write(x) for x in (cipher.nonce, cipher.digest(), b"".join(ciphertext))]
out.close()
print "*** Encryption Ends *** " + str(datetime.datetime.now())

print "*** Decryption Starts *** " + str(datetime.datetime.now())
file_in = open("/nfs/out.bin", "rb")
nonce, tag, ciphertext = [file_in.read(x) for x in (16, 16, -1)]
cipher = AES.new(key, AES.MODE_GCM, nonce)
tar = tarfile.open(fileobj=StringIO.StringIO(cipher.decrypt_and_verify(ciphertext, tag)), mode='r|*')
os.chdir("/nfs/dst")
tar.extractall(path='.')
print "*** Decryption Ends *** " + str(datetime.datetime.now())

Answer 1

GCM很难(尽管并非不可能(并行化。尽管如此，在我的3年x86笔记本电脑(带有AESNI和CLMUL加速指令(上，我确实获得了150 MB/s的PyCryptodome的GCM。19GB 只有 2 分钟，不是一天！我使用了以下玩具代码：

data = os.urandom(1024*1024)
cipher = AES.new(key, AES.MODE_GCM)
for _ in range(1024):
cipher.encrypt(data)
tag = cipher.digest()

该代码不能直接用于您的用例，但它表明您一次加密完整的 19GB 可能存在问题。也许，您应该将处理分解为块。

其他一些评论：

• 使用探查器确定程序花费最多时间的位置。它可能不是你认为它所在的地方(例如，tar步骤呢？
• 确保您使用的是最新版本的 PyCryptodome (3.6.6(，因为 CLMUL 加速是最近才添加的。
• GCM最多只能加密256GB - 你离19GB不远。