我正在将大量数据摄取到我的Accumulo数据库中。
我的平板电脑拆分阈值是 4G。
在我的程序工作期间,我看到平板电脑填满了,当它们中的任何一个大于 4G 时,就会创建一个新的平板电脑,但总是保持空白。
最终我看到创建了>200 个平板电脑(初始数量为 30(,但它们都是空的 - 使用以下命令验证:
hadoop fs -du -h /apps/accumulo/data/tables/3/
结果:
16.9 G /apps/accumulo/data/tables/3/default_tablet
16.4 G /apps/accumulo/data/tables/3/t-0000cr6
16.6 G /apps/accumulo/data/tables/3/t-0000cr7
16.3 G /apps/accumulo/data/tables/3/t-0000cr8
17.3 G /apps/accumulo/data/tables/3/t-0000cr9
17.2 G /apps/accumulo/data/tables/3/t-0000cra
18.4 G /apps/accumulo/data/tables/3/t-0000crb
16.9 G /apps/accumulo/data/tables/3/t-0000crc
16.5 G /apps/accumulo/data/tables/3/t-0000crd
17.4 G /apps/accumulo/data/tables/3/t-0000cre
16.4 G /apps/accumulo/data/tables/3/t-0000crf
16.5 G /apps/accumulo/data/tables/3/t-0000crg
16.3 G /apps/accumulo/data/tables/3/t-0000crh
17.6 G /apps/accumulo/data/tables/3/t-0000cri
16.9 G /apps/accumulo/data/tables/3/t-0000crj
16.8 G /apps/accumulo/data/tables/3/t-0000crk
17.1 G /apps/accumulo/data/tables/3/t-0000crl
17.4 G /apps/accumulo/data/tables/3/t-0000crm
17.2 G /apps/accumulo/data/tables/3/t-0000crn
17.1 G /apps/accumulo/data/tables/3/t-0000cro
17.4 G /apps/accumulo/data/tables/3/t-0000crp
19.8 G /apps/accumulo/data/tables/3/t-0000crq
17.0 G /apps/accumulo/data/tables/3/t-0000crr
16.6 G /apps/accumulo/data/tables/3/t-0000crs
16.7 G /apps/accumulo/data/tables/3/t-0000crt
16.7 G /apps/accumulo/data/tables/3/t-0000cru
17.7 G /apps/accumulo/data/tables/3/t-0000crv
16.7 G /apps/accumulo/data/tables/3/t-0000crw
16.7 G /apps/accumulo/data/tables/3/t-0000crx
16.2 G /apps/accumulo/data/tables/3/t-0000cry
0 /apps/accumulo/data/tables/3/t-000109c
0 /apps/accumulo/data/tables/3/t-000118l
0 /apps/accumulo/data/tables/3/t-00011bv
0 /apps/accumulo/data/tables/3/t-00011cs
0 /apps/accumulo/data/tables/3/t-00011nx
0 /apps/accumulo/data/tables/3/t-0001212
0 /apps/accumulo/data/tables/3/t-0001238
0 /apps/accumulo/data/tables/3/t-00012a3
0 /apps/accumulo/data/tables/3/t-00012gn
0 /apps/accumulo/data/tables/3/t-00012ku
0 /apps/accumulo/data/tables/3/t-00012nf
其余的药片也是空的。
这对我来说没有意义,我担心它会减慢摄入速度。这是一个已知问题吗?平板电脑服务器没有按预期拆分?
Accumulo Tablets可以引用HDFS中其目录之外的文件(在这方面与HBase相反(。如果您勇敢:),您可以查看 accumulo.metadata 表的内容来验证这一点
压缩表,然后重新检查 HDFS 的内容。压缩完成后,每个平板电脑将唯一地引用其自己目录中的文件。
另一种解释(尽管不太可能(是您的数据如此偏斜,以至于数据仅驻留在平板电脑"密钥空间"的上半部分或下半部分(因此只有拆分的一个子包含数据(。