Cassandra 和 24 小时 ttl 中频繁截断的问题会创建大型墓碑

Question

我们有下表，ttl 24 小时或 1 天。我们有 4 个cassandra 3.0 node cluster，此表将有一个spark处理。处理后，它将截断表中的所有数据，并插入新一批数据。这将是一个持续的过程。

我看到的问题是，我们越来越tombstones，因为数据在spark完成处理后每天都会被频繁截断。

如果我将gc_grace_seconds设置为默认值，则会有更多的tombstones。如果我将gc_grace_seconds减少到 1 天会成为问题吗？即使我每天都在那张桌子上修理，这也足够了。

我应该如何处理这个问题，我知道频繁删除是Cassandra中的反模式，还有其他方法可以解决这个问题吗？

TABLE b.stag (
    xxxid bigint PRIMARY KEY,
    xxxx smallint,
    xx smallint,
    xxr int,
    xxx text,
    xxx smallint,
    exxxxx smallint,
   xxxxxx tinyint,
    xxxx text,
    xxxx int,
    xxxx text,
 xxxxx text,
    xxxxx timestamp
) WITH bloom_filter_fp_chance = 0.01
    AND caching = {'keys': 'ALL', 'rows_per_partition': 'NONE'}
    AND comment = ''
    AND compaction = {'class': 'org.apache.cassandra.db.compaction.SizeTieredCom                                                                                        pactionStrategy', 'max_threshold': '32', 'min_threshold': '4'}
    AND compression = {'chunk_length_in_kb': '64', 'class': 'org.apache.cassandr                                                                                        a.io.compress.LZ4Compressor'}
    AND crc_check_chance = 1.0
    AND dclocal_read_repair_chance = 0.1
    AND default_time_to_live = 86400
    AND gc_grace_seconds = 864000
    AND max_index_interval = 2048
    AND memtable_flush_period_in_ms = 0
    AND min_index_interval = 128
    AND read_repair_chance = 0.0
    AND speculative_retry = '99PERCENTILE';

谢谢

Answer 1

表的截断不应调用逻辑删除。所以当你说"截断"时，我假设你的意思是删除。正如您已经提到的，您可以删除gc_grace_seconds值，但是这意味着您有一个较小的窗口来运行修复以协调任何数据，确保每个节点都有给定键的正确逻辑删除等，否则旧数据可能会重新出现。这是一种权衡。

但是，为了公平起见，如果您每次都清理表，为什么不使用TRUNCATE命令，这样您就可以在没有逻辑删除的情况下刷新表。