图集文件中没有提供如何缩放的信息。
Apache atlas在后端连接到cassandra或hbase,可以扩展,但我不知道Apache atlas引擎(rest web服务和请求处理器(如何扩展。
我可以在不同的机器上安装它的多个实例,并在它前面安装负载均衡器来扇出请求。但这种模式会有帮助吗?它是否执行任何类型的锁定和数据库事务,从而使该模型不起作用。
有人知道apache atlas是如何扩展的吗?
谢谢。
因此Apache Atlas将Kafka作为隐藏的消息队列运行,根据我的经验,他们设计Kafka队列的方式(消费者组说你应该只有一个消费者(是瓶颈。
不仅如此,当你查看代码时,消费者有一个1秒的代理轮询时间硬编码到消费者中。把这两者放在一起,这意味着如果消费者不能在那一秒内处理来自不同生产者(HIVE、Spark等(的消息,那么代理就会断开唯一消费者的连接,等待一个不存在的消费者接收消息。。。
我需要设计一些类似的东西,但这是我所能做到的。。。
希望这能有所帮助。。。
请参阅本页。http://atlas.apache.org/#/HighAvailability
Atlas不支持实际的横向扩展。所有请求都由"活动实例"处理。"被动实例"只是将所有请求转发到"主动实例"。