如何使用气流在cassandra表中插入记录?



我已经在docker中安装了Cassandra和气流。

我想用气流在Cassandra表中插入数据。

就像气流有mysqlooperator在SQL表中安装数据一样,是否有任何操作符或方法可以将记录插入到Cassandra表中。

我只找到了这两个操作符:导入CassandraRecordSensor从airflow.providers.apache.cassandra.sensors.table导入cassandratablessensor

但是这些操作符只是用来检查表或记录在cassandra中的存在。

那么,如何使用气流任务插入或与Cassandra交互呢?

文档显示确实没有"写"字;操作实现:

https://airflow.apache.org/docs/apache-airflow-providers-apache-cassandra/stable/operators.html

但是Apache气流真的很容易扩展,如果你没有现成的操作符。

你需要扩展Cassandra Hook并实现自定义运算符(如果你这样做的话,可能会把它贡献给社区),如果你知道你的Python方法。这是最好的,因为你将能够使用cassandra库和已经存在的身份验证。

或者您可以使用BashOperator运行CQL命令(我相信这是cassandra使用的默认客户端)。例如,如果您有CSV文件,您可以在CQL中使用COPY命令导入它。

https://docs.datastax.com/en/cql-oss/3.x/cql/cql_reference/cqlshCopy.html

然后你必须在连接的身份验证信息之间做一些链接,并将其传递给BashOperator,或者提供你自己的方式如何与Cassandra进行身份验证。

相关内容

  • 没有找到相关文章

最新更新