将stream_results=True(execution_options)添加到kedro.extras.datas

Question

是否可以将execution_options添加到kedro.extras.datasets.pandas.SQLQueryDataSet？

例如，我想将stream_results=True添加到连接字符串中。

engine=创建引擎("postgresql://postgres:pass@localhost/example"；)conn=engine.connect((.execution_options(stream_results=True(

这是我的目录。yml

table_name:
type: pandas.SQLQueryDataSet
credentials: creds
sql: select * from table
load_args:
chunksize: 1000

关于如何使用panda添加/编辑execution_options的任何想法。SQLQueryDataSet？具体而言，stream_results=True。

Answer 1

您可能需要在现有SQLQueryDataSet:上创建一个薄层

class CustomSQLQueryDataSet(kedro.extras.datasets.SQLQueryDataSet):
def _load(self, *args, **kwargs):
self._load_args["con"] = create_engine(self._load_args["con"]).connect().execution_options(stream_results=True)
return super()._load(*args, **kwargs)

然后在目录中使用这个类。