ML模型在BigQuery上由于最大会话时间限制而终止

Question

我正在尝试创建一个BQ ML模型，该模型由于我正在执行的项目的最大会话时间限制为30分钟而提前终止。

是否有一些方法可以在块/节中创建此模型，以便它不会因时间限制而中止?通过减少选择的列数(460列)或行数(~ 100万)或调整OPTIONS部分中的任何参数?

这些是我在创建模型时选择的选项:

model_type = 'BOOSTED_TREE_CLASSIFIER',
data_split_method = 'SEQ',
data_split_eval_fraction = 0.2,
data_split_col = 'DATE_COL',
booster_type = 'GBTREE',
max_iterations = 50, 
early_stop = false,
subsample = 0.8,
MIN_TREE_CHILD_WEIGHT = 1000,
COLSAMPLE_BYTREE = 0.3,
MAX_TREE_DEPTH = 6,
SUBSAMPLE = 0.7,
input_label_cols = ['COLx']

Answer 1

你可以减少选择的列/行数，增加最大迭代，减少子样本，增加最小树子权重，使用不同的数据分割方法，如random而不是seq

Answer 2

在此之前，您是否尝试从输入数据中排除某些列?这可以在SQL中通过使用except()命令来完成，或者您可以简单地只包含您关心的特性。

SELECT * EXCEPT

WITH orders AS
(SELECT 5 as order_id,
"sprocket" as item_name,
200 as quantity)
SELECT * EXCEPT (order_id)
FROM orders;
/*-----------+----------*
| item_name | quantity |
+-----------+----------+
| sprocket  | 200      |
*-----------+----------*/

尝试调低max_tree_depth或使用提前停止也可能有所帮助。