aws mwaa没有创建云监视日志流

Question

在Task中记录以下错误。同样的任务在开发环境中没有问题。这个问题始于2022年2月中旬之后的某个时间。现在注意到了。一切都没有改变。

Could not read remote logs from log_group: airflow-Prod_Airflow_V222-Task log_stream: import/Import-Project/2022-05-02T05_20_00+00_00/3.log

日志流本身缺失。我检查了https://docs.aws.amazon.com/mwaa/latest/userguide/t-cloudwatch-cloudtrail-logs.html t-task-logs

一切看起来都很好。任务显示成功完成

Answer 1

MWAA环境的执行角色可能不包含为任务日志创建日志流的权限策略。您需要修改执行角色的策略以允许创建日志流。请看下面的参考资料。

示例政策:

{
"Effect": "Allow",
"Action": [
"logs:CreateLogStream",
"logs:CreateLogGroup",
"logs:PutLogEvents",
"logs:GetLogEvents",
"logs:GetLogRecord",
"logs:GetLogGroupFields",
"logs:GetQueryResults"
],
"Resource": [
"arn:aws:logs:{your-region}:{your-account-id}:log-group:airflow-{your-environment-name}-*"
]
}

引用:

1. 我看到'无法从log_group: airflow-*{environmentName}- task log_stream:{DAG_ID}/{TASK_ID}/{time}/{*n}.log读取远程日志。在我的任务日志(AWS)
2. Amazon MWAA执行角色(AWS)

Answer 2

我修复了。任务日志的日志级别设置为警告。因此没有产生日志流。更改为INFO。一切都开始工作了