我每15分钟运行一次AWS Glue ETL作业，每次在S3中生成1个镶木地板文件。
我需要创建另一个作业，以便在每小时结束时运行，使用AWS Glue ETL pyspark代码将S3中的所有4个镶木地板文件合并为1个镶木文件。
有人试过吗？建议和最佳实践？
提前感谢！
嗯。。一个简单的选择是将其转换为spark数据帧
1( 将镶木地板读取为动态帧(或者更好的是，将其读取为spark数据帧(2( sourcedf.toDF((.重新分区(1(
相关内容
- AWS Athena从表中返回零记录使用S3中的镶木地板从GLUE Crawler数据库创建
- AWS S3:删除多个S3子文件夹中的所有镶木地板文件
- 如何从AWS S3将镶木地板文件批量加载到Snowflake中
- 我应该在EMR上使用AWS Glue或Spark来处理镶木地板格式的二进制数据吗
- 无效的镶木地板文件：AWS Glue 目录表不适用于 Snappy 文件
- AWS Athena-合并小型镶木地板文件还是保留它们
- 在不更改底层镶木地板文件的情况下重命名AWS胶合表列名
- 在本地运行 Pyspark 以访问 S3 中的镶木地板文件错误："Unable to load AWS credentials from any provider in the chain"
- 如何减少使用AWS Glue将镶木地板文件写入s3所需的时间
- 在AWS S3中，使用AWS Glue ETL python spark(pyspark)将多个镶木地板文件合并为一个镶
- 是否可以在AWS S3上对镶木地板文件编写/运行BigQuery
- AWS Athena查询镶木地板文件-使用where子句中的列
- Spark 覆盖 aws s3 上的镶木地板文件会引发 URISyntaxException:绝对 URI 中的相对路径
- 如何使用 R 从 AWS S3 存储桶读取镶木地板文件，而无需在本地下载?
- 如何在 aws athena 中创建结构数组 - 镶木地板数据上的配置单元
- 使用 AWS Glue 将非常大的 csv.gz(每个 30-40 GB)转换为镶木地板
- 从 AWS S3 镶木地板文件中读取所选列
- python boto3 如何在镶木地板上配置 AWS s3select?
- AWS DMS SQL Server to S3 拼花地板 - 更改数据类型转换规则和"不支持镶木地板类型：INT32 (UINT_8)"
- AWS Athena:HIVE_BAD_DATA错误:镶木地板中的字段类型 DOUBLE 与表架构中定义的类型不兼容
最新更新
- discord.js v13交互按钮删除原始消息
- 在Flutter中默认禁用BlocBuilder中的TextButton
- 如果数据已经被获取，如何防止Redux工具包中的加载状态
- Javascript:在深度嵌套的数组和对象中查找匹配的属性值
- 将本地时间转换为用户首选时区，将用户首选时区转换为GMT
- 为什么 AWS Web 应用程序的前端和后端在这些关系图中直接连接？
- 是否有一个顺序Java正则表达式?
- 如何向右移动一个字符串n个字符
- 我应该从存储库返回任务<IEnumerable<T>>还是IAsyncEnumerable<T>？
- Python处理程序错误-没有足够的值来解包
- 使用 javascript 获取最接近和最高的 id
- 如何利用向量化技术提高MATLAB程序的效率
- 如何将PostgreSQL查询转换为LINQ或lambda表达式
- Python mysql-connector-python:如何使用mysql-connector-python从终端连
- 新的json数据不显示在android
- 如果不同时更改当前头像，则无法更新用户详细信息
- Kotlin HTTP GET 数据并插入到文本视图中
- 滑块在移动设备上不跟随手指
- 释放WKNavigationAction子类在iOS 15上崩溃
- gst_video_time_code_is_valid在向流添加时间码时断言失败
- 如何杀死Mac上每次重新启动的进程?
- CMake：如何防止'target_link_libraries'将Visual Studio项目引用添加到静态库中？
- 飞镖编码/解码类不起作用
- ADF - Dynamic Sheet
- 无法使用处理程序保存图像。 "Physical path, but a virtual path was expected."
- 在挂载/卸载组件之间重用WebGL上下文
- 可以从Azure Blob Storage下载文件
- Flutter:选中复选框时如何更改标题:TextStyle ?
- 为什么在反应中手动改变状态是一个反模式?
- 我们如何从"git 日志"中排除"由'git notes add'添加的注释"？
热门标签：
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium