postgresql在AWS EC2上的部署



我是架构角色的新手。在AWS EC2实例中,需要从S3读取文件并加载到postgresql中。根据角色,我需要为此共享部署模型。谁能指导我需要提供什么细节?

这将需要几个组件:

假设python3,您需要获取数据库凭据连接,这将通过pyscopg2

在同一个脚本中,您需要使用AWS SDK连接到AWS S3桶,将文件读入变量,并简单地执行查询以便将文件更新/插入到DB中。

你可以参考这篇文章,它可能会提供一些见解AWS Serverless点击运行

您可以使用postgres COPY命令执行您的任务。命令的概述可以在这里找到

安装Postgre SQL on EC2,简单的文档可以在这里找到。

安装和配置AWS CLI in EC2(如果没有)

使用AWS S3 syncAWS S3 cp命令从S3下载文件到本地目录

使用psql COPY命令将文件复制到数据库

示例如下

aws s3 cp s3://mybucket/psql.csv /myfolder/psql.csv
psql -h localhost -U username -d dbname -c 'COPY table FROM ''psql.csv'' CSV HEADER'

最新更新