我是架构角色的新手。在AWS EC2实例中,需要从S3读取文件并加载到postgresql中。根据角色,我需要为此共享部署模型。谁能指导我需要提供什么细节?
这将需要几个组件:
假设python3,您需要获取数据库凭据连接,这将通过pyscopg2
在同一个脚本中,您需要使用AWS SDK连接到AWS S3桶,将文件读入变量,并简单地执行查询以便将文件更新/插入到DB中。
你可以参考这篇文章,它可能会提供一些见解AWS Serverless点击运行
您可以使用postgres COPY命令执行您的任务。命令的概述可以在这里找到
安装
Postgre SQL on EC2
,简单的文档可以在这里找到。安装和配置
AWS CLI in EC2
(如果没有)使用
AWS S3 sync
或AWS S3 cp
命令从S3下载文件到本地目录使用
psql COPY
命令将文件复制到数据库
示例如下
aws s3 cp s3://mybucket/psql.csv /myfolder/psql.csv
psql -h localhost -U username -d dbname -c 'COPY table FROM ''psql.csv'' CSV HEADER'