我在正在运行的postgREST API上遇到了无法放大字符串缓冲区消息。我想有些表太大而无法使用 API。
我正在使用 https://hub.docker.com/r/postgrest/postgrest 年的 docker postgrest/postgrest 容器,版本为 PostgREST 5.1.0。
一切都按预期工作,但如果表格太大,我会收到以下错误消息。
hint null
details "Cannot enlarge string buffer containing 1073741822 bytes by 1 more bytes."
code "54000"
message "out of memory"
我无法确定它何时工作或不工作的阈值。是否有可能扩大某个配置文件中的字符串缓冲区,或者这是硬编码的?
使用 API 的表大小是否有任何限制。到目前为止,我在文档中找不到任何信息。
=========== 更新
postgres 日志给了我以下 SQL 查询:
WITH pg_source AS (
SELECT "public"."n_osm_bawue_line".*
FROM "public"."n_osm_bawue_line"
)
SELECT null AS total_result_set,
pg_catalog.count(_postgrest_t) AS page_total,
array[]::text[] AS header,
coalesce(json_agg(_postgrest_t), '[]')::character varying AS body
FROM (
SELECT *
FROM pg_source
) _postgrest_t
我使用以下 postgres 版本:
"PostgreSQL 11.1 (Debian 11.1-1.pgdg90+1) on x86_64-pc-linux-gnu, compiled by gcc (Debian 6.3.0-18+deb9u1) 6.3.0 20170516, 64-bit"
除非你重新编译PostgreSQL不可能升级限制(定义在这里(。
我的建议是尝试减小有效负载的大小(您确定需要所有数据吗?(或在多个请求中获取所有有效负载。
使用 PostgREST,您可以进行垂直过滤(只需选择所需的列(或分页以减少您在一个请求中获得的行数。
错误消息来自PostgreSQL。PostgREST只是将消息包装在JSON中并发送HTTP响应。
作为查找问题的第一步,请查看触发错误的确切 HTTP 请求是什么。
然后,启用 PostgreSQL 日志记录并重复请求,检查日志,然后您将看到导致此错误的 SQL 查询是什么。通过 pgAdmin 或 psql 运行查询,以确保您得到有问题的查询。
用您的发现更新您的问题。SQL 查询将是继续所需的。
之后,您可以在问题中添加 postgresql 标签。
由于多种原因,导入的文件始终有可能损坏或格式不正确。
我只是碰巧在我的情况下发现我的文件有不正确的行尾(长话短说,这里没有必要(,这导致整个文件显示为一行,从而导致明显的结果。在您的案例中,您可能有类似的东西,需要查找+替换类型的解决方案。
为了给其他人带来什么好处,我用这个来解决它:
tr -d '\0'
bad_file.csv.固定