我正在尝试对我的AWS lambda函数进行测试,该函数对RDS MySQL (t2.medium)进行查询。 但是,如果我多次请求 API,虽然我可以使用正确的数据成功获取查询,但有时会导致"错误:连接 ETIMEDOUT"。
我的代码或设置有什么问题吗?
我阅读了一些设置一些参数的建议:
MySQL:
wait_timeout 1
max_connections 16000
interactive_timeout 6000
max_allowed_packet 1073741824
兰巴:
超时 60 秒将 Lambda 函数放在与您的 RDS 相同的 VPC 中
添加了 VPC 执行策略 AWSLambdaVPCAccessExecutionRole
将安全组分配给 Lambda 函数
在附加到 RDS 实例的安全性中,添加了入站规则 对于 MySQL
确认 Lambda 函数有权访问同一 VPC RDS 数据库
lambda 错误日志
2019-03-28T18:51:47.353Z ab4fbbaf-1ea2-458b-a5b5-781cdfdd80df { 错误: 连接定时输出
在Connection._handleConnectTimeout
(/var/task/node_modules/mysql/lib/Connection.js:411:13)
at Object.onceWrapper (events.js:313:30)
at emitNone (events.js:106:13)
at Socket.emit (events.js:208:7)
在Socket._onTimeout (净.js:420:8)
超时时(计时器.js:482:11)
at tryOnTimeout (timers.js:317:5)
at Timer.listOnTimeout (timers.js:277:5)
在Protocol._enqueue (/var/task/node_modules/mysql/lib/protocol/Protocol.js:144:48)
在协议握手 (/var/task/node_modules/mysql/lib/protocol/Protocol.js:51:23)
在连接连接 (/var/task/node_modules/mysql/lib/Connection.js:118:18)
在Connection._implyConnect (/var/task/node_modules/mysql/lib/Connection.js:453:10)
at Connection.query (/var/task/node_modules/mysql/lib/Connection.js:198:8)
at Promise (/var/task/db.js:62:9)
在新承诺 ()
at Object.retrieve (/var/task/db.js:55:10)
at exports.getAlerts (/var/task/index.js:59:24)
errorno: 'ETIMEDOUT',
代码:"ETIMEDOUT",
系统调用:"连接",
致命:真 }
RDS 错误日志
2019-03-28T18:18:49.378320Z 9500 [注意] 中止的连接 9500 到 db: "db"用户:"用户"主机:"123.123.123.123"(读取超时 通信数据包)
2019-03-28T18:18:49.392514Z 9498 [注意] 中止的连接 9498 到 db: "db"用户:"用户"主机:"123.123.123.123"(读取超时 通信数据包)
2019-03-28T18:18:49.470617Z 9499 [注意] 中止的连接 9499 到 db: "db"用户:"用户"主机:"123.123.123.123"(读取超时 通信数据包)
2019-03-28T18:18:49.636775Z 9501 [注意] 中止的连接 9501 到 db: "db"用户:"用户"主机:"123.123.123.123"(读取超时 通信数据包)
2019-03-28T18:18:49.694669Z 9502 [注意] 中止与数据库的连接 9502: "db"用户:"用户"主机:"123.123.123.123"(读取超时 通信数据包)
2019-03-28T18:18:49.803457Z 9503 [注意] 中止的连接 9503 到 db: "db"用户:"用户"主机:"123.123.123.123"(读取超时 通信数据包)
2019-03-28T18:18:49.824250Z 9504 [注意] 中止的连接 9504 到 db: "db"用户:"用户"主机:"123.123.123.123"(读取超时 通信数据包)
我的数据库.js 对 lambda 的查询
const mysql = require('mysql')
let retrieve = (sql, objectArr, entityName) => {
return new Promise((resolve, reject) => {
let con = mysql.createConnection(dbParams)
con.query(sql, objectArr, (err2, results) => {
con.end()
if (err2) {
console.log(err2)
return reject(new apiError.DatabaseError('An error occurred in retrieve'))
}
console.log('Data retrieve successfully')
return resolve(results)
})
})
}
我的测试.js脚本
const request = require('request')
let errorCount = 0
let success = 0
for (let i = 0; i < 4000; i++) {
console.log('Send')
request.get('https://myapi/users', {
headers: {
'client_id': 'app',
'Content-Type': 'application/json'
}
}, (error, response, body) => {
if (error) {
console.log('some error')
errorCount++
} else {
let jsonBody = JSON.parse(body)
if (jsonBody.code === 0) {
success++
} else {
errorCount++
}
}
console.log('Success: ', success)
console.log('Error: ', errorCount)
})
}
编辑: 我还尝试在测试脚本中更改 i <1,然后它总是给我"错误:连接 ETIMEDOUT。但是有了我<900,它有时会成功工作
索引.js
const db = require('./db.js')
exports.getUsers = async (event, context) => {
context.callbackWaitsForEmptyEventLoop = false
try {
let sql = 'SELECT * FROM User'
let abc = await db.retrieve(sql, [], 'user')
let response = {
statusCode: 200,
abc: abc,
code: 0
}
return response
} catch (err) {
console.log(err)
errorHandler(err)
}
}
db.js with pool
const mysql = require('mysql')
const constants = require('./constants.js')
let dbParams = {
host: constants.SQL_CONNECTION_HOST,
user: constants.SQL_CONNECTION_USER,
password: constants.SQL_CONNECTION_PASSWORD,
database: constants.SQL_CONNECTION_DATABASE,
multipleStatements: true,
maxConnections: 4
}
const pool = mysql.createPool(dbParams)
let retrieve = (sql, objectArr, entityName) => {
return new Promise((resolve, reject) => {
pool.getConnection((err1, con) => {
if (err1) {
console.log(err1)
return reject(new apiError.DatabaseError('An error occurred in retrieve pool'))
}
console.log('Pool connect successfully')
con.query(sql, objectArr, (err2, results) => {
con.end()
if (err2) {
console.log(err2)
return reject(new apiError.DatabaseError('An error occurred in retrieve'))
}
console.log('Data retrieve successfully')
return resolve(results)
})
})
})
}
使用池后的错误日志
2019-03-28T23:35:24.144Z 91b0fc78-e4d1-4fd9-bdf7-923715b165c0 { 错误: 握手不活动超时
握手。 (/var/task/node_modules/mysql/lib/protocol/Protocol.js:163:17)
at emitNone (events.js:106:13)
at Handshake.emit (events.js:208:7)
在Handshake._onTimeout (/var/task/node_modules/mysql/lib/protocol/sequences/Sequence.js:124:8)
在Timer._onTimeout (/var/task/node_modules/mysql/lib/protocol/Timer.js:32:23)
超时时(计时器.js:482:11)
at tryOnTimeout (timers.js:317:5)
at Timer.listOnTimeout (timers.js:277:5)
在Protocol._enqueue (/var/task/node_modules/mysql/lib/protocol/Protocol.js:144:48)
在协议握手 (/var/task/node_modules/mysql/lib/protocol/Protocol.js:51:23)
at PoolConnection.connect (/var/task/node_modules/mysql/lib/Connection.js:118:18)
at Pool.getConnection (/var/task/node_modules/mysql/lib/Pool.js:48:16)
at Promise (/var/task/db.js:72:10)
在新承诺 ()
at Object.retrieve (/var/task/db.js:67:10)
at exports.getAlerts (/var/task/index.js:59:24)
代码:"PROTOCOL_SEQUENCE_TIMEOUT",
致命:真,
超时:10000 }
立即使用池设置并使用请求循环进行测试:
我<100 个结果 => 成功:866 和错误:134 个请求。
我<10 个结果 => 成功:8 和错误:2 个请求。
握手不活动超时时出错
db.js with con.createConnection out
const mysql = require('mysql')
// initialize dbParams
let con = mysql.createConnection(dbParams)
let retrieve = (sql, objectArr, entityName) => {
return new Promise((resolve, reject) => {
con.query(sql, objectArr, (err2, results) => {
//con.end() commet out connection end here
if (err2) {
console.log(err2)
return reject(new apiError.DatabaseError('An error occurred in retrieve'))
}
console.log('Data retrieve successfully')
return resolve(results)
})
})
}
问题中没有解释如何在 lambda 函数中调用retrieve
函数。
尽管如此,它似乎会在测试中的每次迭代中执行,这会创建大量连接,并可能解释您看到的行为。
我建议在lambda初始化时(也称为"coldstart")创建连接,方法是将代码行let con = mysql.createConnection(dbParams)
移动到任何函数之外(以便只发生单个连接)。
另一个不错的选择是使用连接池。