Google Flex App Engine 未写入 Cloud SQL 数据库

Question

编辑：已解决，见底部

我正在从事一个项目，该项目从Meraki扫描API接收数据并将该JSON数据写入Cloud SQL数据库。代码最初可以很好地写入本地MySQL数据库，但是我已经尝试了大约800种不同的配置和调整，但似乎没有任何效果。我在 Flex App Engine 和 Cloud SQL 之间建立了连接，数据库和表在那里，但没有运行 write/INSERT 语句。这是一个使用 SQLAlchemy 的 Flask 应用程序(不是Flask_SQLAlchemy(

Meraki 扫描 API 文档供参考： https://documentation.meraki.com/MR/Monitoring_and_Reporting/Scanning_API

from api import app
from sqlalchemy import create_engine
from datetime import datetime, timedelta

engine = create_engine(app.config.get('database_uri'))
class Events(object)
@staticmethod
def add(event):
connection = engine.connect()
for observation in event["observations"]:
try:
connection.execute("""INSERT INTO events (
apMac,
apTags,
apFloors,
clientMac,
ipv4,
ipv6,
seenTime,
seenEpoch,
ssid,
rssi,
manufacturer,
os,
lat,
lng,
unc,
x,
y
) VALUES (
%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s
)""", (
event.get("apMac", None),
",".join(event.get("apTags", [])),
",".join(event.get("apFloors", [])),
observation.get("clientMac", None),
observation.get("ipv4").strip("/") if observation.get("ipv4") is not None else None,
observation.get("ipv6", None),
observation.get("seenTime", None),
observation.get("seenEpoch", None),
observation.get("ssid", None),
observation.get("rssi", None),
observation.get("manufacturer", None),
observation.get("os", None),
observation.get("location", {}).get("lat", None),
observation.get("location", {}).get("lng", None),
observation.get("location", {}).get("unc", None),
observation.get("location", {}).get("x", None) if observation.get("location", {}).get("x", None) != [] else None,
observation.get("location", {}).get("y", None) if observation.get("location", {}).get("y", None) != [] else None,
))
except:
pass
connection.close()
return "Added"

这是带有添加到它的函数的 Event 类。 这是另一个处理提供验证器的脚本，因此 Meraki 将开始将 JSON 数据发布到页面：

from flask import request
from api import app
from api.models import Events

@app.route('/', methods=['GET'])
def events_get():
return str(app.config.get("validator"))

@app.route('/', methods=['POST'])
def events_post():
data = request.json
if data["secret"] != app.config.get("secret"):
return
Events.add(data["data"])
return "."

数据库 URI 设置为(我也尝试过只使用 mysql 以及 mysql+pymysql(：

mysql+mysqldb://<user>:<pw>@/<database>?unix_socket=/cloudsql/<instance connection name>

我收到开机自检，但没有云SQL数据。任何帮助将不胜感激。谢谢。

解决方案：我不得不在Cloud SQL上恢复到MySQL 5.6。这与MySQL的标志相结合ALLOW_INVALID_DATES修复了这个问题，并将时间保留为日期时间。

Answer 1

尝试启用SQLAlchemy日志记录，如下所示：

import logging
logging.basicConfig()
logging.getLogger('sqlalchemy.engine').setLevel(logging.INFO)

现在，我看到的第二件事是你捕获了所有异常并且什么都不做。 一般来说，这被认为是一种不好的做法。 除此之外，它可能会为您提供为什么没有插入任何数据的线索。 删除try...except或添加异常日志记录以查看发生了什么 - 可能会在这里对您有所帮助。

最后，您可以尝试使用事务方法，但不确定。 SQLAlchemy 连接文档中的示例：

trans = connection.begin()
try:
r1 = connection.execute(table1.select())
connection.execute(table1.insert(), col1=7, col2='this is some data')
trans.commit()
except:
trans.rollback()
raise

更新：另外，不确定您的语法execute("INSERT .... VALUES (%s, %s, ...), (value1, value2))是否有效，但如果您说它适用于本地服务器，那么您可能可以忽略这一点。

我在官方文档中看到的是
engine.execute("insert into users values (?, ?)", 1, "john")， 即问号?而不是%s和展开的论点，而不是列表。

UPDATE2： 所以确保实际调用Events.add，print放在任何地方以查看值。 在您的情况下，可能是secret值不匹配。