我正在启动一个新的应用程序,并考虑使用ORM——特别是SQLAlchemy。
假设我的数据库中有一个列"foo",我想递增它
db = sqlite3.connect('mydata.sqlitedb')
cur = db.cursor()
cur.execute('update table stuff set foo = foo + 1')
我找到了SQLAlchemySQL构建器的等价物:
engine = sqlalchemy.create_engine('sqlite:///mydata.sqlitedb')
md = sqlalchemy.MetaData(engine)
table = sqlalchemy.Table('stuff', md, autoload=True)
upd = table.update(values={table.c.foo:table.c.foo+1})
engine.execute(upd)
这稍微慢一点,但里面没有太多
以下是我对SQLAlchemyORM方法的最佳猜测:
# snip definition of Stuff class made using declarative_base
# snip creation of session object
for c in session.query(Stuff):
c.foo = c.foo + 1
session.flush()
session.commit()
这是正确的做法,但所需时间是其他两种方法的不到50倍。我想这是因为它必须先将所有数据放入内存,然后才能使用它
有没有任何方法可以使用SQLAlchemy的ORM生成高效的SQL?或者使用任何其他python ORM?还是我应该回到手工编写SQL?
SQLAlchemy的ORM旨在与SQL层一起使用,而不是隐藏它。但在同一事务中使用ORM和普通SQL时,必须记住一两件事。基本上,从一个方面来说,ORM数据修改只会在您刷新会话中的更改时才会进入数据库。另一方面,SQL数据操作语句不会影响会话中的对象。
所以如果你说
for c in session.query(Stuff).all():
c.foo = c.foo+1
session.commit()
它将按照它所说的去做,从数据库中获取所有对象,修改所有对象,然后当需要刷新对数据库的更改时,逐个更新行。
相反,你应该这样做:
session.execute(update(stuff_table, values={stuff_table.c.foo: stuff_table.c.foo + 1}))
session.commit()
正如您所期望的那样,这将作为一个查询执行,并且因为至少默认会话配置在提交时会使会话中的所有数据过期,所以您不会出现任何过时的数据问题。
在即将发布的0.5系列中,您也可以使用此方法进行更新:
session.query(Stuff).update({Stuff.foo: Stuff.foo + 1})
session.commit()
这将基本上运行与前一个代码段相同的SQL语句,但也会选择更改的行并使会话中的任何过时数据过期。如果您知道在更新后没有使用任何会话数据,也可以将synchronize_session=False
添加到更新语句中,并取消该选择。
session.query(Clients).filter(Clients.id == client_id_list).update({'status': status})
session.commit()
试试这个=)
有几种方法可以使用sqlalchemy 进行更新
1) for c in session.query(Stuff).all():
c.foo += 1
session.commit()
2) session.query(Stuff).update({"foo": Stuff.foo + 1})
session.commit()
3) conn = engine.connect()
table = Stuff.__table__
stmt = table.update().values({'foo': Stuff.foo + 'a'})
conn.execute(stmt)
conn.commit()
以下是一个如何在不必手动映射字段的情况下解决相同问题的示例:
from sqlalchemy import Column, ForeignKey, Integer, String, Date, DateTime, text, create_engine
from sqlalchemy.exc import IntegrityError
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
from sqlalchemy.orm.attributes import InstrumentedAttribute
engine = create_engine('postgres://postgres@localhost:5432/database')
session = sessionmaker()
session.configure(bind=engine)
Base = declarative_base()
class Media(Base):
__tablename__ = 'media'
id = Column(Integer, primary_key=True)
title = Column(String, nullable=False)
slug = Column(String, nullable=False)
type = Column(String, nullable=False)
def update(self):
s = session()
mapped_values = {}
for item in Media.__dict__.iteritems():
field_name = item[0]
field_type = item[1]
is_column = isinstance(field_type, InstrumentedAttribute)
if is_column:
mapped_values[field_name] = getattr(self, field_name)
s.query(Media).filter(Media.id == self.id).update(mapped_values)
s.commit()
因此,要更新Media实例,您可以执行以下操作:
media = Media(id=123, title="Titular Line", slug="titular-line", type="movie")
media.update()
如果是因为创建对象的开销,那么SA可能根本无法加快速度。
如果是因为它正在加载相关的对象,那么您可能可以使用延迟加载来做一些事情。是否由于引用而创建了大量对象?(即,获取一个Company对象也会获取所有相关的People对象)。
通过测试,我会尝试:
for c in session.query(Stuff).all():
c.foo = c.foo+1
session.commit()
(IIRC,commit()在没有flush()的情况下工作)。
我发现,有时做一个大型查询,然后在python中迭代,可能比很多查询快2个数量级。我认为,对查询对象进行迭代的效率不如对查询对象的all()方法生成的列表进行迭代。
[请注意下面的评论-这根本没有加快速度]。