我正在尝试将数据从SQL服务器读取到熊猫数据框中。下面是代码。
def get_data(size):
con = pyodbc.connect(r'driver={SQL Server}; server=SPROD_RPT01; database=Reporting')
cur = con.cursor()
db_cmd = "select distinct top %s * from dbo.KrishAnalyticsAllCalls" %size
res = cur.execute(db_cmd)
sql_out = pd.read_sql_query(db_cmd, con, chunksize=10**6)
frames = [chunk for chunk in sql_out]
df_sql = pd.concat(frames)
return df_sql
df = get_data(5000000)
我收到以下错误:
pandas.io.sql.DatabaseError: 在 sql 'select distinct 上执行失败来自 DBO 的前 500000 *。KrishAnalyticsAllCalls': ('HY000', '[HY000][Microsoft][ODBC SQL Server 驱动程序]连接繁忙,结果为other hstmt (0( (SQLExecDirectW('(
我之前执行过该函数,并用ctrl+k
中断了执行,因为我想对函数进行更改。现在,在尝试执行函数时进行更改后,我收到上述错误。
我怎样才能杀死那个连接/IPython 内核,因为我不知道有任何 IPython 内核在函数中执行查询?
我遇到了同样的问题。当我使用fetchall()
函数时,此问题已修复。以下是我使用的代码。
import pypyodbc as pyodbc
def connect(self, query):
con = pyodbc.connect(self.CONNECTION_STRING)
cursor = con.cursor()
print('Connection to db successful')
cmd = (query)
results = cursor.execute(cmd).fetchall()
df = pd.read_sql(query, con)
return df, results
使用cursor.execute(cmd).fetchall()
而不是cursor.execute(cmd)
解决了它。希望这有帮助。
该问题是由于光标在 pd.read_sql_query(( 命令之前执行。Pandas正在使用连接和SQL字符串来获取数据。数据库游标不是必需的。
#res = cur.execute(db_cmd)
sql_out = pd.read_sql_query(db_cmd, con, chunksize=10**6)
print(sql_out)
很可能您尚未连接到 SQL 服务器。或者,您在以前的实例中为运行的其他 SQL 查询进行了连接。无论哪种方式,您都需要重新建立连接。
import pyodbc as pyodbc
conn = pyodbc.connect('Driver={YOUR_DRIVER};''Server=YOUR_SERVER;''Database=YOUR_DATABASE;''Trusted_Connection=yes')
然后执行您的 SQL:
sql = conn.cursor()
sql.execute("""ENTER YOUR SQL""")
然后变身为熊猫:
df = pd.DataFrame.from_records(sql.fetchall(),columns=[desc[0] for desc in sql.description])