使用 Python 执行 bcp 以将查询从远程服务器导出到本地驱动器

Question

我有以下一组python语句。我正在使用使用Python的动态构建SQL语句。然后，生成的 SELECT 语句将用作 BCP 中的queryout语句。

我的问题是查询本身太大，BCP 无法操作它。我已经确认 BCP 使用以下方法工作：

BCP "Select * from <<DATABASE.dbo.TABLE>>" queryout "D:datatest.csv" -t^ -r '0x0A' 
    -U <<USER>> -P <<PASSWORD>> -S "LIVE" -c -C65001

但是，如果 select 语句返回大量数据，则该语句将失败。 我该如何应对？ 该表很大（超过 100m 条记录），我只想使用动态 SQL 将其从远程服务器导出到本地表。

Python 脚本：

def getRoster(self):
    self.conn = pyodbc.connect(self.ConnStr)
    sql = r'SELECT * FROM <<DB>>.dbo.TableConfiguration'
    self.roster = pd.read_sql(sql,self.conn)
def GenerateSQL(self, table):
    exportsql = 'select '
    columnsql = """select
                    'CASE WHEN ISNULL('+COLUMN_NAME+', '''') = '''' THEN '''' ELSE '+COLUMN_NAME+' END AS '+UPPER(COLUMN_NAME)
                    from <<DB>>.INFORMATION_SCHEMA.COLUMNS
                    where TABLE_NAME = '%s'
                    order by ORDINAL_POSITION""" % table.tablename
    self.conn = pyodbc.connect(self.ConnStr)
    cursor = self.conn.cursor()
    cursor.execute(columnsql)
    exportsql += ', '.join([field[0] for field in cursor])
    exportsql += ' from {}.dbo.{}'.format(table.dbname, table.tablename)
    exportsql += ' {}'.format(table.Clause)
    return (exportsql)
def ExportTables(self):
    now = datetime.now()
    self.getRoster()
    for row in self.roster.itertuples():
         SQL = self.GenerateSQL(row)
         self.filename = '{}_{}.csv'.format(row.tablename, now.strftime("%Y-%m-%d"))
         command = 'BCP "{}" queryout "{}" -t|| -U "<<USER>>" -P <<PASSWORD>> -S "LIVE" -T -r 0x0a -c -C65001'.format(SQL, os.path.join(self.path, self.filename))
         print (command)
         subprocess.run(command)

使用 SELECT 'test' 测试 BCP 时，它会恢复正常工作。 但是当 SQL 生成时，SQL 在 SMS 中工作，但在 bcp 中，错误是：

SQLState = 28000, NativeError = 18452
Error = [Microsoft][ODBC Driver 13 for SQL Server][SQL Server]Login failed. The login is from an untrusted domain and cannot be used with Windows authentic
ation.

Answer 1

从 BCP 命令行中删除 -T 参数并使用 SQL Server 身份验证。

bcp 实用程序 - T

当 bcp 实用工具连接到具有受信任关系的 SQL Server 时 使用集成安全性的连接，使用 -T 选项（受信任 连接），而不是用户名和密码组合。什么时候 bcp 实用工具正在连接到 SQL 数据库或 SQL 数据仓库， 使用 Windows 身份验证或 Azure Active Directory 身份验证 不受支持。使用 -u 和 -P 选项。