无法在 Mac 上导入 pyodbc



我无法在Macbook Pro(运行Mac OS X 10.10.5)和python版本2.7.10上导入pyodbc。 我用pip来获取它,并且我有最新版本(3.0.10)。 它给了我以下错误:

$ python
Python 2.7.10 (default, Jul 14 2015, 19:46:27) 
[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pyodbc
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: dlopen(/Library/Python/2.7/site-packages/pyodbc.so, 2): Symbol not found: _SQLAllocHandle
  Referenced from: /Library/Python/2.7/site-packages/pyodbc.so
  Expected in: flat namespace
 in /Library/Python/2.7/site-packages/pyodbc.so

在过去的几个月里,我尝试了几件事都无济于事,包括自己构建它(以及在此过程中(重新)安装iodbcunixodbc)。

奇怪的事情之一是,由于各种类似的原因,我尝试使用的其他python数据库包(例如sqlalchemy,pypyodbc等)都没有工作。 这导致我怀疑我的 ODBC 驱动程序或库存在一些潜在问题,但我不知道如何诊断它。

我正在一个共享代码环境中工作,团队的其他成员正在通过 Windows 使用pyodbc,我现在真的需要它来工作。 任何帮助或建议将不胜感激!


**在回复毛罗的回答时添加了更多细节。 请注意,下面的第二次更新会发生变化。**

以下是我应该包含在原始问题中的更多细节。

首先,这是 mauro 在我的机器上询问的命令的结果。

$ odbc_config --version
2.3.2
$ odbc_config --libs
-L/usr/local/Cellar/unixodbc/2.3.2_1/lib -lodbc
$ odbc_config --odbcini
/usr/local/Cellar/unixodbc/2.3.2_1/etc/odbc.ini
$ odbc_config --odbcinstini
/usr/local/Cellar/unixodbc/2.3.2_1/etc/odbcinst.ini

我对"地窖"部分持怀疑态度,所以我查看了毛罗回答中的路径,它们似乎都指向地窖(自制软件?

$ ls -al /usr/local/etc/*odbc*
lrwxr-xr-x  1 *****  admin  39 17 Aug 16:57 /usr/local/etc/odbc.ini@ -> ../Cellar/unixodbc/2.3.2_1/etc/odbc.ini
lrwxr-xr-x  1 *****  admin  43 17 Aug 16:57 /usr/local/etc/odbcinst.ini@ -> ../Cellar/unixodbc/2.3.2_1/etc/odbcinst.ini
$ ls -al /usr/local/etc/odbc*
lrwxr-xr-x  1 *****  admin  39 17 Aug 16:57 /usr/local/etc/odbc.ini@ -> ../Cellar/unixodbc/2.3.2_1/etc/odbc.ini
lrwxr-xr-x  1 *****  admin  43 17 Aug 16:57 /usr/local/etc/odbcinst.ini@ -> ../Cellar/unixodbc/2.3.2_1/etc/odbcinst.ini
1395:Stephens-BlueDot-MacBook-Pro:~/BlueDot/Code/Data Processing Tools} ls -al /usr/local/etc/*odbc*
lrwxr-xr-x  1 *****  admin  39 17 Aug 16:57 /usr/local/etc/odbc.ini@ -> ../Cellar/unixodbc/2.3.2_1/etc/odbc.ini
lrwxr-xr-x  1 *****  admin  43 17 Aug 16:57 /usr/local/etc/odbcinst.ini@ -> ../Cellar/unixodbc/2.3.2_1/etc/odbcinst.ini
1396:Stephens-BlueDot-MacBook-Pro:~/BlueDot/Code/Data Processing Tools} ls -al /usr/local/lib/*odbc*
lrwxr-xr-x  1 *****  admin  46 17 Aug 16:57 /usr/local/lib/libodbc.2.dylib@ -> ../Cellar/unixodbc/2.3.2_1/lib/libodbc.2.dylib
lrwxr-xr-x  1 *****  admin  44 17 Aug 16:57 /usr/local/lib/libodbc.dylib@ -> ../Cellar/unixodbc/2.3.2_1/lib/libodbc.dylib
lrwxr-xr-x  1 *****  admin  48 17 Aug 16:57 /usr/local/lib/libodbccr.2.dylib@ -> ../Cellar/unixodbc/2.3.2_1/lib/libodbccr.2.dylib
lrwxr-xr-x  1 *****  admin  46 17 Aug 16:57 /usr/local/lib/libodbccr.dylib@ -> ../Cellar/unixodbc/2.3.2_1/lib/libodbccr.dylib
lrwxr-xr-x  1 *****  admin  50 17 Aug 16:57 /usr/local/lib/libodbcinst.2.dylib@ -> ../Cellar/unixodbc/2.3.2_1/lib/libodbcinst.2.dylib
lrwxr-xr-x  1 *****  admin  48 17 Aug 16:57 /usr/local/lib/libodbcinst.dylib@ -> ../Cellar/unixodbc/2.3.2_1/lib/libodbcinst.dylib
lrwxr-xr-x  1 *****  admin  45 17 Aug 16:59 /usr/local/lib/libtdsodbc.0.so@ -> ../Cellar/freetds/0.95.18/lib/libtdsodbc.0.so
lrwxr-xr-x  1 *****  admin  42 17 Aug 16:59 /usr/local/lib/libtdsodbc.a@ -> ../Cellar/freetds/0.95.18/lib/libtdsodbc.a
lrwxr-xr-x  1 *****  admin  43 17 Aug 16:59 /usr/local/lib/libtdsodbc.so@ -> ../Cellar/freetds/0.95.18/lib/libtdsodbc.so
/usr/local/lib/tdbcodbc1.0.0:
total 144
drwxr-xr-x   5 root  wheel    170 29 Mar  2013 ./
drwxrwxr-x  44 root  admin   1496 17 Aug 16:59 ../
-rwxr-xr-x   1 root  wheel  49796 29 Mar  2013 libtdbcodbc1.0.0.dylib*
-r--r--r--   1 root  wheel    245 29 Mar  2013 pkgIndex.tcl
-r--r--r--   1 root  wheel  15624 29 Mar  2013 tdbcodbc.tcl

我可以通过tsql连接到DNS(细节匿名):

$ tsql -S servername.myserver.com -U me -P mypw -D testdb
locale is "en_CA.UTF-8"
locale charset is "UTF-8"
using default charset "UTF-8"
Setting testdb as default database in login packet
1> 

但是osqlisql都给出了问题:

$ isql -v MyDSN me mypw
[S1000][unixODBC][FreeTDS][SQL Server]Unable to connect to data source
[01000][unixODBC][FreeTDS][SQL Server]Unknown host machine name.
[ISQL]ERROR: Could not SQLConnect

这个提供了最多的信息。 它至少在我的~/.odbc.ini文件中找到了DSN条目。

$ osql -S MyDSN -U ***** -P ***** 
checking shared odbc libraries linked to isql for default directories...
/usr/local/bin/osql: line 53: ldd: command not found
error: /Applications/Xcode.app/Contents/Developer/Toolchains/XcodeDefault.xctoolchain/usr/bin/strings: can't open file:  (No such file or directory)
osql: problem: no potential directory strings in "/usr/local/bin/isql"
osql: advice: use "osql -I DIR" where DIR unixODBC's install prefix e.g. /usr/local
isql strings are:
checking odbc.ini files
    reading /Users/*****/.odbc.ini
[MyDSN] found in /Users/*****/.odbc.ini
found this section:
    [MyDSN]                                                                                                                
    Description         = testdb SQLServer DB
    Driver              = FreeTDS
    Trace               = Yes
    TraceFile           = /tmp/sql.log
    Database            = Places
    ServerName          = *****
    UserName            = *****
    Password            = *****
    Port                = 1433
    Protocol            = 7.2
    ReadOnly            = No
    RowVersioning       = No
    ShowSystemTables    = No
    ShowOidColumn       = No
    FakeOidIndex        = No
looking for driver for DSN [*****] in /Users/*****/.odbc.ini
  found driver line: "  Driver              = FreeTDS"
  driver "FreeTDS" found for [*****] in .odbc.ini
found driver named "FreeTDS"
"FreeTDS" is not an executable file
looking for entry named [FreeTDS] in /odbcinst.ini
grep: /odbcinst.ini: No such file or directory

我不确定如何解决isql报告的问题,但这似乎表明我在 odbc 中配置错误。 不幸的是,我很抱歉我不知道/不记得我做了什么来做到这一点——几周来我一直在认真尝试与此相关的各种事情。


毛罗评论后的第二次更新。

我取得了一些进展。 我重新安装了unixODBC和freeTDS(直接从 http://www.unixodbc.org/和 http://www.freetds.org/而不是使用自制软件),这样做之后,我的odbc_config命令的输出与mauro的输出相匹配。

在玩了一番我的路径之后,我能够让osqlisql成功连接到我的 SQL Server 实例。 (我发现这之前失败的一个原因是因为我组织中的 IT 部门在 LAN 上阻止了到端口 1433 的所有流量。 当我切换到Wifi时,就像我的Windows同事一样,它起作用了。 我认为这是巨大的进步!

但是,当我尝试再次从python中导入pyodbc时,我收到了与开始时完全相同的错误消息。 叹息。 因此,任何其他想法仍将不胜感激!

首先,感谢@mauro的有用和坚持的建议。

经过几个月的头撞墙,昨晚我终于能够让它工作了!

在这里,我概述了一些关键的事情(对我来说),希望这些可能对与我处于同样困境中的其他人有用。

BG. 不久前(一个多月),我阅读并尝试做这里建议的事情。 虽然我不太记得我当时尝试过的每一个,但这导致我开始tsql工作,而且我认为,我安装了 unixODBCfreeTDS 的自制版本。

从我问上面的问题开始,以下是我尝试的一些似乎产生了影响的事情。 (我不确定哪些事情是最重要的,所以我把所有的事情都包括在内。 上面描述了第 1 点和第 2 点,所以我不会详述它们。

我。我重新安装了unixODBC并从他们的项目网站上freeTDS

II. 我发现端口 1433 在我的 LAN 上被阻止了,所以我切换到了没有被阻止的 WiFi。

这两件事使我能够isqlosql工作。

III. 由于类似于动态链接错误的原因,pyodbc无法在 python 中导入。 我尝试直接使用 dl.open()ctype.cdll.LoadLibrary() 加载/usr/local/lib/libodbc.dylib。 在这两种情况下,我都收到一个错误,告诉我:

dl.error: dlopen(libodbc.dylib, 6): no suitable image found.  Did find:
    /usr/local/lib/libodbc.dylib: mach-o, but wrong architecture

经过一番挖掘,我重新编译了 32 位而不是 64 位的unixODBC,如下所示:

sudo ./configure CFLAGS="-m32 -arch i386 -O2" LDFLAGS="-m32 -arch i386" CXXFLAGS="-m32 -arch i386"
sudo make 
sudo make install

在这一点上,我能够使用 dl.open() 显式加载libodbc.dylib最终让 pyodbc 导入!!

IV. 不幸的是,如果没有通过dl.open()显式加载,导入仍然失败。 这导致我玩我的LD_LIBRARY_PATH(如此处建议),但似乎没有任何效果。 所以我仍然坚持使用dl.open()黑客。

此外,它仍然不起作用,当我尝试连接到数据源时,与freeTDS驱动程序相关失败。 这最终导致我进行了以下"工作"黑客攻击:

import sys
if (sys.platform == 'darwin'):
    import dl
    _lib1 = dl.open("libodbc.dylib")                      # Found in /usr/local/lib
    _lib2 = dl.open("/opt/local/lib/libtdsodbc.so")
import pyodbc

请注意,有必要使用全局变量_lib1_lib2才能使其工作(我认为是为了保持加载内容)。

在这一点上,事情似乎终于运行良好,我可以使用 pyodbc !!


一路上我还尝试了一些事情,但我不清楚它们是否有帮助。

  • 我还尝试在 32 位模式下编译freeTDS,类似于我为 unixODBC 所做的,但我不确定这是否有效。

  • 我从 github 存储库下载、构建和安装了pyodbc,而不是使用 pip 。 (它与pip供应的版本相同 - 3.0.10。

  • 根据这里的评论#10,我在pyodbc源下载(如下)中setup.py darwin的情况下添加了两行,然后重新运行了python.py setup.py build install

喜欢:

elif sys.platform == 'darwin':                                                                                        
    # The latest versions of OS X no longer ship with iodbc.  Assume
    # unixODBC for now.
    settings['libraries'].append('odbc')
    settings['include_dirs'] = ['/opt/local/include']              # Added this line
    settings['library_dirs'] = ['/opt/local/lib']                  # Added this line
    # Python functions take a lot of 'char *' that really should be const.  gcc complains about this *a lot*
    settings['extra_compile_args'].extend([
        '-Wno-write-strings',
        '-Wno-deprecated-declarations'
    ])
    # Apple has decided they won't maintain the iODBC system in OS/X and has added deprecation warnings in 10.8.
    # For now target 10.7 to eliminate the warnings.
    settings['define_macros'].append( ('MAC_OS_X_VERSION_10_7',) )
    settings['include_dirs'] = ['/opt/local/include']
    settings['library_dirs'] = ['/opt/local/lib']
  • 完成所有操作后,我进行了检查,并且我还能够在不使用dl.open()黑客的情况下导入和使用pypyodbc。 我不确定是否需要上述所有步骤才能发生这种情况。 我怀疑主要问题是库的 32 位与 64 位版本。

最后,虽然这与我无法获得导入pyodbc的原因无关,但我会添加一个注释,说明导致我损失了近一个小时的事情。 在某些时候,我试图遵循本网站的(非常有用的)说明。 但是,我后来发现作者展示的非 DSN 连接字符串不起作用。 相反,我不得不使用此处显示的 FreeTDS 连接属性来使事情正常工作。 例如:

"DRIVER=FreeTDS;Server=*****;Port=1433;TDS_Version=7.2;Database=*****;UID=*****;PWD=*****"

尽管现在大部分事情都对我有用,但我应该提到,对于我的某些查询游标,我现在有时也会遇到以下错误,但我认为这与上述任何一项都无关。 (相反,我怀疑连接上存在某种"超时"问题。

  ...
    for row in cursor:
  File "/Library/Python/2.7/site-packages/pypyodbc.py", line 1920, in next
    row = self.fetchone()
  File "/Library/Python/2.7/site-packages/pypyodbc.py", line 1914, in fetchone
    check_success(self, ret)
  File "/Library/Python/2.7/site-packages/pypyodbc.py", line 986, in check_success
    ctrl_err(SQL_HANDLE_STMT, ODBC_obj.stmt_h, ret, ODBC_obj.ansi)
  File "/Library/Python/2.7/site-packages/pypyodbc.py", line 966, in ctrl_err
    raise DatabaseError(state,err_text)
pypyodbc.DatabaseError: (u'08S01', u'[08S01] [FreeTDS][SQL Server]Bad token from the server: Datastream processing out of sync')
Exception pypyodbc.DatabaseError: DatabaseError(u'08S01', u'[08S01] [FreeTDS][SQL Server]Write to the server failed') in <bound method Connection.__del__ of <pypyodbc.Connection instance at 0x60d5a8>> ignored

总之,我认为至少有 3 个(如果不是 4 个)原因导致我不能在 python 中使用 pyodbc。 主要的两个与 32 位与 64 位编译有关 unixODBC 以及一些我仍然不太了解的库导入路径问题。

祝其他必须艰难完成这一切的人好运!

我同意...在我看来,首先要检查的是底层 ODBC 层。

您说您已经从Mac上的源代码安装了unixODBC(像我一样)。因此,请使用odbc_config检查主要的unixODBC参数(您应该将其放在/usr/local/bin下):

$ odbc_config --version
2.3.4
$ odbc_config --libs
-L/usr/local/lib -lodbc
$ odbc_config --odbcini
/usr/local/etc/odbc.ini
$ odbc_config --odbcinstini
/usr/local/etc/odbcinst.ini

然后 - 我猜 - 您已经为 ODBC 数据库创建了一个数据源。使用另一个 unixODBC 实用程序 ( isql ) 来检查您是否可以通过 ODBC 连接到您的数据库:

$ sql <your_DSN> <your_DB_user> <your_DB_password> -v
+---------------------------------------+
| Connected!                            |
|                                       |
| sql-statement                         |
| help [tablename]                      |
| quit                                  |
|                                       |
+---------------------------------------+
SQL> quit

如果一切正常,则 unixODBC 层正常。

更新

嗯......你收到这条消息:

...
checking odbc.ini files
reading /Users/*****/.odbc.ini
[MyDSN] found in /Users/*****/.odbc.ini
...

但 unixODBC 报告的 ODIC.ini 位置是不同的:

$ odbc_config --odbcini
/usr/local/Cellar/unixodbc/2.3.2_1/etc/odbc.ini

我还会检查 pyodbc 使用哪些库。这里有我的:

$ otool -L /Library/Python/2.7/site-packages/pyodbc.so
/Library/Python/2.7/site-packages/pyodbc.so:
    /usr/local/lib/libodbc.2.dylib (compatibility version 3.0.0, current version 3.0.0)
    /usr/lib/libc++.1.dylib (compatibility version 1.0.0, current version 120.0.0)
    /usr/lib/libSystem.B.dylib (compatibility version 1.0.0, current version 1213.0.0)

如您所见,我的pyodbc使用安装在/usr/local/lib下的libodbc。正是odic_config在我的案例中报告的位置。

第二次更新

进步好!因此,总结一下,当前状态是:

  1. isql DSN USER PASSWORD按预期工作
  2. import pyodbc返回_SQLAllocHandle找不到符号。这意味着它找不到正确的库
  3. otool -L ...pyodbc.so(与 2 中的路径相同。?)指向正确的库

如果是这种情况,我会重新安装pyodbc(我确实使用了pip)。我听说旧版本在找到正确的标题/库时遇到问题。现在isql工作了...pyodbc 也应该工作。

或者......

brew install unixodbc

最新更新