一场由mysql官方引发的python血案[转]

作者: cayman 分类: 编程技术 发布时间: 2018-08-03 15:38

安装python mysql中间件
自从Oracle收购mysql之后,原引领mysql的创始人就离开了mysql,创立了新的mariadb,表示他不再看好mysql。

而今天让我遇到了一个问题,正好证明了这一点。最近在做的一个小玩意中,有很多经过python收集和处理过的数据,需要存入数据库,而经常使用mysql,把mysql作为数据库的载体自然是在正常不过了。

最新的python版本是3,而python官方团队也在有条不紊的由python2过渡到python3,因此整个项目都是基于python3的。python操作mysql数据库需要安装mysql-python的驱动。而官方提供了很多可选项,而通过对比之后,mysqlclient是完全支持python3的,并且基于C,速度很快,因此最佳选择方案就是它了。

按照官方文档安装 mysqlclient,PS,我的环境是Mac

# 安装mysql驱动,你的电脑很可能已经安装过了
brew install mysql-connector-c

# 安装mysqlclient
pip install mysqlclient

然后万恶的报错了,你懂的。我用了这么多年的mysql,今天是第一次遇到了这么雷人的错误。以往遇到mysql的问题,随手google,立马问题就能解决,但是今天不一样了。逛了2个小时的Stack Overflow,仍然没有结果。下面是报的错误。

Collecting mysqlclient
Using cached mysqlclient-1.3.10.tar.gz
Complete output from command python setup.py egg_info:
Traceback (most recent call last):
File ““, line 1, in
File “/private/var/folders/rv/a_a/T/pip-build-nyaa8t95/mysqlclient/setup.py”, line 17, in
metadata, options = get_config()
File “/private/var/folders/rv/a_a/T/pip-build-nyaa8t95/mysqlclient/setup_posix.py”, line 54, in get_config
libraries = [dequote(i[2:]) for i in libs if i.startswith(‘-l’)]
File “/private/var/folders/rv/a_a/T/pip-build-nyaa8t95/mysqlclient/setup_posix.py”, line 54, in libraries = [dequote(i[2:]) for i in libs if i.startswith(‘-l’)]
File “/private/var/folders/rv/a_a/T/pip-build-nyaa8t95/mysqlclient/setup_posix.py”, line 12, in dequote
if s[0] in “\”‘” and s[0] == s[-1]:
IndexError: string index out of range

左右检查python-install和pip的版本,都是最新的稳定版,没有任何问题。然后就在github遇到另一个哥们,遇到和我一模一样的问题,我们都是MAMP+Python3.6+mysql5.6。连报的错误都一样,唯一不同的是,他是virtualenv,
而我是pyenv,实际上这两者并没有区别。

这个问题,mysqlclient开发小组的核心成员,来自日本的大神INADA Naoki给出了临时性的解决办法。他说,这是由于mysql的bug引起的问题,自十一月份开始陆续有人遇到这个问题,这个问题也让他很烦躁,是啊,这是Oracle的问题,而大家却都来找mysqlclient提交bug,是你你能不气,这锅至少我也不愿意背。具体可以去翻github mysqlclient的issue。

出现这个问题的原因是mysql-connector-c中配置项有误。

具体针对mac来说,你需要顺藤摸瓜找到mysql_config的真身,即

/usr/local/Cellar/mysql-connector-c/6.1.11/bin/mysql_config

cd /usr/local/Cellar/mysql-connector-c/6.1.11/bin/mysql_config

# 修改前先备份
cp mysql_config mysql_config.backup

# 使用vi修改配置文件
sudo vi mysql_config

# 114 gg跳转到 114行


> # Create options
> libs=”-L$pkglibdir”
> libs=”$libs -l ”

替换为

> # Create options
> libs=”-L$pkglibdir”
> libs=”$libs -lmysqlclient -lssl -lcrypto”

然后保存即可。

# 然后重新运行mysqlclient安装命令,之后一切顺利,大功告成
pip install mysqlclient

注意,这是一种dirty fix,不优雅,我们不应该去修改源码,但是这是目前一种可行的办法,祈祷Oracle尽快修复这个问题吧。

使用python MySQLdb (由python/mysqlclient提供)
# 打开python交互模式
import MySQLdb
# 如果以上命令没有弹出任何错误则一切正常,如果报错,这说明你的安装有误。

# 连接数据库
db = MySQLdb.connect(“localhost”,”db_user”,”passwd”,”db_name”)

# 如果你是MAC,你很可能会报以下错误

> Traceback (most recent call last):
> File ““, line 1, in
> File “/Users/username/.pyenv/versions/3.5.2/lib/python3.5/site-packages/MySQLdb/__init__.py”, line 86, in Connect
return Connection(*args, **kwargs)
> File “/Users/username/.pyenv/versions/3.5.2/lib/python3.5/site-packages/MySQLdb/connections.py”, line 204, in __init__
super(Connection, self).__init__(*args, **kwargs2)
> _mysql_exceptions.OperationalError: (2002, “Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’ (2)”)

# 在bash下查看mysql_config的socks配置选项
mysql_config –socket

> /tmp/mysql.sock

这个错误看起来很熟悉,是因为MAMP环境下,mysql socks的位置在MAMP的安装目录下,并不在/tmp/mysql目录下,MYSQLdb对象无法使用connect方法连接到mysql的socks自然就报错了。

两个解决办法:

从/Applications/MAMP/tmp/mysql/mysql.sock新建一个符号链接到/tmp/目录下,这种方式不推荐,因为MAC会自动更新系统自带的mysql版本,而下一次更新的时候,mysql socks又会被替换,到时候还得改。
直接将mysql_config的socks地址配置选项改为/Applications/MAMP/tmp/mysql/mysql.sock

sudo vi /usr/local/Cellar/mysql-connector-c/6.1.11/bin/mysql_config

# 找到103行 socket=’/tmp/mysql.sock’
# 改为 socket=’/Applications/MAMP/tmp/mysql/mysql.sock’

改完重新启动mysql和python终端

# 打开python交互模式进行测试

import MySQLdb

db = MySQLdb.connect(“localhost”,”db_user”,”passwd”,”db_name”)

# 使用cursor()方法获取操作游标
cursor = db.cursor()

# 使用execute方法执行SQL语句
cursor.execute(“SELECT VERSION()”)

# 使用 fetchone() 方法获取一条数据
data = cursor.fetchone()
> 1

print(‘Database version : %s ‘ % data)

> Database version : 5.6.35

# 关闭数据库连接
db.close()

到此,MAMP + Python3 整个流程走通,剩下的就是参照API写SQL了。 :)

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

发表评论

电子邮件地址不会被公开。 必填项已用*标注