python 连接hive的包是什么

Python (240) 2023-04-24 11:12:14

python连接hive的几种方式

·基于pyhive连接hive。

·基于impyla连接hive。

方法一:使用PyHive库

安装依赖包:其中sasl安装可能会报错,可以去https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl下载对应版本安装。

pipinstallsasl
pipinstallthrift
pipinstallthrift-sasl
pipinstallPyHive

相关推荐:《Python基础教程》

Python脚本代码操作:

frompyhiveimporthive#orimporthive
conn=hive.Connection(host='****',port=****,username='****',database='****')
cursor.execute(''SELECT*FROMmy_awesome_dataLIMIT10'')
foriinrange(****):
sql="INSERTINTO****VALUES({},'username{}')".format(value,str(username))
cursor.execute(sql)

#下面是官网代码:
frompyhiveimportpresto#orimporthive
cursor=presto.connect('localhost').cursor()
cursor.execute('SELECT*FROMmy_awesome_dataLIMIT10')
print(cursor.fetchone())
print(cursor.fetchall())

方法二:使用impyla库

impyla依赖包:

pipinstallsix
pipinstallbit-array
pipinstallthriftpy

为了支持Hive还需要以下两个包:

pipinstallsasl
pipinstallthrift-sasl

可在Python PyPI中下载impyla及其依赖包的源码

Python脚本代码:

fromimpala.dbapiimportconnect
conn=connect(host='****',port=****)
cursor=conn.cursor()
cursor.execute('SELECT*FROMmytableLIMIT100')
printcursor.description#打印结果集的schema
results=cursor.fetchall()
THE END

发表回复