对于kafka数据的查询是一个头疼的问题,偶然间在网上有看到对kakfa数据的查询有以下两个工具:ksql及presto两个工具,由于ksql在生产环境中不成熟,但是我在生产环境中试验过,无法查询kafka数据,在研究presto时,安装网上的教程安装部署presto总是出现一下错误,请教大神有遇到过吗?求赐教,希望与大家共同进步,又兴趣的可以研究一下。
presto版本为0.242,kafka版本为2.12-2.3.1 zookeeper版本为3.4.10,。我部署的是单节点,关于catallog下的kafka.propeties配置如下所示,按照官网配置的:
kafka.properties
config.properties
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8081
query.max-memory=1GB
#discovery-server.enabled=true
#discovery.uri=http://XXXXXX:8081
jvm.config
-server
-Xmx2G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
log.properties
com.facebook.presto=INFO
node.properties
node.environment=production
node.id=test01
node.data-dir=/ies_data/presto/data
启动bin/launcher run
报错如下所示:
com.facebook.presto.server.PrestoServer No factory for connector kafka
虽然没用过,但是看错应该没找到对应的依赖
jar
。网上检索了一下,有几个原因可以参考一下。hive.properties中 connector.name
写错了,应该为指定的版本,以便于presto使用对应的适配器,修改为:connector.name=hive-hadoop2
期待你的最终结果。
我是连接的kafka的,不是连接hive的,hive的写法我知道,我从官网下载的最新的presto。现在目前试单节点安装,在运行bin/laucher run就直接报错。
你的答案