OrcHome OrcHome
OrcHome个人中心.

宁静致远

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 宁静致远 Kafka Producer配置 中:
哈哈,恭喜。
2月前
宁静致远 回复 半兽人 Kafka Producer配置 中:
就在刚刚,终于知道是怎么回事了,哈哈哈哈哈哈哈,好开心。正确的配置确实是kafkaParameters.put("fetch.message.max.bytes","52428800"),因为刚开始我可能给设置成5242880000,超过了int的大小(估计这个值应该是int,不应该是Long),int的取值范围是(-2147483648~2147483648);而后来又给设置成52428800L(Long)了,所以也是转化的过程中报错了,所以最后配置成52428800就成功了。哈哈哈  谢谢大神的引导~~~~
2月前
半兽人 回复 宁静致远 Kafka Producer配置 中:
java写的用这个呀。
Properties props = new Properties();

2月前
宁静致远 回复 無名 Kafka Producer配置 中:
是scala写的  提供的有scala API,也有java API,我使用java写的~
2月前
無名 回复 宁静致远 Kafka Producer配置 中:
spark streaming是scala写的吧,理论上用的也是java的客户端。
2月前
宁静致远 回复 半兽人 Kafka Producer配置 中:
是啊,好尴尬。Exception in thread "main" java.lang.NumberFormatException: For input string: "52428800L"加完之后报这个错了,它的意思应该是这个配置参数是数字类型的而我输入了String类型的,但是kafkaParameters又不能是Map<String,Long>类型或者Map<String,Object>类型的~
2月前
半兽人 回复 宁静致远 Kafka Producer配置 中:
这个真的好尴尬,属于bug,你在字符串带个L试试。。。
2月前
宁静致远 回复 半兽人 Kafka Producer配置 中:
spark streaming和kafka集成的配置都在kafkaParameters里写的,但是kafkaParameters又必须是Map<String,String>类型的,
而这个参数的配置又不能写成这样kafkaParameters.put("fetch.message.max.bytes","52428800");,"52428800"这个字符串java对不能自动转化为Long,所以。。。
2月前
半兽人 回复 宁静致远 Kafka Producer配置 中:
生效不了的, 这个consumer.properties只适用命令指定配置而已,用于测试。
spark streaming你所用的客户端有对应设置的。
2月前
宁静致远 回复 半兽人 Kafka Producer配置 中:
大神 再问一个问题哈 配置了consumer.properties之后怎么在spark streaming端生效呢~
2月前
宁静致远 收藏了 kafka 主题!
2月前
宁静致远 赞了 kafka命令大全
2月前
宁静致远 回复 半兽人 Kafka Producer配置 中:
可以了 赞赞赞~
2月前
半兽人 回复 宁静致远 Kafka Producer配置 中:
懂了,我以为你说的是客户端代码。
执行的时候带上 --producer.config config/producer.properties

可参考:http://orchome.com/454
2月前
宁静致远 关注了 半兽人
2月前
宁静致远 回复 半兽人 Kafka Producer配置 中:
重启了  但是貌似只有server.properties生效了 producer.properties和consumer.properties都没有生效哇~
2月前
半兽人 回复 宁静致远 Kafka Producer配置 中:
配置在客户端代码里,重新运行就生效了。
2月前
宁静致远 Kafka Producer配置 发表评论:
请问kafka的producer.properties的配置怎么才能生效呢
2月前

半兽人 回复 宁静致远 Kafka Producer配置 评论:
哈哈,恭喜。
2月前
宁静致远 回复 半兽人 Kafka Producer配置 评论:
就在刚刚,终于知道是怎么回事了,哈哈哈哈哈哈哈,好开心。正确的配置确实是kafkaParameters.put("fetch.message.max.bytes","52428800"),因为刚开始我可能给设置成5242880000,超过了int的大小(估计这个值应该是int,不应该是Long),int的取值范围是(-2147483648~2147483648);而后来又给设置成52428800L(Long)了,所以也是转化的过程中报错了,所以最后配置成52428800就成功了。哈哈哈  谢谢大神的引导~~~~
2月前
半兽人 回复 宁静致远 Kafka Producer配置 评论:
java写的用这个呀。
Properties props = new Properties();

2月前
宁静致远 回复 無名 Kafka Producer配置 评论:
是scala写的  提供的有scala API,也有java API,我使用java写的~
2月前
無名 回复 宁静致远 Kafka Producer配置 评论:
spark streaming是scala写的吧,理论上用的也是java的客户端。
2月前
宁静致远 回复 半兽人 Kafka Producer配置 评论:
是啊,好尴尬。Exception in thread "main" java.lang.NumberFormatException: For input string: "52428800L"加完之后报这个错了,它的意思应该是这个配置参数是数字类型的而我输入了String类型的,但是kafkaParameters又不能是Map<String,Long>类型或者Map<String,Object>类型的~
2月前
半兽人 回复 宁静致远 Kafka Producer配置 评论:
这个真的好尴尬,属于bug,你在字符串带个L试试。。。
2月前
宁静致远 回复 半兽人 Kafka Producer配置 评论:
spark streaming和kafka集成的配置都在kafkaParameters里写的,但是kafkaParameters又必须是Map<String,String>类型的,
而这个参数的配置又不能写成这样kafkaParameters.put("fetch.message.max.bytes","52428800");,"52428800"这个字符串java对不能自动转化为Long,所以。。。
2月前
半兽人 回复 宁静致远 Kafka Producer配置 评论:
生效不了的, 这个consumer.properties只适用命令指定配置而已,用于测试。
spark streaming你所用的客户端有对应设置的。
2月前
宁静致远 回复 半兽人 Kafka Producer配置 评论:
大神 再问一个问题哈 配置了consumer.properties之后怎么在spark streaming端生效呢~
2月前
宁静致远 回复 半兽人 Kafka Producer配置 评论:
可以了 赞赞赞~
2月前
半兽人 回复 宁静致远 Kafka Producer配置 评论:
懂了,我以为你说的是客户端代码。
执行的时候带上 --producer.config config/producer.properties

可参考:http://orchome.com/454
2月前
宁静致远 回复 半兽人 Kafka Producer配置 评论:
重启了  但是貌似只有server.properties生效了 producer.properties和consumer.properties都没有生效哇~
2月前
半兽人 回复 宁静致远 Kafka Producer配置 评论:
配置在客户端代码里,重新运行就生效了。
2月前
宁静致远 Kafka Producer配置 发表评论:
请问kafka的producer.properties的配置怎么才能生效呢
2月前


宁静致远 收藏了 kafka 主题!
2月前

宁静致远 关注了 半兽人
2月前