OrcHome OrcHome
OrcHome个人中心.

小脑袋贼大

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


发表了 kafka消费者对应的分区的进度为
5天前
半兽人 回复 小脑袋贼大 kafka中文教程 中:
一个主题有多个parition,数据被平均存储在这些parititon中,一个parition只能被一个消费者消费,所以,分区=同时消费者数。消费者和这些分区建立长连接用于持续的拉取消息和心跳。

10天前
小脑袋贼大 kafka中文教程 发表评论:
您好:
 我有几个问题,我想问Kafka的消费者和生产者客户端在工作时,它们与服务端会产生多少个TCP的长连接?如:1个Consumer会与服务端产生多少个长连接?这些长连接都用作做什么?谢谢
16天前
发表了 Kafka客户端与服务端的TCP连接数
16天前
半兽人 回复 小脑袋贼大 Kafka Streams开发者指南 中:
消息在分区中是有序的,但是多个消费者在拿消息的时候,快慢就没办法保证了。
4月前
小脑袋贼大 回复 半兽人 Kafka Streams开发者指南 中:
1个分区就不可以多个streams并发了,并发就不能保证有序性了么?
4月前
半兽人 回复 小脑袋贼大 Kafka Streams开发者指南 中:
不行的,除非1个分区,1个work。
4月前
小脑袋贼大 Kafka Streams开发者指南 发表评论:
您好:
请问kafka streams 在多进程的情况写可以保证消息的有序性么?多进程的streams源都是同一个Topic
4月前
半兽人 回复 小脑袋贼大 kafka生产者客户端(0.10.1.1API) 中:
可以考虑限流。
5月前
半兽人 回复 小脑袋贼大 kafka生产者客户端(0.10.1.1API) 中:
是的,kafka是预读取,就是提前把将要用到的数据加载到缓存中,老的数据是要重新加载到缓存的。
5月前
小脑袋贼大 kafka生产者客户端(0.10.1.1API) 发表评论:

您好:
我在对kafka的生产者和消费者做压力测试,生产者拼命的发数据到kafka,消费者拼命地消费数据,但消费者是从头开始消费数据,也就是说消费者走的磁盘IO,没有使用缓存数据,这时由于消费者在疯狂读磁盘,导致磁盘的资源都被他用掉,磁盘IO队列用满,生产者无法向磁盘写数据,几十秒后生产者抛出大量超时异常。

即使消费者不会占据磁盘的全部IO,只要消费者消费了kafka较老的数据使用了磁盘IO,就会影响到生产者的性能。

请问有什么办法解决以上的问题么?
5月前
发表了 消费者消费磁盘内的数据占据磁盘过多资源导致生产者性能降低,甚至造成生产者发送数据超时异常
5月前
無名 回复 小脑袋贼大 Kafka Topic配置 中:
你指定的日志存储目录。
5月前
小脑袋贼大 Kafka Topic配置 发表评论:
你好,我的Kafka环境只有一个Broker,但是配了2块硬盘,我创建了一个Topic,请问这个Topic会创建在哪个硬盘上?或者说我怎么才能指定Topic创建在某个硬盘上,谢谢。
5月前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
再开一个consumer性能的确会提升,这个和我的问题关系不大,
我的问题是consumer在kafka本机消费和consumer在远端消费的性能是不是有差异?
目前我测出的结果是:consumer在kafka本机消费性能要更高一些,我想知道这是为啥
7月前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
170是本机的,171测试的时候,你可以尝试在开个分区,并增加一个consumer来测试一下(为了在新增一条长连接通道)。

7月前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
十分感谢上一个问题的答复,还想问您一个kafka问题
我用两台设备组成kafka集群,ip分别为170、171,两台服务器用万兆光纤连接在万兆交换机上,我创建了一个topic只有1个分区,这个分区在170上,我在170服务器上开了一个consumer,测试出性能带宽500MB/S,在171上开了一个consumer测出带宽只有300MB/S,这种现象是为什么?排除掉网络因素,您还有别的思路么?
谢谢
7月前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
嗯,知道你的问题,之前说了额,是消费者主动拉取消息的,就是消息完了在去kafka中拿。
你这种情况,多开几个消费者吧,这是为了多分几个分区,其他的参数只能调大一次拿消息的数量。
否则,你只能手动分配分区了,那样更复杂了。
7月前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
您好,感谢你积极的答复,是这样的,消费者C1在一台性能很高的服务器上,消费者C2在普通的机器上,
我想让C1获得更多的分区,让性能高的服务器多干活。
请问,除了在服务器上多开几个消费者外,还有别的办法么?
7月前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 中:
假的,如果你业务处理的快,自然而然C1就会获取更多的消息。
消费者是主动拉取消息的。
7月前
小脑袋贼大 kafka消费者客户端(0.10.0.1API) 发表评论:
您好:
        我这有一个问题,一个topic有多个partitions,消费者组里有两个性能不一样的消费者C1和C2,两个消费者都以subscribe方式订阅了这个topic,
我想让性能更高的C1消费者获得更多的partition数量,而不是C1、C2均分partitions数量。
在老版本的消费者有一个num.consumer.fetchers配置项,fetch线程数多的消费者可以分到更多的partitions
新版本的消费者没有了num.consumer.fetchers配置项,请问新版本消费者还可以让性能更高的C1获得更多的分区数么?
7月前

半兽人 回复 小脑袋贼大 kafka中文教程 评论:
一个主题有多个parition,数据被平均存储在这些parititon中,一个parition只能被一个消费者消费,所以,分区=同时消费者数。消费者和这些分区建立长连接用于持续的拉取消息和心跳。

10天前
小脑袋贼大 kafka中文教程 发表评论:
您好:
 我有几个问题,我想问Kafka的消费者和生产者客户端在工作时,它们与服务端会产生多少个TCP的长连接?如:1个Consumer会与服务端产生多少个长连接?这些长连接都用作做什么?谢谢
16天前
半兽人 回复 小脑袋贼大 Kafka Streams开发者指南 评论:
消息在分区中是有序的,但是多个消费者在拿消息的时候,快慢就没办法保证了。
4月前
小脑袋贼大 回复 半兽人 Kafka Streams开发者指南 评论:
1个分区就不可以多个streams并发了,并发就不能保证有序性了么?
4月前
半兽人 回复 小脑袋贼大 Kafka Streams开发者指南 评论:
不行的,除非1个分区,1个work。
4月前
小脑袋贼大 Kafka Streams开发者指南 发表评论:
您好:
请问kafka streams 在多进程的情况写可以保证消息的有序性么?多进程的streams源都是同一个Topic
4月前
半兽人 回复 小脑袋贼大 kafka生产者客户端(0.10.1.1API) 评论:
可以考虑限流。
5月前
半兽人 回复 小脑袋贼大 kafka生产者客户端(0.10.1.1API) 评论:
是的,kafka是预读取,就是提前把将要用到的数据加载到缓存中,老的数据是要重新加载到缓存的。
5月前
小脑袋贼大 kafka生产者客户端(0.10.1.1API) 发表评论:

您好:
我在对kafka的生产者和消费者做压力测试,生产者拼命的发数据到kafka,消费者拼命地消费数据,但消费者是从头开始消费数据,也就是说消费者走的磁盘IO,没有使用缓存数据,这时由于消费者在疯狂读磁盘,导致磁盘的资源都被他用掉,磁盘IO队列用满,生产者无法向磁盘写数据,几十秒后生产者抛出大量超时异常。

即使消费者不会占据磁盘的全部IO,只要消费者消费了kafka较老的数据使用了磁盘IO,就会影响到生产者的性能。

请问有什么办法解决以上的问题么?
5月前
無名 回复 小脑袋贼大 Kafka Topic配置 评论:
你指定的日志存储目录。
5月前
小脑袋贼大 Kafka Topic配置 发表评论:
你好,我的Kafka环境只有一个Broker,但是配了2块硬盘,我创建了一个Topic,请问这个Topic会创建在哪个硬盘上?或者说我怎么才能指定Topic创建在某个硬盘上,谢谢。
5月前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
再开一个consumer性能的确会提升,这个和我的问题关系不大,
我的问题是consumer在kafka本机消费和consumer在远端消费的性能是不是有差异?
目前我测出的结果是:consumer在kafka本机消费性能要更高一些,我想知道这是为啥
7月前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
170是本机的,171测试的时候,你可以尝试在开个分区,并增加一个consumer来测试一下(为了在新增一条长连接通道)。

7月前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
十分感谢上一个问题的答复,还想问您一个kafka问题
我用两台设备组成kafka集群,ip分别为170、171,两台服务器用万兆光纤连接在万兆交换机上,我创建了一个topic只有1个分区,这个分区在170上,我在170服务器上开了一个consumer,测试出性能带宽500MB/S,在171上开了一个consumer测出带宽只有300MB/S,这种现象是为什么?排除掉网络因素,您还有别的思路么?
谢谢
7月前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
嗯,知道你的问题,之前说了额,是消费者主动拉取消息的,就是消息完了在去kafka中拿。
你这种情况,多开几个消费者吧,这是为了多分几个分区,其他的参数只能调大一次拿消息的数量。
否则,你只能手动分配分区了,那样更复杂了。
7月前
小脑袋贼大 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
您好,感谢你积极的答复,是这样的,消费者C1在一台性能很高的服务器上,消费者C2在普通的机器上,
我想让C1获得更多的分区,让性能高的服务器多干活。
请问,除了在服务器上多开几个消费者外,还有别的办法么?
7月前
半兽人 回复 小脑袋贼大 kafka消费者客户端(0.10.0.1API) 评论:
假的,如果你业务处理的快,自然而然C1就会获取更多的消息。
消费者是主动拉取消息的。
7月前
小脑袋贼大 kafka消费者客户端(0.10.0.1API) 发表评论:
您好:
        我这有一个问题,一个topic有多个partitions,消费者组里有两个性能不一样的消费者C1和C2,两个消费者都以subscribe方式订阅了这个topic,
我想让性能更高的C1消费者获得更多的partition数量,而不是C1、C2均分partitions数量。
在老版本的消费者有一个num.consumer.fetchers配置项,fetch线程数多的消费者可以分到更多的partitions
新版本的消费者没有了num.consumer.fetchers配置项,请问新版本消费者还可以让性能更高的C1获得更多的分区数么?
7月前