OrcHome OrcHome
OrcHome个人中心.

一宿梵唱

已关注 关注

关注

暂无关注.....

粉丝

暂无粉丝.....


半兽人 回复 一宿梵唱 kafka消息传递保障 中:
好绕口额,一个组中的消费者数量 <= 分区数。例如:5个消费者,10个分区,那么每个消费者会分到2个分区。如果11个消费者,10个分区,那么将有一个消费者永远分配不到分区(也就拿不到消息)。
7月前
半兽人 回复 一宿梵唱 kafka消息传递保障 中:
消息的索引是消费者客户端控制的,过期的消息会跳过。
网站首页的索引我也会在后续开发中加入,直接跳到消息的具体位置我尽力实现额。

7月前
一宿梵唱 回复 一宿梵唱 kafka消息传递保障 中:
而且,假设partition和consumer数量(同一个consumer group)是一样的话,那这每个consumer正好连接一个partition了,那么是不是就意味着存在别的partition上的消息这个consumer就不能消费到了。会不会说某个consumer一定要消费到的某条消息就存在别的partition上了,感觉这一块有点奇怪,不是很理解。
7月前
一宿梵唱 kafka消息传递保障 发表评论:
我请教一个小问题,partition下的segment file的周期我们是在配置里设置的。那如果一个segment file 里的消息时间间隔相差很大,若第一条消息已经到了保存期限,那kafka是仅删除那一条消息么??后续的消息索引号会往前递增不?后续消息的存储位置会不会顺序往前挪呢??会不会影响后续的segment file里的内容呀??

顺道问一下,网站首页都没有搜索功能的么???而且首页右侧显示的最新消息不能点击就直接跳转到回复消息的具体位置么???这样我就可以看到别人问的问题以及答案的全部了呢
7月前
一宿梵唱 回复 半兽人 kafka命令大全 中:
jps倒是可以..但是应该也不能区分到底是哪个进程吧。zookeeper可以区分,但是broker和consumer,producer貌似没法区分~~~~感谢你的所有文章以及回复。
7月前
半兽人 回复 一宿梵唱 kafka命令大全 中:
jps一下,可以看到kafka的进程。
Susue环境我也没玩过。
7月前
一宿梵唱 kafka命令大全 发表评论:
请教一下,我使用的是2.11版本的kafka,在Susue系统上使用命令创建生产者和消费者进行测试,我都是直接ctrl+C直接退出生产者/消费者的窗口,但ps进程的时候发现生产者和消费者的进程是依然存在的...而且ps -ef|grep java | grep kafka 出来的内容没有办法区分这个进程是生产还是消费者,甚至是否为broker也无法区分..有什么办法可以不使用生产/消费者的时候就直接kill 进程呢?
并且 kafka-server-stop.sh 以及zookeeper-server-stop.sh 脚本并没有什么用处......
7月前

半兽人 回复 一宿梵唱 kafka消息传递保障 评论:
好绕口额,一个组中的消费者数量 <= 分区数。例如:5个消费者,10个分区,那么每个消费者会分到2个分区。如果11个消费者,10个分区,那么将有一个消费者永远分配不到分区(也就拿不到消息)。
7月前
半兽人 回复 一宿梵唱 kafka消息传递保障 评论:
消息的索引是消费者客户端控制的,过期的消息会跳过。
网站首页的索引我也会在后续开发中加入,直接跳到消息的具体位置我尽力实现额。

7月前
一宿梵唱 回复 一宿梵唱 kafka消息传递保障 评论:
而且,假设partition和consumer数量(同一个consumer group)是一样的话,那这每个consumer正好连接一个partition了,那么是不是就意味着存在别的partition上的消息这个consumer就不能消费到了。会不会说某个consumer一定要消费到的某条消息就存在别的partition上了,感觉这一块有点奇怪,不是很理解。
7月前
一宿梵唱 kafka消息传递保障 发表评论:
我请教一个小问题,partition下的segment file的周期我们是在配置里设置的。那如果一个segment file 里的消息时间间隔相差很大,若第一条消息已经到了保存期限,那kafka是仅删除那一条消息么??后续的消息索引号会往前递增不?后续消息的存储位置会不会顺序往前挪呢??会不会影响后续的segment file里的内容呀??

顺道问一下,网站首页都没有搜索功能的么???而且首页右侧显示的最新消息不能点击就直接跳转到回复消息的具体位置么???这样我就可以看到别人问的问题以及答案的全部了呢
7月前
一宿梵唱 回复 半兽人 kafka命令大全 评论:
jps倒是可以..但是应该也不能区分到底是哪个进程吧。zookeeper可以区分,但是broker和consumer,producer貌似没法区分~~~~感谢你的所有文章以及回复。
7月前
半兽人 回复 一宿梵唱 kafka命令大全 评论:
jps一下,可以看到kafka的进程。
Susue环境我也没玩过。
7月前
一宿梵唱 kafka命令大全 发表评论:
请教一下,我使用的是2.11版本的kafka,在Susue系统上使用命令创建生产者和消费者进行测试,我都是直接ctrl+C直接退出生产者/消费者的窗口,但ps进程的时候发现生产者和消费者的进程是依然存在的...而且ps -ef|grep java | grep kafka 出来的内容没有办法区分这个进程是生产还是消费者,甚至是否为broker也无法区分..有什么办法可以不使用生产/消费者的时候就直接kill 进程呢?
并且 kafka-server-stop.sh 以及zookeeper-server-stop.sh 脚本并没有什么用处......
7月前