半兽人

351 声望

只有比别人更早、更勤奋地努力,才能尝到成功的滋味。

只有比别人更早、更勤奋地努力,才能尝到成功的滋味。

个人动态
  • 9小时前
  • 15小时前
  • 发表了 BERT 模型是什么?  
    15小时前
  • 发表了 Embedding和分词器  
    15小时前
  • 16小时前
  • 夜雨 赞了 在 kafka发送延时消息 的评论!

    可以使用RabbitMQ,Kafka天然不支持做延迟队列,因为它的消息没有状态。

    14天前
  • 半兽人 回复 夜雨kafka发送延时消息 中 :

    可以使用RabbitMQ,Kafka天然不支持做延迟队列,因为它的消息没有状态。

    19天前
  • ? 赞了 在 Kubernetes安装Kafka集群 的评论!

    嗯,k8s的版本,所以对参数有区别,可以参考:https://www.kubebiz.com/KubeBiz/kafka
    里面有k8s的版本选择,会自动补全。

    25天前
  • ? 回复 半兽人通过K8S部署KAFKA只能生产无法消费的问题。 中 :

    我尝试了,不管用内部还是外部连接。一样会报问题3描述的错误

    25天前
  • 半兽人 回复 ZKubernetes存储之persistent volumes简介 中 :

    tips:readwritemany底层的存储是共享存储才有效果哦

    26天前
  • Z 回复 半兽人Kubernetes存储之persistent volumes简介 中 :

    有个困惑 好像只有sts才能使用volumeClaimTemplates给每个副本创建pvc,deploy不能用,那么deploy是怎么给每个pod分配pvc的呢,问的gpt说是deploy是一组pod共享一个pvc。。但是网上又有说这种说法是错的。。每个pod都应该有自己独立的pvc。。。请教一下大佬

    26天前
  • 半兽人 回复 Z Kubernetes Service(服务) 中 :

    理解,我超过2星期就忘了很多了。
    我是每个月在扫一遍,持续加深记忆。

    26天前
  • Z 关注了Ta · 1月前
  • 赞了 半兽人volatile关键字解析 - java并发 的评论!

    噢噢噢,
    volatile不保证原子性

    1月前
  • 怎奈 赞了 在 KafkaStreams客户端(0.10.1.1 API) 的评论!

    好的,我最近更新一下

    2月前
  • 怎奈 赞了 在 Kubernetes StatefulSet介绍 的评论!

    好的,我尽快补充,我以为人看的少 :(

    2月前
  • 土豆 赞了 在 镜像拉取失败google_containers/kicbase:v0.0.45 的评论!

    一般是基础镜像的问题:

    先手动拉取:

    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kicbase:v0.0.45
    

    然后手动指定基础镜像:

    minikube start --force --base-image='registry.cn-hangzhou.aliyuncs.com/google_containers/kicbase:v0.0.45'
    
    4月前
  • 赞了 半兽人CDH Kafka 配置权限未生效 的评论!
    enabled mechanisms are []
    

    启用的机制是空,并没有生效,先看看kafka日志中是否有什么异常。
    另外,我看你配置里有些其他的认证方式,建议你注掉,防止干扰。
    可参考:https://www.orchome.com/1966
    先保证命令行可以运行成功。

    4月前
  • 半兽人 赞了 在 CDH Kafka 配置权限未生效 的评论!
    enabled mechanisms are []
    

    启用的机制是空,并没有生效,先看看kafka日志中是否有什么异常。
    另外,我看你配置里有些其他的认证方式,建议你注掉,防止干扰。
    可参考:https://www.orchome.com/1966
    先保证命令行可以运行成功。

    4月前
  • 赞了 半兽人CDH Kafka 配置权限未生效 的评论!
    LISTENERS=listeners=PLAINTEXT://phm-data02:9092,
    

    这个换成

    LISTENERS=listeners=SASL_PLAINTEXT://phm-data02:9092
    
    4月前
  • 半兽人 赞了 在 CDH Kafka 配置权限未生效 的评论!
    LISTENERS=listeners=PLAINTEXT://phm-data02:9092,
    

    这个换成

    LISTENERS=listeners=SASL_PLAINTEXT://phm-data02:9092
    
    4月前
  • 赞了 半兽人镜像拉取失败google_containers/kicbase:v0.0.45 的评论!

    一般是基础镜像的问题:

    先手动拉取:

    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kicbase:v0.0.45
    

    然后手动指定基础镜像:

    minikube start --force --base-image='registry.cn-hangzhou.aliyuncs.com/google_containers/kicbase:v0.0.45'
    
    5月前
  • 半兽人 赞了 在 镜像拉取失败google_containers/kicbase:v0.0.45 的评论!

    一般是基础镜像的问题:

    先手动拉取:

    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kicbase:v0.0.45
    

    然后手动指定基础镜像:

    minikube start --force --base-image='registry.cn-hangzhou.aliyuncs.com/google_containers/kicbase:v0.0.45'
    
    5月前
  • Sisyphus 关注了Ta · 5月前
  • 薛定谔的猫 贬了 在 kafka实战kerberos(笔记) 的评论!

    这个是说客户端代码目前不支持。

    5月前
  • 薛定谔的猫 贬了 在 请问kafka ssl 的Failed to load SSL keystore /usr/local/kafka2.3/server.keystore.jks of type JKS是为什么呀 的评论!

    先看看有没有权限,上面只是说失败的加载。
    另外可参考:https://www.orchome.com/500

    5月前
  • yh 关注了Ta · 8月前
  • 赞了 半兽人Kubernetes Namespace命名空间状态为Terminating,一直处于“卡住”,我该如何删除它? 的评论!

    无法删除是因为命名空间中仍然存在的资源引起的。

    以下命令显示命名空间中剩余的资源:

    kubectl api-resources --verbs=list --namespaced -o name \
      | xargs -n 1 kubectl get --show-kind --ignore-not-found -n <namespace>
    

    一旦你移除了这些资源之后,命名空间就能删掉了。

    8月前
  • g 关注了Ta · 10月前
  • 🌂️ 关注了Ta · 10月前
  • 赞了 NFS 高可用部署 · 1年前
  • 赞了 半兽人外网连接内网kafka-kerberos 报错验证失败! 的评论!

    感谢大佬的指点,目前已经全部调通,包括kerberos环境!

    非kerberos环境最后配置的格式就是上面贴的。
    kerberos环境 大致还需要以下几点。

    1、kafka-server端加了环境变量

    export KAFKA_OPTS="-Djava.security.auth.login.config=/usr/hdp/current/kafka-broker/conf/kafka_jaas.conf"
    

    2、/etc/krb5.conf文件可能需要加一行udp_preference_limit = 1 将udp改成tcp防止丢包(这个不一定需要)

    3、客户端需要一个kafka_client_jaas.conf

    KafkaClient {
       com.sun.security.auth.module.Krb5LoginModule required
       useTicketCache=true
       renewTicket=true
       serviceName="kafka";
    };
    Client {
       com.sun.security.auth.module.Krb5LoginModule required
       useTicketCache=true
       renewTicket=true
       serviceName="zookeeper";
    };
    

    4、然后一些sasl的配置,监听器的配置就不赘述了

    总结:之前对“主动发现集群机制”了解不够,也不知道消费时要对每一个broker都开一个长连接* 加上报错一直都是权限验证失败让人感觉是kerberos的问题,绕了很久。后面排除无关的因素,就很明显了。另外提醒ambari安装的kafka不管界面上配置的advertised.listeners是多少,内部代码还是会强行将listeners的值赋给advertised.listeners。

    还是很感谢大佬的及时回复 耐心指导。期待以后更多的交流

    1年前
  • 赞了 半兽人如何获取 /var/lib/kubelet/pods 下实际的 pods 是哪个? 的评论!

    对应的是pod的.metadata.uid

    for d in /var/lib/kubelet/pods/*; do
      p_u=$(basename "$d")
      kubectl get po -A -o json | \
        jq --arg pod_uuid "$p_u" -r '.items[] 
          | select(.metadata.uid == $pod_uuid) 
          | "uuid \($pod_uuid) is \(.metadata.name)"'
    done
    

    类似如下输出:

    "Labels": {
        "annotation.io.kubernetes.container.hash": "e44bee94",
        "annotation.io.kubernetes.container.restartCount": "4",
        "annotation.io.kubernetes.container.terminationMessagePath": "/dev/termination-log",
        "annotation.io.kubernetes.container.terminationMessagePolicy": "File",
        "annotation.io.kubernetes.pod.terminationGracePeriod": "30",
        "io.kubernetes.container.logpath": "/var/log/pods/kube-system_storage-provisioner_b4aa3b1c-62c1-4661-a302-4c06b305b7c0/storage-provisioner/4.log",
        "io.kubernetes.container.name": "storage-provisioner",
        "io.kubernetes.docker.type": "container",
        "io.kubernetes.pod.name": "storage-provisioner",
        "io.kubernetes.pod.namespace": "kube-system",
        "io.kubernetes.pod.uid": "b4aa3b1c-62c1-4661-a302-4c06b305b7c0",
        "io.kubernetes.sandbox.id": "3950ec60121fd13116230cad388a4c6c4e417c660b7da475436f9ad5c9cf6738"
    }
    
    1年前
  • 关注了用户 無名 · 1年前
  • 赞了 半兽人Kubernetes(k8s)中文教程 的评论!

    2022开工大吉。
    「投资未来的人,是忠于现实的人。」 --- 《哈佛图书馆二十条训言》

    1年前