kafka使用SSL加密和认证

半兽人 发表于: 2016-05-03   最后更新时间: 2016-08-01  
  •   40 订阅,3909 游览

7.2 使用SSL加密和认证

Apache kafka 允许clinet通过SSL连接,SSL默认是不可用的,需手动开启。

1. 为每个Kafka broker生成SSL密钥和证书。

部署HTTPS,第一步是为集群的每台机器生成密钥和证书。我们将生成密钥到
一个临时的密钥库,以便我们可以导出CA签名。你可以使用java的keytool来完成。

keytool -keystore server.keystore.jks -alias localhost -validity {validity} -genkey

你需要指定上面命令的两个参数。

  1. keystore: 密钥仓库存储证书文件。密钥仓库文件包含证书的私钥(保证私钥的安全)。
  2. validity: 证书的有效时间,天

确保通用名称(CN)正好与服务器的限定域名(FQDN)相匹配。client对比DNS和CN,以确保它确实是连接所需的服务器,而不是恶意的。

2. 创建自己的CA

通过第一步,集群中的每台机器都生成一对公私钥,和一个证书来识别机器。但是,证书是无标记的,这意味着攻击者可以创建一个这样的证书来假装任何机器。

因此,通过在每台机器上签名来防止伪造的证书。证书颁发机构(CA)负责签名证书。CA的工作机制像一个颁发护照的政府。政府印章(标志)每本护照,这样护照很难伪造。其他政府核实护照的印章,以确保护照是真实的。同样,CA签名的证书和加密保证签名证书很难伪造。因此,只要CA是一个真正和值得信赖的权威,client就能有较高的保障连接的是真正的机器。

openssl req -new -x509 -keyout ca-key -out ca-cert -days 365

生成的CA是一个简单的公私钥对和证书,用于签名其他的证书。

下一步是将生成的CA添加到**clients' truststore(客户的信任库)**,以便client可以信任这个CA:

keytool -keystore server.truststore.jks -alias CARoot -import -file ca-cert

注意,还需设置ssl.client.auth(”requested" 或 "required”),来要求broker对客户端连接进行验证,当然,你必须为broker提供信任库以及所有客户端签名了的CA证书密钥,通过下面的命令:

keytool -keystore client.truststore.jks -alias CARoot -import -file ca-cert

相反,在步骤1中密钥库存储每个机器自己的身份。client的信任库存储所有client应该信任的证书,将证书导入到一个信任库也意味着信任由该证书签名的所有证书,正如上面的比喻,信任政府(CA)也意味着信任所有护照(证书),这种属性成为信任链,当在一个大的kafka集群上部署SSL时,它是特别有用的。你可以用一个CA登录集群中的所有证书,并拥有所有机器相同的信任库,信任CA,这样所有的机器可以验证其他的机器了。

3. 签名证书

生成的步骤1步骤2中生成的CA的所有证书进行签名。首先,你需要从密钥库中导出证书 ︰

keytool -keystore server.keystore.jks -alias localhost -certreq -file cert-file

然后用CA签名:

openssl x509 -req -CA ca-cert -CAkey ca-key -in cert-file -out cert-signed -days {validity} -CAcreateserial -passin pass:{ca-password}

最后,您需要导入CA的证书和已签名证书到密钥库:

keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert
keytool -keystore server.keystore.jks -alias localhost -import -file cert-signed

参数的定义如下:

  1. keystore: 密钥库的位置
  2. ca-cert: CA的证书
  3. ca-key: CA的私钥
  4. ca-password: CA的密码
  5. cert-file: 出口,服务器的未签名证书
  6. cert-signed: 服务器的签名证书

这是上面所有步骤的一个bash脚本例子。注意的一个命令假定密码“test1234”,所以用这个密码或编辑命令运行它。

#!/bin/bash
#Step 1
keytool -keystore server.keystore.jks -alias localhost -validity 365 -genkey
#Step 2
openssl req -new -x509 -keyout ca-key -out ca-cert -days 365
keytool -keystore server.truststore.jks -alias CARoot -import -file ca-cert
keytool -keystore client.truststore.jks -alias CARoot -import -file ca-cert
#Step 3
keytool -keystore server.keystore.jks -alias localhost -certreq -file cert-file
openssl x509 -req -CA ca-cert -CAkey ca-key -in cert-file -out cert-signed -days 365 -CAcreateserial -passin pass:test1234
keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert
keytool -keystore server.keystore.jks -alias localhost -import -file cert-signed

4. 配置Kafka Broker

Kafka Broker支持监听多个端口上的连接,我们需要在 server.properteis 配置以下属性,最少1个,用逗号分隔。

listeners

如果broker之间通讯未启用SSL(参照下面,启动它),PLAINTEXT和SSL端口是必须的。

listeners=PLAINTEXT://host.name:port,SSL://host.name:port

下面是broker端需要的SSL配置,

        ssl.keystore.location=/var/private/ssl/kafka.server.keystore.jks
        ssl.keystore.password=test1234
        ssl.key.password=test1234
        ssl.truststore.location=/var/private/ssl/kafka.server.truststore.jks
        ssl.truststore.password=test1234

下面是可选的配置:

  1. ssl.client.auth = none (“required”=>客户端身份验证是必需的,“requested”=>客户端身份验证请求,客户端没有证书仍然可以连接。使用“requested”是纸老虎,因为它提供了一种虚假的安全感,错误的配置客户端仍将连接成功。)
  2. ssl.cipher.suites(可选)。密码套件是利用TLS或SSL网络协议的网络连接的安全设置。是认证,加密,MAC和密钥交换算法的组合。 (默认值是一个空表)
  3. ssl.enabled.protocols = TLSv1.2 TLSv1.1 TLSv1 (你要接收来自客户端列出的SSL协议,注意,不支持在生产中使用SSL,支持使用TLS)。
  4. ssl.keystore.type=JKS
  5. ssl.truststore.type=JKS

如果你想启用SSL用于broker内部通讯,将以下内容添加到broker配置文件(默认是PLAINTEXT)

   security.inter.broker.protocol=SSL

由于一些国家的进口规定,oracle的实现限制了默认的加密算法的强度。如果需要更强的算法(例如AES 256位密钥),该JCE Unlimited Strength Jurisdiction Policy Files必须获得并安装JDK和JRE。更多信息参见JCA文档

一旦你启动broker,你应该就能在server.log看到

with addresses: PLAINTEXT -> EndPoint(192.168.64.1,9092,PLAINTEXT),SSL -> EndPoint(192.168.64.1,9093,SSL)

用以下命令,快速验证服务器的keystore和truststore设置是否正确:

openssl s_client -debug -connect localhost:9093 -tls1

(注意: TLSv1 应列出 ssl.enabled.protocols)
在命令的输出中,你应该能看到服务器的证书:

  -----BEGIN CERTIFICATE-----
        {variable sized random bytes}
        -----END CERTIFICATE-----
        subject=/C=US/ST=CA/L=Santa Clara/O=org/OU=org/CN=Sriharsha Chintalapani
        issuer=/C=US/ST=CA/L=Santa Clara/O=org/OU=org/CN=kafka/emailAddress=test@test.com

如果证书没有出现或者有任何其他错误信息,那么你的keystore设置不正确。

5. 配置Kafka客户端

SSL仅支持新的Producer和Consumer,不支持老的API,Producer和Consumer的SSL的配置相同。

如果broker中不需要client(客户端)验证,那么下面是最小的配置示例:

        security.protocol=SSL
        ssl.truststore.location=/var/private/ssl/kafka.client.truststore.jks
        ssl.truststore.password=test1234

如果需要client认证,那么keystore必须创建(步骤1)和下面的配置。

        ssl.keystore.location=/var/private/ssl/kafka.client.keystore.jks
        ssl.keystore.password=test1234
        ssl.key.password=test1234

也可以根据我的需求设置其他的配置:

  1. ssl.provider (可选的). 用于SSL连接的安全提供程序名称,默认值是JVM的默认的安全提供程序。
  2. ssl.cipher.suites (可选).密码套件是身份验证、 加密、 MAC 和密钥交换算法用于协商使用 TLS 或 SSL 网络协议的网络连接的安全设置的已命名的组合。
  3. ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1。broker配置协议(至少一个)。
  4. ssl.truststore.type=JKS
  5. ssl.keystore.type=JKS

使用 console-producer 和 console-consumer 的例子:

kafka-console-producer.sh --broker-list localhost:9093 --topic test --producer.config client-ssl.properties
kafka-console-consumer.sh --bootstrap-server localhost:9093 --topic test --new-consumer --consumer.config client-ssl.properties






发表于: 8月前   最后更新时间: 5月前   游览量:3909
上一条: kafka安全概述
下一条: kafka使用SASL验证
评论…

  • 还是不太明白。。。
    楼主辛苦了!
    我按照此文档操作后,还是没发实现SSL连接呢,是不是还有什么特殊的配置呢?、
    楼主有测试成功过吗?求详细配置
    • 请LZ出详细配置,每次只有这个打印,INFO Registered broker 0 at path /brokers/ids/0 with addresses: PLAINTEXT -> EndPoint(10.75.29.40,19090,PLAINTEXT) (kafka.utils.ZkUtils),没有SSL的,或者加QQ求指导
      • 评论…
        • in this conversation
          提问