发布网友 发布时间:2022-11-27 10:13
共1个回答
热心网友 时间:2023-10-16 08:22
kafka ACL常用权限操作
使用bin/kafka-topics.sh创建
注意工具bin/kafka-topics.sh访问的是zookeeper而不是kafka,即他是一个zookeeper client而不是一个kafka client,所以它的认证都是通过zookeeper完成的。
Case 1:如果zookeeper没有配置ACL激活:
Case 2:如果zookeeper已经配置ACL激活:
命令还是前面的那个命令,但是必须提供java.security.auth.login.config指向jaas.conf文件。例如:
命令的配置可以直接修改jvm的启动脚本,或者设置在环境变量里:
这里配置的用户必须是zookeeper服务端已经配置运行可以访问的客户端用户。例如,下面的zookeeper服务端配置:
运行客户端为admin的用户作为zookeeper客户端连接访问。
查询topic操作的ACL认证,同前面创建topic操作的认证一样,不细说,参考前面。
删除topic操作的ACL认证,同前面创建topic操作的认证一样,不细说,参考前面。
procer用的脚本是/opt/kafka/bin/kafka-console-procer.sh,注意这个procer脚本是和kafka打交道的(相对bin/kafka-topics.sh是和zookeeper打交道的),所以:
命令行格式:
文件/path/to/client-sasl.properties
还需要配置client用户信息,并传给JVM参数:
此时如果没有授权,则会得到如下错误信息:
赋予procer的权限:
这个选项--procer实际上在Topic域上创建了(Write/Describe/Create)3个子权限:
当然用户也可以单独创建者三个子权限。
consumer用的脚本是/opt/kafka/bin/kafka-console-consumer.sh,注意和生产者procer一样,consumer也是和kafka打交道的(相对于bin/kafka-topics.sh是和zookeeper打交道的),所以:
命令行格式:
选项--from-begining可以调整成其他值;配置文件/path/to/client-sasl.properties和procer的一样,不细说,参考生产者。
此时如果没有授权,则会得到如下错误信息:
赋予consumer的权限:
和procer相比,consumer还有一个额外的参数--group,如果没有*,则置成'*'即可;这个--consumer的选择实际上在Topic域上创建了(Read/Describe)2个子权限,然后在Group域创建了(Read)1个子权限:
这个地方我们注意一下,consumer没有Create的权限,所以如果kafka配置成auto.create.topics.enable=true,而此时topic不存在,那么consumer试图创建topic的时候会失败,那就需要一条单独的Create授权规则来给consumer增加Create权限。
权限管理工具以命令行的方式管理权限,可以增加/删除/列举所有的权限规则。
基本用法:
授权用户kafaclient具有Read topic kafaclient--topic的权限。
删除用户kafaclient具有Describe topic kafaclient--topic的权限。
查看当前在topic kafkaclient--topic上面的权限列表。
另外注意,和kafka-topics.sh一样,kafka-acls.sh也是直接访问zookeeper的,而不是访问kafka,所以它的认证方式和kafka-topics.sh是一样的:
详细的用法配置请参考kafka-topics.sh部分,不细说。
在kafka2.0之后引入了--resource-pattern-type这个参数,可以针对特定的资源(topic)命名规则,例如前缀,来为某一类的topic添加规则。而之前的办法只能读完整的topic设置规则,字符''表示所有的,这不是规则表达式匹配任意字符的意思,而就是文本字符''。
例如:
授权用户kafkaclient具有访问所有以'kafkaclient--'开头的topic的权限;这样带来的好处是,以后我们使得kafkaclient创建的topic全部以'kafkaclient--'开头,那么就不需要再为这些topic创建rule,一条rule就能够动态的管理新加的topic。
其实我对这个还是不满意,如果能够定义灵活规则就好了;因为上面的*,我还是需要为每一个用户添加一条规则,而我想为所有的用户只用一条规则,这条规则就是:任何用户具有访问以这个用户名开头的所有的topic;这样不管以后新加topic还是新加用户,都不用再新加rule了。遗憾的是目前kafka还是不支持这个功能。类似: