kafka数据存入postgresql，kafka数据存入hive

kafkak配置仅允许受信任的JNDI连接如何配置?

想要实现这种效果，有两种实现方法，第一种方法是将所有kafka的连接都配置成公网IP连接。第二种方法是采用kafka的内外分离配置。

使用JNDI要在Web服务器中配置，例如Tomcat要在conf\context.xml中的Resource中配置数据源。具体怎么配置你可以百度搜索Java使用JNDI配置数据源。

允许动态实时调整它们之后，我们就能创建那些过期时间很短的 SSL证书。每当我们调整时，Kafka 底层会重新配置 Socket 连接通道并更新 Keystore。新的连接会使用新的 Keystore，阶段性地调整这组参数，有利于增加安全性。

通过JNDI配置获取连接对象。首先从..\tomcat0\conf目录下将context.xml拷到web project下的META-INF目录下。将驱动包拷贝到..\tomcat0\lib目录下。

kafka集群扩容后的数据迁移

Topic ： 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。

除了数据均衡操作的时机这个问题以外，在均衡过程中一般需要仍存储使用率高的节点吐使用率低的节点迁移数据。当集群扩容后，大量已经写入的文件落点会出现改变，文件需要迁移到真实的落点。

配置Kafka配置文件，指定所有节点的Broker ID、IP地址和端口号。 设定Kafka的拷贝副本数和ISR（同步复制副本）的数量参数，用于确定数据的备份数量和故障恢复的速度。

kafka除了按照集群情况自动分配副本，也提供了reassign工具人工分配和迁移副本到指定broker，这样用户可以根据集群实际的状态和各partition的流量情况分配副本 kafka集群controller的一项功能是在partition的副本中选择一个副本作为leader副本。

Kafka工作流程

1、（1）生产者定期向主题发送消息。（2）Kafka 代理存储该特定主题配置的分区中的所有消息。 确保消息在分区之间平等共享。

2、一般是先会创建一个主题，比如说TopicA，有三个分区，有两个副本(leader+follower总共2个)，同一个分区的两个副本肯定不在一个服务器。

3、Kafka 工作流程 基础总结：1）broker ：broker代表kafka的节点， Broker是分布式部署并且相互之间相互独立的， 启动的时候向zookeeper 注册，在Zookeeper上会有一个专门 用来进行Broker服务器列表记录 的节点：/brokers/ids。

4、Kafka的工作流程 Kafka 中消息是以 Topic 进行分类的，生产者生产消息，消费者消费消息，读取和消费的都是同一个 Topic。

关于kafka数据存入postgresql和kafka数据存入hive的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。