关于Kafka日志留存(logretention)策略的介绍，网上已有很多文章。不过目前其策略已然发生了一些变化，故本文针对较新版本的Kafka做一次统一的讨论。如果没有显式说明，本文一律以Kafka1.0.0作为分析对象。所谓日志留存策略，就是Kafka保存topic数据的规则，我将按照以下几个方面分别介

1.三节点主机环境：#RedHatEnterpriseLinuxServerrelease7.5192.168.154.128  my1.db.com  my1192.168.154.129  my2.db.com  my2192.168.154.130  my3.db.com  my32.下载zookeeper：http://zookeeper.apache.orgeleases.htmltarxvzfzookeeper-3.4.13.tar.

kafka创建消费者报错：zookeeperisnotarecognizedoption最近在hadoop上搭建kafka的时候，使用bin/kafka-console-producer.sh--broker-listhadoop132:9092,hadoop133:9092,hadoop134:9092--topicfirst此命令创建kafka消息生产者，也就是hadoop132:9092、hadoop133:9092

Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下。1、页缓存技术+磁盘顺序写首先Kafka每

注意：请确保本地Java环境变量配置成功1.安装ZookeeperKafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper1.1下载安装文件：http://mirror.bit.edu.cn/apache/zookeeper/1.2解压文件（本文解压到D:\zookeeper-3.4.8）1.3打开D:\zookeeper-3.4.8\conf，把zo

经典组合：Flume+Kafka+Storm+HDFS/HBaseFlume：分布式采集Kafka：分布式缓存Kafka简介：一种分布式的、基于发布/订阅的消息系统（Scala编写的）Kafka特点：1.消息持久化：通过O(1)的磁盘数据结构提供数据的持久化Kafka严重依赖磁盘，但是不是说磁盘一定比内存

****bin是二进制文件的意思，sbin....据说是superbin（管理员的bin）HDFS命令某个文件的blocks信息hadoopfsck/user/xx-files-blocks-locations改变一个文件或者目录的副本因子hadoopfs-setrep-R3/user/xx查看app的logyarnlogs-applicationIdapplication_145225035

1、kafka介绍1.1什么是消息系统按照一定的规则接收存储信息,并且按照另外一种规则将信息进行发送的一种软件或者涉及模式1.2消息系统分类1.2.1根据消息发送模型分类(1)Peer-to-Peer特点：1) 一般基于Pull或者Polling接收消息2) 发送到队列中的消息被一个而且仅仅一个接

RabbitMQ：当masterqueue所在节点宕机后，其正在被消费的消息的相关信息全部丢失，即服务端不知道消费者对那一瞬间消费的消息是否进行了ACK，所以在mirrorqueue被提升为masterqueue时，会把宕机前正在进行消费的的消息全部重新发送一遍，即客户端重连后，消息可能被重复消费，这个时候就必须

简单介绍flink-kafka-connector用来连接kafka，用于消费kafka的数据，并传入给下游的算子。使用方式首先来看下flink-kafka-connector的简单使用，在官方文档中已经介绍了，传入相关的配置，创建consumer对象，并调用addsource即可Propertiesproperties=newProperties();propertie

目录Kafka配置SSL认证使用kafka自带的消费者生产者测试一下我是一只小小小小鸟~嗷！嗷！Kafka配置SSL认证准备工作：生成SSL相关证书注：详见https://blog.csdn.net/justry_deng/article/details/88383081。注：其实对于本节内容来说，有SSL的服务端证书就够了。第一步：修改kafka安装

<parent>      <groupId>org.springframework.boot</groupId>      <artifactId>spring-boot-starter-parent</artifactId>      <version>1.5.9.RELEASE</version>      <relativePath/><!--lookupparent

面试题如果让你写一个消息队列，该如何进行架构设计？说一下你的思路。面试官心理分析其实聊到这个问题，一般面试官要考察两块：你有没有对某一个消息队列做过较为深入的原理的了解，或者从整体了解把握住一个消息队列的架构原理。看看你的设计能力，给你一个常见的系统，就是消息队列系统，看看你

AKafka-basedOrderingServiceforFabric这篇文章是orderer的kafka设计文档，详细介绍orderer应用kafka的设计思想演进过程，从基本点逐步深入，由问题到解决方案，值得阅读。这里列举学习过程中的笔记。Solution0（S0）：单个tx（transaction）构成block。Problem1（P1）：单个block的size

一.Kafka简介(1)消息中间件的两种实现模式JMS(JavaMessageService)对消息的发送和接收定义了两种模式：点对点模式：消息的生产和消费者均只有一个，消息由生产者将消息发送到消息队列(queue)中，然后消息消费者从队列中取出消息进行消费，消息被取出后，queue中不再保存该消息。

概念运维配置监控生产者与消费者流处理分区partition一定条件下，分区数越多，吞吐量越高。分区也是保证消息被顺序消费的基础，kafka只能保证一个分区内消息的有序性副本每个分区有一至多个副本(Replica)，分区的副本分布在集群的不同代理上，提高可用性。分区的每个副本在

安装kafkamanager[root@emm-kafka01-10--174~]#cd/opt/ins/[root@emm-kafka01-10--174ins]#lltotal292188-rwxr-xr-x1rootroot166044032Mar1315:58jdk-8u102-linux-x64.rpm-rw-r--r--1rootroot50326212Mar1316:14kafka_2.12-1.1.0.tgz-rw-r--r--

Apachekafka工作原理介绍消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境

在测试过程中有用到kafka，由于开发说我往kafka里面生产了消息，通知了对方要消费。。。。看到这块一头雾水kafka主要2个功能生产和消费##查询topic列表./kafka-topics.sh--list--zookeeperlocalhost:21810###模拟生产数据./kafka-console-producer.sh--broker-list10.12.70.

试验环境Windows：IDEALinux：Kafka，ZookeeperPOM和Demo<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

应用一：kafka数据同步到kudu 1准备kafkatopic#bin/kafka-topics.sh--zookeeper$zk:2181/kafka-create--topictest_sync--partitions2--replication-factor2WARNING:Duetolimitationsinmetricnames,topicswithaperiod('.')orunderscore('_&

一、概述线上部署的k8s已经扛过了双11的洗礼，期间先是通过对网络和监控的优化顺利度过了双11并且表现良好。先简单介绍一下我们kubernetes的使用方式：  物理机系统：Ubuntu-16.04（kernel升级到4.17）  kuberneets-version：1.13.2  网络组件：calico（采用的是BGP模式+bgprefl

在高并发业务场景下，典型的阿里双11秒杀等业务，消息队列中间件在流量削峰、解耦上有不可替代的作用。今天我们一起来探讨：全量的消息队列究竟有哪些？Kafka、RocketMQ、RabbitMQ的优劣势比较消息队列的选型消息队列选择建议一、MQ消息队列有哪些那么目前在业界有哪些比较知名的消息引擎

所有的讨论都是基于KIP-291展开的。抱歉，这又是一篇没有图的文字。目前Kafkabroker对所有发过来的请求都是一视同仁的，不会区别对待。不管是用于生产消费的PRODUCE和FETCH请求，还是controller端发送的LeaderAndIsr/StopReplica/UpdateMetadata请求，亦或是其他类型的请求也是一样。通

面试题如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？面试官心理分析这个是肯定的，用MQ有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是前面说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。如果说你这个是用MQ来传递非常核

1.大纲Kafka控制节点用的是什么？消费者、生产者是如何理解的？ 2.Kafka控制节点用的是什么？基于zookeeper协调的分布式消息系统 3.消费者、生产者是如何理解的？消息系统通常都会由生产者，消费者，Broker三大部分组成，生产者会将消息写入到Broker，消费者会从Broker

场景介绍说起Kafka，许多使用者对它是又爱又恨。Kafka是一种分布式的、基于发布/订阅的消息系统，其极致体验让人欲罢不能，但操心的运维、复杂的安全策略、可靠性易用性的缺失等，仍需要使用者付出诸多的背后工作。即使你是Kafka老手，也难免会有上述同样的烦恼。 与其整日操心Kafka的部

面试题如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？面试官心理分析这个是肯定的，用MQ有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是前面说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。如果说你这个是用MQ来传递非

logcollect.sources.taildir-source.interceptors=interceptorlogcollect.sources.taildir-source.interceptors.interceptor.type=regex_extractorlogcollect.sources.taildir-source.interceptors.interceptor.regex=.(UserBehaviorLog|UserOperLog|PlatFormSysLog).

2019/3/14星期四Linux初始化脚本（centos6centos7通用）Linux初始化脚本（centos6centos7通用）zookeeper生产环境搭建zookeeper生产环境搭建在安装前请务必安装好zookeeper查看上面2个链接地址！kafka生产环境搭建[root@emm-kafka01-10--174~]#cd/opt/ins/[root@emm-kaf