kafka+sparkStreaming有什么好处：1、解耦       2、缓冲（系统之间解耦合、峰值压力缓冲、异步通信） kafka消息队列的特点：可靠性保证：自己不丢数据，消费者不丢数据消息系统的特点：生产者消费者模式，FIFO  --partition内部是FIFO的，partition之间不是FIFO的，当然我们

Kafka及PyKafka的使用

KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，webginx日志、

flume的作用是什么？列出常见的flume的操作flume由agent的source、channel、sink构成，其中source用来采集不同协议的数据,然后将数据存储与channerl中,再通过sink将采集的信息源（来自服务器，页面等），然后将数据进行投递，比如hdfs文件系统，或者将采集的数据输送到kafka的消息队列，进行消息

https://blog.51cto.com/leizhu/2075724 一、环境准备1、软件zookeeper3.4.11 https://www.apache.org/dyn/closer.cgi/zookeeper/kafka1.0.0 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgzjava8 http://www.oracle.comechnetwor

  /etc/init.d$vikafka-start-up.sh#!/bin/bash#exportKAFKA_HOME=$PATHexportKAFKA_HOME=/opt/Kafka/kafka_2.11-1.1.1#chkconfig:23453080#description:kafka#processname:kafkacase$1instart)chmod-R777$KAFKA_HOME/logschmod-R7

一、kafka的存储机制kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。1.segment所谓的segment其实就是在分区对应的

0x00概述kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为test_perf的topic。假设两个partitions,那么我们可以在tmp/kafka

AsweallknowthatKafkaisveryfast,muchfasterthanmostofitscompetitors.Sowhat’sthereasonhere?AvoidRandomDiskAccessKafkawriteseverythingontothediskinorderandconsumersfetchdatainordertoo.Sodiskaccessalwaysworkssequent

一、基本概念：cleanableRatio：清理比率，可清理的字节大小/该log文件总的字节大小，对应代码：valcleanableBytes=log.logSegments(firstDirtyOffset,math.max(firstDirtyOffset,firstUncleanableOffset)).map(_.size).sumvaltotalBytes=cleanBytes+cleanableBytesvalcleana

实时数据平台（RTDP，Real-timeDataPlatform）是一个重要且常见的大数据基础设施平台。在上篇《实时数据平台设计：解决从OLTP到OLAP实时流转缺失》中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTDP的整体设计架构。 本文作为下篇，则是从技术角度入手，介绍RTDP的

KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，webginx日志、

一般地，像kafka之类的消息中间件，作为一个可以保持历史消息的组件，其消费模型一般是主动拉取方式。这是为了给消费者足够的自由，回滚或者前进。然而，也正是由于将消费消息的权力交给了消费者，所以，消费者往往需要承担更多的责任。比如：需要自行保存消费偏移量，以便后续可以知道从哪

一、基本信息说明官网：http://kafka.apache.org快速开始：http://kafka.apache.org/quickstart官网下载：http://kafka.apache.org/downloads中文文档：http://kafka.apachecn.org/W3CSchool:https://www.w3cschool.cn/apache_kafka/Hortonworks:https://hortonworks.com/apache

 supervisor启动的应用有时候需要启动多个实例怎么办呢？写多个配置文件？最方便实用的办法如下。需要起多个实例直接改numprocs的个数就行了。 

>1.Kafka面试问答 ApacheKafka的受欢迎程度很高，Kafka拥有充足的就业机会和职业前景。此外，在这个时代拥有kafka知识是一条快速增长的道路。所以，在这篇文章中，我们收集了ApacheKafka面试中常见的问题，并提供了答案。因此，如果您希望参加ApacheKafka面试，这是一份不错的指南。这将有

1.配置pom包<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency>2.配置application.ymlkafka部分：kafka:  #指定kafka代理地址，可以多个  bootstrap-servers:hadoop:9092,s

ProducerConsumerBrokerTopicPartitionConsumerGroup分布式 Broker   Kafka集群包含一个或多个服务器，这种服务器被称为brokerTopic   每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic（物理上不同Topic的消息分开存储[表现于日志落地]，逻辑上一个Topic

一、下载(官网下载:http://kafka.apache.org/downloads.html)任意下载一个zip二、制作demo示例，spring+springmvc+Kafka开发前请先安装zookeeper，传送门                        1. 启动kafka服务：安装目录下.\bin\windows\kafka-s

专注于吞吐量的mq.组成:1.zookeeper集群化2.broker集群化3.producer4.consumer消息发送流程:消息–>写入到按分区的缓存–>sender任务执行–>批量发送(合并请求提高吞吐量)生产者使用模式:1.多线程单个生产者,使用简单2.多线程多生产者消费者模式:1.多消费者

转载：https://blog.csdn.net/soaring0121/article/details/81330266相对Producer来说，Consumer使用和设计类似，但更为复杂。因此将Consumer相关知识总结一番。顾名思义，consumer就是读取kafka集群中某些topic消息的应用程序。consumer有两个版本，老版本用Scala语言编写，其api包名为k

github地址:https://github.com/apache/kafkaclone下来之后可以看到这样的项目结构：文件目录说明。 目录描述binWindows和Linux下Kafka相关操作的脚本，包括启动和关闭KafkaServer、创建topic、分区管理、模拟生产者和消费者基本操作的脚本等

一、搭建Zookeeper集群Zookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（DistributedSynchronization）、命名服务（NamingService）、集群维护（GroupMaintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。Zo

1kafka架构生产者消费者broker：中间包含一个或者多个topic一个topic中有一个或者多个partition这个可以设置每一条消息只能来自一个topic生产数据和消费数据的时候必须要指定是哪一个topic*partition讲解如果不备份的情况下只分布在一个broker上一个partition

默认内网访问，要在外网访问的话，需要在修改config/server.properties中的配置将listeners和advertised.listeners的值用主机名进行替换，在外用使用java进行生产者或消费者连接的时候，不填写具体的IP，填写安装kafka的主机名，然后，在hosts目录中，配置该主机名对应的真是IP地址即可；以下命令

作者：秦伟1.ELK的背景介绍与应用场景在项目应用运行的过程中，往往会产生大量的日志，我们往往需要根据日志来定位分析我们的服务器项目运行情况与BUG产生位置。一般情况下直接在日志文件中tailf、grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包

storm整合kafka后出现如下异常：  错误原因：有部分kafka服务器连接不上导致，检查一下是不是每个kafka都能连接到（有的kafka配置使用的是host，记得配置相同的环境）造成异常代码段：org.apache.storm.kafka.ZkCoordinator.refresh() 

一．什么是kafkakafka的目标是实现一个为处理实时数据提供一个统一、高吞吐、低延迟的平台。是分布式发布-订阅消息系统，是一个分布式的，可划分的，冗余备份的持久性的日志服务。Kafka使用场景：1日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各

github地址:https://github.com/apache/kafkaclone下来之后可以看到这样的项目结构：文件目录说明。 目录描述binWindows和Linux下Kafka相关操作的脚本，包括启动和关闭KafkaServer、创建topic、分区管理、模拟生产者和消费者基本操作的脚本等

使用docker安装kafka时启动失败查看报错日志#dockerlogs--since30m71846a96e514ExcludingKAFKA_HOMEfrombrokerconfig[Configuring]'port'in'/opt/kafka/config/server.properties'[Configuring]'advertised.listeners'in'/opt/kaf