【收藏】 Kafka监控组件大全

本文使用Burrow和Telegraf搭建Kafka的监控体系。然后,简单介绍一下其他的,比如Kafka Manager,Kafka Eagle,Confluent Control Center等。如果你对kafka比较陌生,请参考:Kafka基础知识索引Burrow依赖路径使用Burrow拉取kafka的监控信息,然后通过telegraf进行收集,最后写入到influxdb中。使用grafana

开源一个kafka增强:okmq-1.0.0

本工具的核心思想就是:赌。只有两个基础组件同时死亡,才会受到严重影响。哦,断电除外。mq是个好东西,我们都在用。这也决定了mq应该是高高高可用的。某团就因为这个组件,出了好几次生产事故,呵呵。大部分业务系统,要求的消息语义都是at least once,即都会有重复消息,但保证不会丢。即使这样,依然有很多问题:一、mq可用性无法保证。 mq的意外死亡,造成生产端发送失败。很多消息要通过扒取日志进行

使用多线程增加kafka消费能力

前提:本例适合那些没有顺序要求的消息主题。kafka通过一系列优化,写入和读取速度能够达到数万条/秒。通过增加分区数量,能够通过部署多个消费者增加并行消费能力。但还是有很多情况下,某些业务的执行速度实在是太慢,这个时候我们就要用到多线程去消费,提高应用机器的利用率,而不是一味的给kafka增加压力。使用Spring创建一个kafka消费者是非常简单的。我们选择的方式是继承kafka的Shutdow

Kafka消息系统基础知识索引

我们在《360度测试:KAFKA会丢数据么?其高可用是否满足需求?》这篇文章中,详细说明了KAFKA是否适合用在业务系统中。但有些朋友,还不知道KAFKA为何物,以及它为何存在。这在工作和面试中是比较吃亏的,因为不知道什么时候起,KAFKA似乎成了一种工程师的必备技能。一些观念的修正从 0.9 版本开始,Kafka 的标语已经从“一个高吞吐量,分布式的消息系统”改为"一个分布式流平台"。Kafka

360度测试:KAFKA会丢数据么?其高可用是否满足需求?

请仔细了解这张图,尤其注意有标志的几个关注点。我们会不止一次回到这张图上背景Kafka到底能够应用在高可用的业务上?官方给出的答案是肯定的,最新版,已经支持消息队列的事务,但我们对其性能是有疑问的。Kafka根据配置的ACK级别,其性能表现将特别大,为了找到其适用场景,特做此测试,以便应用kafka时能够灵活应对。测试过程还探讨了许多丢消息的场景。相对于大多数仅仅针对kafka集群本身的测试,本测

最新文章

最近回复

  • udejokib: The ehw.apzc.sayhiai.com.zpe.qc ...
  • eseosuwitip: Controlling lhy.akdq.sayhiai.com...
  • ikefnonoc: Thyroid rpc.iufa.sayhiai.com.yib...
  • aeciwozap: Ps tdp.dfmc.sayhiai.com.wwn.md k...
  • lycying: 用不了这么多吧。见http://sayhiai.com/inde...
  • Sean: 单机一百万? 那么这个机器起码要装 1TB的内存啊?
  • lycying: 默认就是开放的
  • lycying: 已修改
  • lycying: 是的
  • Taxz: 请问在master选举时,为什么 需要Thread.sleep(...
  • hesl: 正文宽度太窄了
  • donald: 什么时候开放rss
  • 宜城有少年: 我试了下好像还是不需要注解都行。。。
  • 宜城有少年: 意思是说如果我把这个去掉就是实现了注解方式的对吗
  • lycying: 见文中,SpringBoot启动会自动读取 src/main/r...
  • 宜城有少年: 博主,我想问下,为什么只要我引入了JAR包,不需要注解都可以使用。。。
  • lycying: 是的,而且不能是private
  • 宜城有少年: 博主请问下引用的注解是放在微服务被调用的里面吗方法里面吗
  • 宜城有少年: 这个是将整个springboot项目打成JAR包吗?
  • lycying: 女人养的狗

分类

标签

归档

其它