加载中
kafka的访问控制

【概述】 通常情况下,Kafka部署后都是自己的业务进行生产消费,但也有一些情况,比如通过kafka和第三方对接,甚至是多个三方对接;或者是多用户使用同一套kafka集群,各自使用不同的topic。...

08/10 23:40
9
一文讲透hdfs的delegation token

【背景】 前一段时间总结了hadoop中的token认证、yarn任务运行中的token,其中也都提到了delegation token。而最近也遇到了一个问题,问题现象是:flink任务运行超过七天后,由于宿主机异常导...

kafka客户端消息发送逻辑

【引言】 最近遇到了一个和kafka相关的问题,具体是在spark任务在一定并行度的情况下, 偶现个别executor因kafka消息发送超时导致失败的情况。正所谓磨刀不误砍柴工,为了能较好的定位问题,...

07/16 00:37
2.4K
源码阅读之我见

【概述】 在很多技术交流群里,都看到过同样一个问题:如何阅读源码? 很多情况下,我们对一些开源的组件会用、或者通过官方文档、实际部署测试对其原理有一定程度的理解就可以了,不一定需要...

07/05 22:54
1.2K
容量调度绝对值配置队列使用与避坑

【概述】 在yarn中,对于容量调度而言,需要配置不同的队列,并为队列分配不同的资源。然而资源的配置是按照集群总资源的百分比来的,那么,如果集群资源进行扩容,队列的资源也就相应的增加...

06/25 23:41
3.8K
2.X版本的一个通病问题

【概述】 对于配置了HA模式的RM或者NN,客户端如果向standby的节点发送请求,会因为不可连接或standby拒绝提供服务导致请求失败,转而向Active的节点发送请求,这个转换是hadoop客户端内部自...

06/22 22:54
2.9K
被这个参数三杀了

最近接连排查了几个问题,居然都是同一个参数引起的,本文就通过实际案例讲述下该参数如何引发问题的,以及问题最终又是如何解决的~ 【First Blood】 在我们的环境中,RM是基于HA的方式部署的...

YARN任务运行中的Token

上一篇文章中,主要讲解了token的一些通用知识,以及hadoop中,token的实现和通用数据结构及流程。 本文主要讲述yarn任务提交运行过程中涉及的几个重要token:AMRMToken,NMToken,Container...

05/24 06:41
71
hadoop中的token认证

周更快变成月更了,但还是要坚持,本文来聊聊hadoop中的token,涉及到的点如下图所示。 【Hadoop为什么需要Token】 hadoop最初的实现中并没有认证机制,这意味着存储在hadoop中的数据很容易泄...

05/12 00:27
102
一文搞懂hadoop中的用户

又有一段时间没有更新了,最近忙着搬砖的同时,也填了一些坑,其中不少坑是有关联的,甚至其中有一个配置项接连引发了两三个问题,后续打算逐个总结输出,这里先进行一些铺垫~ 【hadoop的用户...

04/23 00:13
1.2K
问题不难,但藏得有点深

【问题现象】 上周,测试环境偶现创建策略失败,查看ranger的日志发现有如下的错误信息: 2022-03-21 20:14:29,685 [http-bio-6080-exec-13] ERROR org.apache.ranger.rest.ServiceREST (Se...

04/03 23:03
93
HDFS的集群信息

【概述】 我们都知道整个hdfs由nn+zkfc,dn,jn组成,这些可能运行在不同节点上的组件能组成一个集群,其中包含了共同的集群信息,并且各自将集群信息持久化存储到了本地,这个文件就是VERSI...

03/25 22:32
37
HDFS——JN扩容的正确姿势

【前言】 有一段时间没有更文了,一方面是之前准备的hudi系列由于一些细节还没研究得很清楚,暂时没有继续更新。另一方面,最近事情相当多,回家后收拾收拾就十一二点了,也就没有再进行总结...

03/10 00:41
53
从hudi持久化文件理解其核心概念

【概述】 这是hudi系列的第一篇文章,先从核心概念,存储的文件格式加深对概念的理解,后续再逐步对使用(spark/flink入hudi,hudi同步hive等)、原理(压缩机制,索引,聚族等)展开分享~ ...

如何系统学习hdfs

这一年多的时间里,hdfs源码(原理)分析累计也写了30多篇文章了,来一篇文章进行汇总。这篇文章将按照自己的理解来系统的梳理下,应该如何系统的学习hdfs。 先直接上个脑图: 入门 首先得了...

02/07 21:15
87
一文搞懂hadoop的metrics

【概述】 一个成熟的项目通常都会自带提供metric,反映运行时内部的各个信息,以方便进行监控运维。hadoop也不例外,通过jmx可以查看内部各个metrics信息,本文就来聊聊hdfs的metrics。 【M...

01/29 22:04
1K
hdfs——nn的启动优化

【概述】 上一篇文章讲解了,在一定DN节点规模,一定block数据量下的并发写文件的优化问题。 在这种节点、数据量规模的集群中,当HDFS全部重启(nn+dn全部重启),或者两个NN都重启后,需要经...

HDFS用了这个优化后,性能直接翻倍

【背景】 前段时间在HDFS的dn节点规模1000+的环境中,并且有1亿block数据量的情况下, 进行大量并发写文件测试时,发现部分客户端写异常并导致最终仅写入了部分数据,本文就该问题进行分析总...

01/15 00:08
1.6K
kafka问题的一次不负责任排查

2022的第一篇文章,分享总结下一个kafka问题的排查过程。 【问题现象】 元旦前,某测试环境因为网络不稳定,出现了kafka与zookeeper连接断开后,没有重连。 【问题定位】 初步查看了下日志,...

01/06 01:20
77

没有更多内容

加载失败,请刷新页面

返回顶部
顶部
http://www.vxiaotou.com