ZookeeperZookeeper 概述Zookeeper： 开源的分布式 Apache 项目， 为分布式框架提供协调服务。 zookeeper 工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架， 它负责存储和管理大家都关心的数据， 然后接受观察者的注册， 一旦这些数据的状态发生变化， Zookeeper就将负责通知已经在Zookeeper上注册的那些

YarnYarn 概述Yarn 资源调度器 Yarn 是一个资源调度平台，为运算程序提供服务器运算资源，类似于分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 Yarn 基础架构 主要由： ResourceManager： 处理客户端请求 监控 NodeManager 启动或监控 ApplicationMaster 资源的分配与调度 NodeM

MapReduceMapReduce概述MapReduce 定义MapReduce 分布式运算程序编程框架，将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并发运行在一个 hadoop 集群上。 MapReduce 优缺点优点 MapReduce 易于编程：它简单的实现一些接口，就可以完成一个分布式程序 良好的扩展性：通过简单地增加机器数量来提高它的计算能力 高容错性：自动

HiveHive 概述Hive由 Facebook 开源用于解决海量结构化日志的数据统计工具。 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 Hive 本质：将 HQL 转化成 MapReduce 程序 Hive 处理的数据存储在 HDFS 上 Hive 分析数据底层的实现是 MapReduce 执行程序运行在 Yar

KafkaKafka 概述Kafka 定义Kafka：一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要用于大数据实时处理领域。也是一个开源分布式事件流平台（Event Streaming Platform），用于高性能数据管道、流分析、数据集成和关键任务应用。 发布/订阅： 消息的发布者不会将消息直接发送给特定的订阅者， 而是将发布的消息分为不同的

HDFSHDFS定义Hadoop Distributed File System 在数据量不断激增的情况下，一台普通的主机无法存下海量的数据，需要多个主机来储存，但又出现不方便管理与维护的问题，HDFS 是将该集群抽象成一台主机管理该集群上的文件的文件系统，适用于一次写入多次读出的场景。文件在创建、写入和关闭之后就不再需要被修改了。 HDFS 优缺点优点 高容错： 数据自动保存多个副本，提高容错性

Hadoop 介绍Hadoop 概述Hadoop 是什么 Apache 基金会下的一个分布式系统框架 解决海量数据存储和分析计算 优势 高可靠性： Hadoop 底层维护多个数据副本，即使某个存储出现故障，也不会导致数据丢失 高扩展性： 当集群任务较多资源吃紧时，可以装载新的节点解决当前问题（如 双十一 618）。 高效性： 在 MapReduce 的思想下， Hadoop 是并行工作的，以加快

Code Daily剑指 Offer 03. 数组中重复的数字找出数组中重复的数字。 在一个长度为 n 的数组 nums 里的所有数字都在 0～n-1 的范围内。数组中某些数字是重复的，但不知道有几个数字重复了，也不知道每个数字重复了几次。请找出数组中任意一个重复的数字。 示例 1： 输入： 12[2, 3, 1, 0, 2, 5, 3]输出：2 或 3 限制： 2 <= n

Java 数据结构与算法大 O 表示法：比较的是操作数，指出算法运行时间的增速。 如何选择数组和链表： 增删情况较多的需求下选择链表。 改查情况较多的情况下选择数组。 选择排序 每次循环找当前查询数组中最小或者最大元素的索引 得到索引之后，将索引位置的值与顺序放置位置交换 直至循环结束 🗝特点：找到最小或者最大元素的索引，通过索引进行元素交换。 1234567891011121314151

Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick