MapReduce整体执行流程详解 MapReduce整体执行流程详解[TOC] MR整体执行流程（Yarn模式）Map端 在MapReduce程序读取文件的输入目录上存放的待处理的文本文件0 客户端程序在submit() 方法执行前，获取待处理的信息，然后根据集群中的参数的配置形成一个任务分配规划 客户端提交切片信息给Yarn，Yarn中的resourcemanager启动MRAppmaster MRAppmaster启 2021-09-28 Hadoop MR Shuffle
JAVA中的Final、Finally、Finalize的区别 JAVA中的Final、Finally、Finalize的区别[TOC] 1、final final修饰符（关键字）被final修饰的类，就意味着不能再派生出新的子类，不能作为父类而被子类继承。因此一个类不能既被abstract声明，又被final声明。 将变量声明为final，可以保证他们在使用的过程中不被修改。被声明为final的变量必须在声明时给出变量的初始值，而在以后的引用中只能读取而不可 2021-09-27 Java
HDFS中常用的压缩算法和区别 HDFS中常用的压缩算法和区别首先我们要明确一点，为什么要进行数据压缩？ Cloudera 提出过数据压缩的基本准则： 是否压缩数据以及使用何种压缩格式对性能具有重要的影响。 需要平衡压缩和解压缩数据所需的能力、读写数据所需的磁盘 IO，以及在网络中发送数据所需的网络带宽。 此外，用到哪些压缩格式，为什么使用这些压缩格式而不是其他的压缩格式？主要考虑到： 文件和压缩算法的组合是否支持可分片 2021-09-27 Hadoop HDFS
Hadoop集群安全模式详解 集群安全模式详解[TOC] 一、什么是集群安全模式？ 其实安全模式就是集群数据都还没准备好时候的一个保护机制！ 二、什么情况下进入安全模式？1、集群启动时必定会进入安全模式 Namenode启动时，首先将镜像文件（**fsimage**）载人内存，并执行编辑日志（**edits**）中的各项操作。一旦在內存中成功建立文件系统元数据的映像，则创建一个新的fsimage文 2021-09-27 Hadoop
HDFS读写流程详解 HDFS读写流程详解[TOC] 一、架构体系什么是HDFS？ HDFS即Hadoop Distributed File System的简称，采用Master/Slave主从结构模型来管理数据。在设计上采用了分而治之的思想，将单服务器无法承受的大量的数据分布在多台服务器上。HDFS主要由Client、NameNode、DataNode，SecondaryNameNode这四部分组成 2021-09-25 Hadoop HDFS
MySQL三范式详解 [TOC] 设计关系型数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。 目前关系型数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴斯-科德范式（BCNF）、第四范式（4NF）和第五范式（5NF，又称完美范式 2021-09-23 Mysql
SQL语句分类及对应的关键字 SQL语句分类及对应的关键字[TOC] SQL语句的全称叫做结构化查询语言，相信所有的java程序员对SQL都不陌生，因为整个java数据库中一直有SQL语句的存在。可能java零基础的小白对于SQL还不是很了解，下面就讲一讲其基础性的知识——SQL语句五种分类，想学习SQL语句的初学者们可以来看看下面的内容。 SQL语句的五种分类分别是DQL、DML、DDL、TCL和TCL，下面对SQL语句的五 2021-09-23 Mysql
Mysql索引详解 Mysql索引详解[TOC] 一、什么是索引 索引是一个单独的、存储在磁盘上的数据库结构，它们包含着对数据表里所有记录的引用指针。使用索引用于快速找出在某个或多个列中有一特定值的行，所有MySQL列类型都可以被索引，对相关列使用索引是提高查询操作速度的最佳途径。 MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。比如我们在查字典的时候，前面都有检索的 2021-09-23 Mysql