BigData-Notes README

The project's README from github.com/heibaiying/BigData-Notes. As one markdown file: README.md.

BigData-Notes


大数据入门指南

Hadoop Hive Spark Storm Flink HBase Kafka Zookeeper Flume Sqoop Azkaban Scala

如果需要离线阅读，可以在公众号上发送 “bigdata” 获取《大数据入门指南》离线阅读版！

:black_nib: 前 言

  1. 大数据学习路线
  2. 大数据技术栈思维导图
  3. 大数据常用软件安装指南

一、Hadoop

  1. 分布式文件存储系统 —— HDFS
  2. 分布式计算框架 —— MapReduce
  3. 集群资源管理器 —— YARN
  4. Hadoop 单机伪集群环境搭建
  5. Hadoop 集群环境搭建
  6. HDFS 常用 Shell 命令
  7. HDFS Java API 的使用
  8. 基于 Zookeeper 搭建 Hadoop 高可用集群

二、Hive

  1. Hive 简介及核心概念
  2. Linux 环境下 Hive 的安装部署
  3. Hive CLI 和 Beeline 命令行的基本使用
  4. Hive 常用 DDL 操作
  5. Hive 分区表和分桶表
  6. Hive 视图和索引
  7. Hive 常用 DML 操作
  8. Hive 数据查询详解

三、Spark

Spark Core :

  1. Spark 简介
  2. Spark 开发环境搭建
  3. 弹性式数据集 RDD
  4. RDD 常用算子详解
  5. Spark 运行模式与作业提交
  6. Spark 累加器与广播变量
  7. 基于 Zookeeper 搭建 Spark 高可用集群

Spark SQL :

  1. DateFrame 和 DataSet
  2. Structured API 的基本使用
  3. Spark SQL 外部数据源
  4. Spark SQL 常用聚合函数
  5. Spark SQL JOIN 操作

Spark Streaming ：

  1. Spark Streaming 简介
  2. Spark Streaming 基本操作
  3. Spark Streaming 整合 Flume
  4. Spark Streaming 整合 Kafka

四、Storm

  1. Storm 和流处理简介
  2. Storm 核心概念详解
  3. Storm 单机环境搭建
  4. Storm 集群环境搭建
  5. Storm 编程模型详解
  6. Storm 项目三种打包方式对比分析
  7. Storm 集成 Redis 详解
  8. Storm 集成 HDFS/HBase
  9. Storm 集成 Kafka
  1. Flink 核心概念综述
  2. Flink 开发环境搭建
  3. Flink Data Source
  4. Flink Data Transformation
  5. Flink Data Sink
  6. Flink 窗口模型
  7. Flink 状态管理与检查点机制
  8. Flink Standalone 集群部署

六、HBase

  1. Hbase 简介
  2. HBase 系统架构及数据结构
  3. HBase 基本环境搭建 (Standalone /pseudo-distributed mode)
  4. HBase 集群环境搭建
  5. HBase 常用 Shell 命令
  6. HBase Java API
  7. HBase 过滤器详解
  8. HBase 协处理器详解
  9. HBase 容灾与备份
  10. HBase的 SQL 中间层 —— Phoenix
  11. Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

  1. Kafka 简介
  2. 基于 Zookeeper 搭建 Kafka 高可用集群
  3. Kafka 生产者详解
  4. Kafka 消费者详解
  5. 深入理解 Kafka 副本机制

八、Zookeeper

  1. Zookeeper 简介及核心概念
  2. Zookeeper 单机环境和集群环境搭建
  3. Zookeeper 常用 Shell 命令
  4. Zookeeper Java 客户端 —— Apache Curator
  5. Zookeeper ACL 权限控制

九、Flume

  1. Flume 简介及基本使用
  2. Linux 环境下 Flume 的安装部署
  3. Flume 整合 Kafka

十、Sqoop

  1. Sqoop 简介与安装
  2. Sqoop 的基本使用

十一、Azkaban

  1. Azkaban 简介
  2. Azkaban3.x 编译及部署
  3. Azkaban Flow 1.0 的使用
  4. Azkaban Flow 2.0 的使用

十二、Scala

  1. Scala 简介及开发环境配置
  2. 基本数据类型和运算符
  3. 流程控制语句
  4. 数组 —— Array
  5. 集合类型综述
  6. 常用集合类型之 —— List & Set
  7. 常用集合类型之 —— Map & Tuple
  8. 类和对象
  9. 继承和特质
  10. 函数 & 闭包 & 柯里化
  11. 模式匹配
  12. 类型参数
  13. 隐式转换和隐式参数

十三、公共内容

  1. 大数据应用常用打包方式

:bookmark_tabs: 后 记

资料分享与开发工具推荐


欢迎关注我的博客：https://blog.csdn.net/m0_37809146

BigData-Notes (heibaiying/BigData-Notes)

Searching Database…

17K ·GitHub
BigData-Notes
这是什么？这是一份全面的中文学习指南，涵盖大数据生态体系：Hadoop、Hive、Spark、Storm、Flink、HBase、Kafka、Zookeeper、Flume、Sqoop、Azkaban 和 Scala。
这是一套教程还是参考手册？它是一组按主题整理的 Markdown 笔记，每个主题既讲解概念，也包含集群搭建和 API 使用的实操内容。本质上它是一套自学课程，而不是可以直接运行的代码库。
内容是怎么组织的，我应该从哪里开始？内容按章节组织，从 Hadoop（HDFS、MapReduce、YARN）和集群搭建开始，然后依次学习 Hive、Spark、Storm、Flink、HBase、Kafka、Zookeeper、Flume、Sqoop、Azkaban，最后以 Scala 作为独立的语言入门结束。
跟着学需要有 Java 或 Linux 基础吗？需要。教程默认基于 Linux 环境安装集群，并且全程使用 Java API（例如 HDFS Java API、HBase Java API，以及 Zookeeper 的 Apache Curator 客户端），因此需要具备基本的 Java 和 Linux 命令行使用经验。
这份指南只有中文版吗？是的，全部内容都是中文撰写的。离线阅读版通过微信公众号发布，并没有在 GitHub 上以打包电子书的形式提供。
这份指南适合哪些人？适合刚进入大数据领域的初学者。它提供一条结构化的学习路径，从分布式存储和计算基础，逐步学到流处理和工作流调度。
是否同时涵盖批处理和流处理框架？是的。它涵盖用于流处理和批处理的 Spark（Spark Core、Spark SQL、Spark Streaming）、Storm 和 Flink，同时涵盖用于存储和查询的 Hive 和 HBase。
是否包含集群搭建，还是只讲理论？两者都有。每个主要组件都有专门章节，介绍单机或伪分布式搭建以及完整的集群部署，并且常常结合 Zookeeper 实现高可用，此外还有概念讲解。
为什么在大数据工具之外还包含 Scala？Scala 作为独立的语言入门内容来讲解，因为它是 Spark 开发的原生语言。相关章节涵盖数据类型、集合、模式匹配和隐式转换（implicits）。
结尾的“public content”部分讲什么？它讲解大数据应用常见的打包方式，也就是如何为前面介绍的各类框架打包并部署作业。
What are similar projects?God-Of-BigData, spark, flink-learning, presto, trino, data-science-ipython-notebooks, doris, technology-talk
Which topics is it in?hdfs, hive, bigdata, yarn, hadoop, zookeeper, scala, spark, kafka, data-engineering, big-data, distributed-systems
Creator
heibaiying
Size
23.5 MB
Stars
17K
Updated
CommitFeb 01
Age
7y
Commits · 90 Days