大数据技术与架构，2019半年文章精选

时间飞逝，到今天为止，2019年就过半了。

大家还记得年初的时候定下的目标吗？

《大数据技术与架构》创立4个月，都是业余时间原创或者筛选优质文章。回想起来，无数次的深夜整理文稿，周末大部分时间也用在了整理和输出高质量文章上。除了大促值班，从来没有感觉到这么累过...

在此对《大数据技术与架构》过去半年里发表过的文章做一个精选分类，方便大家阅读。点击原文，可以跳转到对应的连接。

Flink从入门到放弃之源码解析系列

• 《Flink组件和逻辑计划》
• 《Flink执行计划生成》
• 《JobManager中的基本组件(1)》
• 《JobManager中的基本组件(2)》
• 《JobManager中的基本组件(3)》
• 《TaskManager》
• 《算子》
• 《网络》
• 《水印WaterMark》
• 《CheckPoint》
• 《任务调度及负载均衡》
• 《异常处理》

大数据成神之路-基础篇

• 《HashSet》
• 《HashMap》
• 《LinkedList》
• 《ArrayList/Vector》
• 《ConcurrentSkipListMap》
• 《ConcurrentHashMap1.7》
• 《ConcurrentHashMap1.8 Part1》
• 《ConcurrentHashMap1.8 Part2》
• 《CopyOnWriteArrayList》
• 《CopyOnWriteArraySet》
• 《ConcurrentLinkedQueue》
• 《LinkedBlockingDeque》
• 《LinkedBlockingQueue》
• 《ArrayBlockingQueue》
• 《ConcurrentSkipListSet》

大数据成神之路-进阶篇

• 《JVM&NIO基础入门》
• 《分布式理论基础和原理》
• 《分布式中的常见问题解决方案(分布式锁/事务/ID)》
• 《Zookeeper》
• 《RPC》
• 《Netty入门篇》
• 《Netty源码篇》
• 《Linux基础》

Flink入门系列

• 《Flink入门》
• 《Flink DataSet&DataSteam API》
• 《Flink集群部署》
• 《Flink重启策略》
• 《Flink分布式缓存》
• 《Flink广播变量》
• 《Flink中的Time》
• 《Flink中的窗口》
• 《时间戳和水印》
• 《Broadcast广播变量》
• 《Flink-Kafka-Connector》
• 《Flink之Table-&-SQL》
• 《Flink实战项目之实时热销排行》
• 《Flink-Redis-Sink》
• 《Flink消费Kafka写入Mysql》

Flink高级进阶

• 《FaultTolerance》
• 《流表对偶(duality)性》
• 《持续查询(ContinuousQueries)》
• 《DataStream-Connectors之Kafka》
• 《SQL概览》
• 《JOIN 算子》
• 《TableAPI》
• 《JOIN-LATERAL》
• 《JOIN-LATERAL-Time Interval(Time-windowed)》
• 《Temporal-Table-JOIN》
• 《State》
• 《FlinkSQL中的回退更新-Retraction》
• 《Apache Flink结合Apache Kafka实现端到端的一致性语义》
• 《Flink1.8.0发布！新功能抢先看》
• 《Flink1.8.0重大更新-Flink中State的自动清除详解》
• 《Flink在滴滴出行的应用与实践》
• 《批流统一计算引擎的动力源泉—Flink Shuffle机制的重构与优化》
• 《HBase分享 | Flink+HBase场景化解决方案》
• 《腾讯基于Flink的实时流计算平台演进之路》
• 《Flink进阶-Flink CEP(复杂事件处理)》
• 《Flink基于EventTime和WaterMark处理乱序事件和晚到的数据》
• 《Flink 最锋利的武器：Flink SQL 入门和实战》
• 《Flink Back Pressure》
• 《使用Flink读取Kafka中的消息》
• 《Flink on YARN部署快速入门指南》
• 《Apache Flink状态管理和容错机制介绍》

Hadoop生态圈系列

• 《Hadoop极简入门》
• 《MapReduce编程模型和计算框架架构原理》
• 《分布式文件系统-HDFS》
• 《YARN》
• 《Hadoop机架感知》
• 《HDFS的一个重要知识点-HDFS的数据流》
• 《Hadoop分布式缓存(DistributedCache)》
• 《如何从根源上解决 HDFS 小文件问题》（https://dwz.cn/FqDPpRUc）
• 《Hadoop解决小文件存储思路》（https://dwz.cn/2oCdmCkw）
• 《Hadoop所支持的几种压缩格式》
• 《MapReduce Join》
• 《YARN Capacity Scheduler（容量调度器）》
• 《hadoop上搭建hive》
• 《基于Hadoop的数据仓库Hive基础知识》
• 《Hive使用必知必会系列》
• 《一个小知识点-Hive行转列实现Pivot》
• 《面试必备技能-HiveSQL优化》
• 《HBase和Hive的区别和各自适用的场景》
• 《一篇文章入门Hbase》
• 《敲黑板：HBase的RowKey设计》
• 《HBase读写优化》
• 《HBase在滴滴出行的应用场景和最佳实践》
• 《Phoenix=HBase+SQL,让HBase插上了翅膀》
• 《一个知识点将你拒之门外之Hbase的二级索引》（https://dwz.cn/umfBOZ5l）
• 《Phoenix重磅 | Phoenix核心功能原理及应用场景介绍》
• 《DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解》
• 《Hive/HiveSQL常用优化方法全面总结》

实时计算系列(spark、kafka等)

• 《Spark Streaming消费Kafka数据的两种方案》
• 《Apache Kafka简单入门》
• 《你不得不知道的知识-零拷贝》
• 《Kafka在字节跳动的实践和灾备方案》
• 《万字长文干货 | Kafka 事务性之幂等性实现》
• 《Kafka最佳实践》
• 《Kafka Exactly-Once 之事务性实现》
• 《Kafka连接器深度解读之错误处理和死信队列》
• 《Spark之数据倾斜调优》
• 《Structured Streaming 实现思路与实现概述》
• 《Spark内存调优》
• 《广告点击数实时统计：Spark StructuredStreaming + Redis Streams》
• 《Spark Shuffle在网易的优化》
• 《SparkSQL极简入门》
• 《下一代分布式消息队列Apache Pulsar》
• 《Pulsar与Kafka消费模型对比》
• 《Spark SQL重点知识总结》
• 《Structured Streaming 之状态存储解析》
• 《周期性清除Spark Streaming流状态的方法》
• 《Spark Structured Streaming特性介绍》
• 《Spark Streaming 反压（Back Pressure）机制介绍》
• 《Spark 从 Kafka 读数设置子并发度问题》

规范和系统设计

• 《阿里云10 PB+／天的日志系统设计和实现》
• 《阿里云Redis开发规范》
• 《Java中多个ifelse语句的替代设计》
• 《面试系列：十个海量数据处理方法大总结》

杂谈

• 《作为面试官的一点点感悟，谈谈技术人的成长之路》
• 《成年人的世界没有容易二字》
• 《我最近在关注的事》
• 《真香》
• 《简单说说学习这件事》
• 《20多岁做什么，将来才不会后悔》
• 《2019-05-12最近的总结》
• 《我军新闻联播气势+9999》
• 《周末分享 | 高手的战略》
• 《周末分享 | 快速定位自己的缺点》
• 《周末分享 | 我见过最高级的聪明是靠谱》

很多朋友会在微信私信我问题，因为个人时间着实有限，我会尽力回答大家。但是还是有很多人的提问淹没在了无数条的消息里。对此说声抱歉。

下半年计划，成体系输出更多高质量文章，为粉丝争取更多福利。

感谢各位读者陪伴，你的每一次点赞和转发都是对作者最大的支持！

— THE END —