大数据自年走向人们的视野，亦如所有新技术的发展，经历了一波炒作后，由风口回归理性发展。我们可以看到，随着IOT技术的发展和成熟，以及5G业务的全面铺开，数据规模还将持续增长。
新晋技术风口AI、区块链、RPA的发展也都离不开大数据技术。大数据技术将作为一项通用技术，应用在各个角落。同时，大数据技术的发展也由解决数据规模问题，发展到如何更高效地消费大数据，数据的实时性、云上迁移等成为大数据圈的新挑战。我们挑选了一些能应对这些新挑战的有代表性的技术栈，绘制了如下大数据圈生态图，并在下文对主流的技术栈进行了介绍：
OLAP分析引擎：ApacheKylin
ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。ApacheKylin仅需三步，即可实现超大数据集上的亚秒级查询：
定义数据集上的一个星形或雪花形模型在定义的数据表上构建Cube使用标准SQL通过ODBC、JDBC或RESTFULAPI进行查询
Kylin提供与多种数据可视化工具的整合能力，如Tableau，PowerBI等。
Kylin官方社区推荐必读好文：
都是HBase上的SQL引擎，Kylin和Phoenix有什么不同？
Kylin在携程百亿级数据分析中的实践
从ES到Kylin，斗鱼客户端性能分析平台进化之旅
如何在1秒内做到大数据精准去重？
想做大数据实时分析？且看Kylin如何解决
新一代大数据计算引擎：ApacheFlink
ApacheFlink是一款开源分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。Flink在流处理方面具有绝对的优势，提供高吞吐、低延时的计算能力，Exactly-once语义保证数据的准确性，亚秒级别的处理延迟确保业务的快速响应，成为类似阿里巴巴、腾讯、华为、eBay、字节跳动、滴滴、美团点评、字节跳动等知名公司建设流处理平台的首选。
Flink官方社区推荐必读好文：
如果你也想做实时数仓...
Flink客户端操作的5种模式
Flink状态管理及容错机制
FlinkSQL编程实践
FlinkRuntime核心机制剖析
下一代云原生分布式流数据平台：ApachePulsar
ApachePulsar源于Yahoo，年开源，年正式成为Apache顶级项目，集消息、存储和函数式轻量化计算的流数据平台。
技术上采用业界领先的计算和存储分离架构，使用ApacheBookKeeper作为其分片存储，配合层级存储，具备“高吞吐、低延时、分布式强一致、瞬时弹性扩容、Balance-Free、故障自恢复的高可用”等核心特性。
Pulsar官方社区推荐必读好文：
ApachePulsar介绍
ApachePulsar：从消息系统到流原生平台
ApachePulsar项目和社区分享
ApachePulsar的跨地域复制机制介绍
Flink和Pulsar的批流融合
开源的非关系型分布式数据库：ApacheHBase
ApacheHBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。
HBase官方社区推荐必读好文：
再谈HBase八大应用场景
HBase原理
HBase内存管理之MemStore进化论
HBase抗战总结
阿里巴巴HBase高可用8年抗战回忆录
HBase实践
说好不哭，但HBase2.0真的好用到哭
HBase分享
基于HBase和Spark构建企业级数据处理平台
开源分布式NoSQL数据库系统：ApacheCassandra
ApacheCassandra最初由Facebook开发，于年开源。它集GoogleBigTable的数据模型与AmazonDynamo的完全分布式架构于一身，表现出良好的可扩展性和性能。在数据库排行榜“DB-EnginesRanking”中位于宽列存储模型数据库第一名,同时也被Apple,eBay,Netflix,，饿了么等知名国内外公司广泛使用，是当下一种流行的分布式结构化数据存储方案。
Cassandra官方社区推荐必读好文：
一篇文章了解ApacheCassandra是什么
ApacheCassandra快速入门指南
谁说不火-价值百亿Cassandra背后的力量
5个选择Cassandra而非DynamoDB的原因
曾经你对Cassandra的一些误解
本文来源网络整理，不代表本站观点。分享本文章目的在于学习，如有侵权，请邮件告知删除，本站将在收到删除告知信息的情况下，24小时内删除，并给予道歉，谢谢支持！
文库网
