Spark是一个快速的、通用的、处理大规模数据的计算引擎，2009年诞生于美国加州大学伯克利分校，在2010年成为Apache的开源项目之一。

Spark是基于Scala语言编写的，支持Scala、Java、R、Python等语言，并提供了上百种高性能的算法，提供了SQL接口、流式计算、图算法、机器学习等完整而强大的技术栈。

Flink是一个面向分布式数据流处理、批量数据处理的开源计算平台，用Java和Scala编写的分布式流数据流引擎，2008年诞生于德国柏林理工大学，在2014年成为Apache的开源项目之一。

Kafka是一个由Scala语言编写的分布式、分区的、多副本的、多订阅者的开源消息系统，由Linkedin公司开发，于2010年成为Apache基金会的顶级开源项目。

Kafka是基于zookeeper协调管理一种高吞吐量的分布式发布订阅消息系统，具有消息生产者、消费者的功能，可以实时处理大量数据（可以处理TB级数据量，每秒100K条消息的传输），同时还支持在线水平扩展，实现高效分布式文件存储。

Spark相关软件下载地址：

此处内容已经被作者隐藏，请输入验证码查看内容

验证码：

请关注本站微信公众号，回复“fgedu”，获取验证码。在微信里搜索“风哥数据库运维”或者“公众号：itpux_com，加风哥微信：itpux-com，进群领免费课程”或者微信扫描右侧二维码都可以关注本站微信公众号。