新一代大数据引Flink(一)——简单介绍

Flink简介

  • Apache Flink 是一个开源的分布式、高性能、高可用、准确的流处理框架。
  • 支持实时流(Stream)处理和批(Batch)处理,批处理是流处理的一个极限特例。
  • Flink原生支持迭代计算、内存管理和程序优化。

大数据框架概念初级整合

Hadoop

  • Hadoop是一个适合海量数据的分布式存储和分布式计算平台。

  • Hadoop由HDFS,Map Reduce,Yarn三大组件组成。

    • HDFS是一个分布式文件系统
    • MapReduce是一个海量数据计算框架
    • Yarn是一个资源管理和任务调度框架

zookeeper介绍

zookeeper

  • Zookeeper是一个分布式协调服务。
  • 分布式应用程序可以基于zookeeper实现同步服务,配置维护和命名服务等。
  • zookeeper可以保证数据在zookeeper集群之间的数据的事务性一致。
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×