大发快3

Apache Samza流处理器

时间:2017-11-23 14:28:30

    Samza依赖Kafka的语义定义流的处理方式。Kafka在处理数据时涉及下列概念:

 

  Topic(话题):进入Kafka系统的每个数据流可称之为一个话题?;疤饣旧鲜且恢挚晒┫姆蕉┰牡?,由相关信息组成的数据流。

  Partition(分区):为了将一个话题分散至多个节点,Kafka会将传入的消息划分为多个分区。分区的划分将基于键(Key)进行,这样可以保证包含同一个键的每条消息可以划分至同一个分区。分区的顺序可获得保证。

  Broker(代理):组成Kafka集群的每个节点也叫做代理。

  Producer(生成方):任何向Kafka话题写入数据的组件可以叫做生成方。生成方可提供将话题划分为分区所需的键。

  Consumer(消耗方):任何从Kafka读取话题的组件可叫做消耗方。消耗方需要负责维持有关自己分支的信息,这样即可在失败后知道哪些记录已经被处理过了。

  由于Kafka相当于永恒不变的日志,Samza也需要处理永恒不变的数据流。这意味着任何转换创建的新数据流都可被其他组件所使用,而不会对最初的数据流产生影响。

?

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!