python Faust流处理库介绍

概念

1、Faust是robinhood在Github上开源的Python流处理库。目前版本是1.10.4。

2、Faust将KafkaStreams的概念引入Python，提供流程处理和事件处理两种模式。 Faust 使用纯 Python，开发者可以使用 NumPy、PyTorch、Pandas 等库进行数据处理。

Faust具有简洁优雅、易用、性能优良、高可用、分布式、高灵活性等特点。目前，Faust 已被用于构建高性能的分布式系统和实时数据管道。

安装方法

Faust需要Python3.6以上，需要可用的Kafka>=0.10服务。使用pip安装：

$ pip install -U faust

一些额外的特性需要额外的依赖，比如rocksdb，在生产环境中可以作为Faust的存储，也可以在开启缓存的时候作为Redis。

本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。