1-- Flink Kubernetes Operator 简介 2023
创始人
2025-06-01 16:43:47
0

目录

1.历史发展

2.flink k8s operator 的适用场景

2.1 需要快速部署

2.2 需要高可用性

2.3 需要资源隔离

2.4 需要一定的灵活性

3.Flink k8s operater 的优点

3.1 相对于 yarn 的优点

3.2 相对于 flink native kubernetes 资源管理的优点

3.4.Flink k8s operator 自身的缺点

4.未来发展

5.官方链接


1.历史发展

原图下载:Flink kubernetes operator 发展大事件时间轴| ProcessOn免费在线作图,在线流程图,在线思维导图


2.flink k8s operator 的适用场景

        Flink Kubernetes Operator 是一个用于在 Kubernetes 上运行 Flink 集群的工具。Flink Kubernetes Operator 适用于以下场景:

2.1 需要快速部署

        Flink Kubernetes Operator 可以快速地部署 Flink 集群,而无需手动配置和管理集群。

2.2 需要高可用性

        Flink Kubernetes Operator可以在Kubernetes上实现高可用性,以确保 Flink 集群的稳定性和可靠性。

2.3 需要资源隔离

        Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离,以避免资源争用和干扰。

2.4 需要一定的灵活性

        Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成,可以帮助用户快速定位和解决问题。例如 Kubernetes 的监控和日志记录工具,以提高 Flink 集群的可管理性和可观察性。

3.Flink k8s operater 的优点

3.1 相对于 yarn 的优点

  • 统一运维:不需要单独去维护 HDP 或者 CDH 集群提供 Yarn 服务,而是由运维维护 K8S 即可;
  • CPU 隔离:K8S Pod 之间 CPU 隔离,实时任务不相互影响,作业更加稳定;
  • 存储和计算分离:Flink 计算资源和状态存储分离,计算资源能够和其他组件资源进行混部,提升机器使用率;
  • 弹性伸缩:当前的 flink k8s operator 暂未实现,但用户可以选择 native kubernetes 实现,以便更好地节省人力和物力成本。

3.2 相对于 flink native kubernetes 资源管理的优点

  • 简化部署:不需要用户去管理多个复杂的编排文件;
  • 自动 savepoint : 可设置  savepoint 的周期、保存地址和滚动数量

3.4.Flink k8s operator 自身的缺点

  • 灵活性不够高:因为目前是非云原生的
  • 兼容的版本有限:目前仅支持 Flink 1.13、1.14、1.15和 1.16 版本
  • k8s node 宕机后,恢复慢:flink taskmanager pod 目前不能自动转移
  • 用户体量较少,未知的 bug 较多:目前是 apache flink 独立出来的一个子项目,大部分企业都还是在使用 flink native kubernetes 管理,或者自己二次开发了 flink k8s operator,但没有完全贡献到社区。

4.未来发展


        按照社区对 Flink kubernetes operator 的开发规划,接下来的重心应该是在 Flink native (embedded) k8s integration 上。

 

5.官方链接

GitHub - GoogleCloudPlatform/flink-on-k8s-operator: [DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.

GitHub - apache/flink-kubernetes-operator: Apache Flink Kubernetes Operator

Roadmap | Apache Flink

FLIP-212: Introduce Flink Kubernetes Operator - Apache Flink - Apache Software Foundation

相关内容

热门资讯

前端-session、jwt 目录:   (1)session (2&#x...
linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
nodejs:本地安装nvm实... 一、背景-使用不同版本node的原因 vue3+ts、nuxt3版本,node...
JAVA集合知识整理 Java集合知识整理 HashMap相关 HashMap的底层数据结构:jdk1.8之...
无刷直流电机介绍及单片机控制实... 无刷直流电机介绍及单片机控制实例前言基本概念优势与劣势使用寿命基本结构使用单片机控制实例电子调速器&...
fwdiary(2) dp2 1.传纸条  AcWing 275. 传纸条 - AcWing 走两条路,走一条最大的...
常用的DOS命令 常用的DOS命令 DOS(Disk Operating System,磁...
<C++> 类和对象(下) 1.const成员函数将const修饰的“成员函数”称之为const成员函数,cons...