工业开源实时数据库浅析
创始人
2024-07-22 23:13:52
0

在工业互联网快速发展的前提下,生产现场投放了大量的设备,比如监控、传感器等等,这些设备产生的实时数据能反映设备的情况和生产进度,而对这些数据的处理和分析,则需要数据库的支持。

在工业领域, 生产、测试、运行阶段都可能会产生大量带有时间戳的传感器数据,这都属于典型的时序数据。时序数据主要由各类型实时监测、检查与分析设备所采集或产生,涉及制造、电力、化工、工程作业等多个行业,具备写多读少、量非常大等典型特性。

写入吞吐低:单机写入吞吐量低,很难满足时序数据千万级的写入压力存储成本大:在对时序数据进行压缩时性能不佳,需占用大量机器资源维护成本高:单机系统,需要在上层人工进行分库分表,维护成本高查询性能差:查询速度慢,尤其是海量实时数据的聚合分析性能差

一、工业互联网时序数据库的需求与痛点

主要问题可以汇总如下:

  • 写入吞吐低:单机写入吞吐量低,很难满足时序数据千万级的写入压力;
  • 存储成本大:在对时序数据进行压缩时性能不佳,需占用大量机器资源;
  • 维护成本高:单机系统,需要在上层人工进行分库分表,维护成本高;
  • 查询性能差:海量实时数据的聚合分析性能差。

需要支持的特性:

  • 功能稳定
  • 高效的数据写入
  • 高效的数据查询,包括最新数据和历史数据
  • 可云化部署
  • 可私有化部署
  • 线性扩展
  • 高可用
  • 便于连接大数据平台
二、数据源需求

从数据源角度,设计人员可以从下面几个角度分析在目标应用系统里面的适用性。

  • 总体数据量巨大
  • 数据输入速度偶尔或者持续巨大
  • 数据源数目巨大
三、架构

随着时序数据库产品的引入,减少了组件数量,降低架构的复杂度,同时降低了存储成本,提升业务响应实时性,降低了人员要求,释放了业务创新能力。

四、收益与价值

高性能,可以支持百万级别的并发写入、万级的并发读取,大量聚合查询时依然有高性能表现高可用,可支持集群部署,可横向扩展,不存在单点故障,为生产环境稳定运行提供基础低成本,数据库对硬件资源要求低,数据压缩率高,平均至少节省 70% 的硬件资源充分利用时序数据的特点,高度一体化,具备消息队列、流式计算和缓存的功能,大幅简化架构易上手,使用 SQL 进行数据库操作,简单易学,支持复杂查询,减少开发难度和运维压力。

五、系统分析

实时数据库是数据和事务都有定时特性或显示的定时限制的数据库‚在结构和功能上是根据实时数据库的性质以及实时数据在使用方式上的特点而设计的‚其中一些功能是标准的关系型数据库所不具备的。在本系统中根据实时数据库的结构和功能特点‚将实时数据库设计分为实时数据库结构设计和实时数据库管理程序设计两部分。

六、收益与价值

  • 高性能,可以支持百万级别的并发写入、万级的并发读取,大量聚合查询时依然有高性能表现
  • 高可用,可支持集群部署,可横向扩展,不存在单点故障,为生产环境稳定运行提供基础
  • 低成本,数据库对硬件资源要求低,数据压缩率高,平均至少节省 70% 的硬件资源
  • 高度一体化,具备消息队列、流式计算和缓存的功能,大幅简化架构
  • 易上手,使用 SQL 进行数据库操作,简单易学,支持复杂查询,减少开发难度和运维压力
七、行业应用

在工业互联网快速发展的大背景下,工业生产现场投放了大量的设备传感器和监控系统,二者提供的实时数据能够反映设备的状态和生产的进度,其中的大多数据都是按照时间顺序形成的实时数据,这些海量实时数据有着多样化的分析需求和重要的参考价值。

未来希望数据库可以提供更复杂的流式计算、查询分析以及监测预警等能力,可以为产品的可视化运维、预测性维护、远程智能管理等方面提供数据依据,从而降低人员、时间等成本,加速工业化与信息化的深度融合,促进复杂重型装备制造业的转型升级,产生社会经济效益。

本文由 @Nate 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务

相关内容

从拼算力到拼电力:AI重塑...
来源:证券时报 每一届夏季达沃斯,“能源”都是绕不开的话题。但在2...
2026-06-25 09:32:00
下一代数据库技术展现大幅减...
钛媒体App 6月25日消息,为破解人工智能(AI)智能体常见的“...
2026-06-25 09:29:24
“AI幻觉”一本正经地胡编...
“AI幻觉”一本正经地胡编乱造,侵权责任谁担? “AI幻觉”指大语...
2026-06-25 09:28:06
搜狐AI健康 | 真人医生...
图说 / 蚂蚁旗下健康AI产品蚂蚁阿福近期正式推出“医生把关”功能...
2026-06-24 09:57:21
6月23日锡业股份跌7.5...
证券之星消息,6月23日锡业股份(000960)跌7.54%创60...
2026-06-23 22:05:46
城市词元工厂落地 焕新AI...
(图片来源:摄图网) (记者 杜峰)近日,在四川自贡举行的“202...
2026-06-23 19:15:39

热门资讯

2024云栖大会|阿里云升级无... 北京商报讯(记者魏蔚)9月20日,阿里云无影AI云电脑在2024云栖大会上展出,该版本基于最新的终端...
MWC2025荣耀多款AI技术... 人民财讯3月6日电,2025世界移动通信大会(MWC 2025)上,荣耀MagicBook Pro ...
原创 2... #春日生活好物种草季#近年来,笔记本电脑市场迎来技术爆发期,尤其在手机厂商跨界入局后,轻薄本在性能、...
摩尔线程发布AI算力笔记本MT... 钛媒体App 12月20日消息,摩尔线程创始人、董事长兼CEO张建中在摩尔线程首届MUSA开发者大会...
摩尔线程AI生图摩笔马良全新升... 快科技8月7日消息,作为国产GPU的杰出代表,摩尔线程在当下火爆的AIGC浪潮中也推出了自己的软硬一...
微软 Azure AI 语音服... IT之家 8 月 23 日消息,微软Azure AI 语音服务允许开发者构建多语言生成式 AI 语音...
谷歌打磨 Gemini AI ... IT之家 8 月 31 日消息,谷歌于 8 月 27 日发布博文,宣布旗下 Gemini AI 支持...
青云QingCloud Kub... 日前,青云科技宣布开源 Thanos 的企业级发行版 Whizard,为企业带来真正高可用、可扩展、...
Macos系统上一款强大的卸载... App Cleaner mac中文版是Mac os系统上一款强大 的mac卸载工具,以帮助您完全卸载...
AMD锐龙AI 9 HX 37... 2024年6月3日,AMD正式发布全新的锐龙AI 300系列处理器。该系列处理器一经发布就引发大家的...