Greptime :时序数据库的未来在“云”和“AI”

Connor 币安Binance交易所 2023-04-11 116 0

近几年,时序数据库(time-series database)一直是数据库领域的热点,海量时序数据的新解决方案、项目和基础工具都在蓬勃发展美金交易

近日,记者采访了Greptime 联合创始人兼CEO庄晓丹美金交易。他表示,从切入场景来看,时序数据库的市场空间足够大,云原生可观测、IoT 特别是智能汽车、金融市场都驱动着时序数据的大量产生,对便捷和高效处理时序数据的需求越来越强烈。面向未来,云原生数据库和融合AI是时序数据库确定性的趋势。

问题 1:现在数据库市场百花齐放,时序数据库只是其中一个分支美金交易。您怎么去定义这个时序数据库,是不是就加了一个时间标签的数据库?

时序数据库不仅仅是加一个标签,它和文档数据库、图数据库一样,都是面向一些特定领域的数据库美金交易。时序数据库是一种面向时间序列数据的数据库,它主要用于存储和管理各种时间序列数据。它主要处理的是传感器类型的数据,所谓传感器包括软件传感器和硬件传感器。软件传感器比如说监控的数据:每秒的业务 TPS,某台物理机的 CPU、内存指标等。硬件方面,比如各类物联网传感器,新能源汽车上布置的各类传感器,可以将各类传感器数据存储并提供多维检索、分析等能力给用户。

相比传统数据库主要面向各类事务,时序数据库的挑战截然不同,因为要出处理海量数据,数据量相比传统业务可能要高百倍,甚至千倍,比如,我们处理过每秒钟要一亿点写入的监控场景,这是关系型数据库处理不了的美金交易

问题 2:时序数据库是如何诞生起源的美金交易

时序数据库大概是2013年左右逐步兴起的美金交易。时序数据库不是一个新的概念,在工业软件里有生产线监控、能源电网监控、煤矿业有通风管道监控、水务业有水管的压力监控等,对于实时数据的要求比较高,所以,在传统的工业领域一直有实时数据库的概念。

2013年时序数据库兴起的契机是和传感器从工业领域像消费领域延伸分不开的美金交易。比如可穿戴设备、智能汽车和智能家居的兴起,需要通过数据感知层来搜集各类传感器数据,并及时反馈,通过智能化的算法来做预测和智能巡检。从软件架构升级的角度看,2013年开始业界开始流行起了微服务和上云。在云+微服务的架构下,对于数据采集的精度和实时性要求提升。

所以总结来讲,时序数据库的兴起本质上还是软硬件传感器越发的入侵到消费端,在软件架构升级的代际变迁下对监控的需求提升美金交易。伴随物联网的兴起,大量的数据不断产生,时序数据也越来越多,需要对数据进行更好的处理,合理有效利用。

展开全文

问题 3:当时为什么会选择时序数据库这个赛道来创业美金交易

传感器会入侵到所有的行业,大的趋势不会变美金交易。数据感知层的工作是一定要有的,比如ChatGPT已经非常高智能了,仍然需要数据感知层给它提供数据,帮助它训练和决策。所以数据的工作是不可或缺的。如果传感器入侵到所有物理的世界、软件的世界,它要求更实时、精度更高的数据,这个赛道的长期的趋势是向好的。

问题 4:时序数据库在哪些行业上有优势美金交易,或者哪些行业会选择时序数据库?

有三个行业对便捷和高效处理时序数据的需求越来越强烈:一个是泛IOT行业,包括车联网、可穿戴设备、智能家居;一个是可观测行业美金交易。所谓可观测性,是通过分析系统的Metrics(指标)、Traces(链路)、Logs(日志)等数据,构建完整的观测模型,从而实现故障诊断、根因分析和快速恢复。可观测性也是由传统监控演进而来的,所以也包括传统意义上的监控。海外已经有好几家做可观测的公司已经做到几十亿到上百亿美金;第三个行业是金融数据分析,无论是做量化交易、投资研究分析,都是基于历史的基金和股票的数据以及各种宏观数据,做实时的交易决策、量化决策等等。在这三个领域会有一些比较典型的时序的场景。

问题 5:您怎么来看待时序数据库的发展趋势美金交易

首先一个比较大的趋势,是云原生数据库的发展美金交易。现在基本所有的企业都在思考如何降本增效,一些很传统的企业都在考虑上云。时序数据库作为一个基础的数据服务,要能在云上运行,以按需使用的方式快速的帮助业务启动或者业务扩展。而随着数据库上云,以及云原生技术的发展,基于容器和微服务化的应用规模更加庞大,服务之间依赖呈现为网状结构,复杂的云上环境以及分布式系统的复杂性、动态性,使得故障定界、调用追踪非常困难,同时对数据库的安全性以及数据本身的合规性,数据库的自运维性,也会提出更高的要求。

第二个趋势是数据库和AI的结合美金交易。无论是DB for AI或者AI for DB,都为数据库领域打开了一个新发展机会。通过在数据库里面内置一些算法或者通过GPT帮助数据库更好的调优,自适应各种环境,都有很大的发展的空间。

问题 6:时序数据库是数据库中一个很小的分类美金交易,它的市场规模有多大?时序数据库有没有技术路线之争,如果有的话都有哪些路线?为什么选择你们公司现在的数据路线?

如果单纯把时序数据库作为一个数据库的子类别来看的话,可能市场不算大美金交易。但是时序数据库脱离不了场景,脱离不了泛IOT、可观测以及金融数据分析。如果以场景来看这个市场,其实是非常大的。因为场景和应用,和底层的解决方案都是紧密挂钩的,它不是一个可以横向切开的东西,应该是底下是横向的分层,但最上层的业务层更多是纵向的区分。

技术方面最重要的两个趋势,一是云原生数据库的发展,它会开启更极致的成本和更好的使用体验等很多可能性美金交易。第二点还是AI。Greptime一开始的定位就是分布云原生的数据库并且支持时序和分析的混合负载。

问题 7:Greptime时序数据库的典型应用场景能不能分享一下美金交易

首先,在泛IOT领域,主要是新能源车企和工业监控,这之中会有国产信创的要求以及Mysql、Hbase瓶颈的问题,Greptime可以帮助客户解决美金交易

另一个领域是可观测领域,也就是做监控美金交易。云原生时代,要求从系统内部出发,基于“白盒化”的思路去监测系统内部的运行情况,不仅发现问题,更对于问题现象背后本质给出明晰解释。现在在监控领域基本都在用Prometheus和clickhouse来解决时序跟分析的需求。这方面,Greptime有一个混合负载的能力。

第三个是金融领域美金交易。类似web3这样的开放金融是互联网应用,对服务的高可用、微服务的吞吐包括实时的处理能力方面有一些诉求,Greptime也有一些POC的客户在尝试使用。三个领域Greptime都找了一些客户在做POC。

问题 8:您的客户或者说和客户在沟通过程中美金交易,他们在选择时序数据库时都关注了哪些指标?您觉得他们关注的这些指标对不对?有没有什么建议?

客户选择时序数据库的原因美金交易,从产品维度分析主要有两个场景:

一个是原来没有用时序数据库,而是用Mysql、Hbase或者用自己的方案来解决美金交易。但这会遇到存储成本的问题、性能的问题、定制化代码的问题、二次开发的问题等诸多问题,所以会希望能迁移到时序数据库。

第二点是从其他的时序数据库迁到Greptime上来美金交易。客户关注比较多的主要是读写的性能,包括写入的性能,查询的性能。其次是分析能力,包括多表的分析,超长时间范围的分析能力。存储成本和产品是不是开源也是考量因素。

对于客户的建议方面美金交易。现在很多企业可能过多的关注了数据写入的问题,但是忽略了数据的存储成本,以及后续数据的挖掘使用。比如,很多企业把数据存下来之后,以压缩文件的方式存储到云端,后续再做解压缩。如果能用时序的方式、云原生的方式把这些数据存储在云上,通过索引、分布式查询引擎,其实可以达到更好的效果。所以不能仅去考察写入能力,更多的应该去观察数据存储下来之后的挖掘和利用的能力。分析的能力,算法的能力,二次开发的能力,这些也非常关键。

问题 9:您觉得你们公司的优势在哪?因为这个赛道里也有挺多时序数据库的厂商了美金交易,您的优势在哪?

首先,最大的优势是我们处理过巨大的业务场景,1亿点每秒的写入,3千万点每秒的查询,还要求7×24小时没有出过任何P级的故障(注:终端客户感知的故障)美金交易。所以我们有一套非常可靠的时序数据库的架构,并且在时序和分析的融合,结合Python和算法提供二次开发、智能化的能力方面有很多创新。

第二个优势在于,我们是用Rust来做基础软件研发的一家公司美金交易。Rust对比JAVA语言资源占用的 footprint更小,性能更可预测,这一点对基础软件是非常关键的。Rust对比C跟C++来讲也更有安全的保障。我们使用Rust接近五年,是国内非常有丰富实践经验的团队。

问题 10:针对国内时序数据库的发展美金交易,有什么建议?

国内数据库的发展是一个水到渠成的事情美金交易。随着经济进入新常态,在降本增效的大前提下,数字化一定会进入各行各业。国内数据库的发展,是长期向好的。国内的基础软件,国内的企业可以进一步参与全世界的竞争。而要如果想推动时序数据库发展,让更多的企业去接受,还需要国家在各个方面,包括政策引导、人才培养等各方面全维度的去促进,形成比较正向的循环。

庄晓丹

Greptime 联合创始人兼CEO

评论