栏目导航
联系我们

【金猿技术展】一种时序数据的高效存储方法

发表时间: 2024-04-11 栏目: ayx爱游戏官网登录

  该技术由TDengine投递并参与“数据猿年度金猿策划活动——2023大数据产业年度创新技术突破榜单及奖项”评选。

  在进行海量时序数据存储方面,传统的大数据处理方案并不是专对于时序数据处理特点进行设计的,因此存储空间占用非常大,随义务的扩张,存储成本也会持续不断的增加。在这种背景下,TDengine 决定研发一种更高效的存储方法,此方法专为时序数据的处理场景设计并优化,它能够高效地存储和管理海量时序数据。通过优化存储结构和算法,TDengine 能够明显降低存储空间占用,还可以在海量数据的情况下保持出色的性能。这也使得 TDengine 成为处理海量时序数据的理想选择,可以帮助企业降低存储成本并提升数据处理效率。

  本发明公开了一种高效的时序数据存储方法,包括:分别存储每个数据采样器采集的时序数据及其静态属性数据;在存储每个时间序列时,根据每个时间序列的唯一ID,存储对应的时间序列数据;在存储静态属性数据时,将静态属性数据独立存储在另一个数据库中,每个数据采样器在存储静态属性数据的数据库中保存一条对应的记录。本发明能节约存储空间,提高处理效率和处理速度,帮助用户灵活地进行查询处理。

  陶建辉, TDengine 的创始人与核心开发 。1994 年到美国留学,1997 年起,先后在芝加哥 Motorola、3Com 等公司从事无线 年初回到北京创办和信,后被联发科收购。2013 年初创办快乐妈咪,后被太平洋网络收购。2017 年 5 月创办涛思数据,专注物联网大数据的处理,产品 TDengine 开源后,在 GitHub 全球趋势排行榜上多日排名第一。涛思数据已获红杉、GGV、经纬、明势资本等多家机构的近 7000 万美元的投资。

  北京涛思数据科技有限公司( TAOS Data ) 瞄准日渐增长的物联网数据市场,专注时序空间大数据的存储、查询、分析和计算,不依赖任何开源或第三方软件,开发了拥有自主知识产权、100% 自主可控的高性能、分布式的物联网、工业大数据平台 TDengine,核心模块是高性能、集群开源、云原生、极简的时序数据库,可普遍的应用于物联网、车联网、工业互联网、IT运维等领域。公司已申请多项技术发明专利,且全部提交 PCT 专利申请。

  在中移物联网的智慧出行场景中,需要存储车联网设备的轨迹点,还要支持对车辆轨迹进行查询。为了更好地进行数据处理,我们在 2021 年上线了 TDengine 2.0 版本的 5 节点 3 副本集群。3.0 发布后,它的众多特性吸引着中移物联网进行了大版本升级。目前中移物联共创建有 102 万张子表,已经累积的总数据量已达到了 2000 亿行,3 副本,磁盘占用 3.1TB,在迁移到 TDengine 3.0 之后,各方面的表现如下:业务的写入峰值达到了 1.2-1.3w 行/s ,数据迁移的过程中能够达到 20w 行/s,这一些状况下 TDengine 都可以轻松处理;存储大约只有 MySQL 的 1/7;读取数据性能也很突出,我们最常用的单设备单日查询,可以在 0.1s 内返回结果。

  为了给用户更好的提供更好的补能体验,蔚来能源在加电基础设施上进行了大量的投入,需要对设备做更高效的管理,业务诞生之初其用作数据存储的选型是 MySQL + HBase,MySQL 存储设备最新实时数据,HBase 存储设备原始数据。随着换电站和超充站等设备在全国的快速布局,设备数量持续增长,积累的数据量慢慢的变多,长时间跨度数据查询效率出现瓶颈,再加上查询场景不断丰富,HBase 已经没办法满足当前业务需要。接入 TDengine 改造完成后,查询速度提升明显,从使用 HBase 查询单设备 24 小时数据的秒级返回,到使用 TDengine 查询查询相同数据的毫秒级返回;每天增量数据占用的存储空间相当于原来使用 HBase 时的 50%;集群计算资源成本相比使用 HBase 节省超过 60%。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  某知名院校采购清单被曝光,一套实验工位预算高达3000,网上搜只要几百

  5月1日起,电动车、摩托车、三轮车上路“5大件”缺一不可,处罚明确了!

  万科济南总经理肖劲被带走调查,加入万科15年,曾表示个人性格不能接受第二

  欧冠刺激1夜:2场轰10球!皇马3-3绝平曼城,拜仁2-2被阿森纳扳平

  #教育的目标是培养人上人吗 #怎么样看待吃得苦中苦方为人上人观念 #谈谈有话说

  孩子午睡#幼儿园午休拍到这一幕 #山东dou知道 #正能量 #宝宝午睡