太极股份申请数据存储及处理专利，有效解决开发成本高的问题并提高数据处理效
热点资讯 2023-12-20 user76241
，据国家知识产权局公告，太极计算机股份有限公司申请一项名为“一种基于异构技术的数据存储及处理方法“，公开号CN117251414A，申请日期为2023年11月。
专利摘要显示，本发明提供了一种基于异构技术的数据存储及处理方法，涉及数据存储技术领域，包括:将以同步工具、分布采集工具以及Kafka消息队列构成数据采集模块采集到的目标数据写入数据湖Hudi后再利用Flink、Spark组件进行离线计算处理；将离线处理结果传输至数据仓库生成离线数据报表；利用计算引擎Flink读取并对Kafka消息队列中的数据以及Mysql同步数据实时计算；使用Apache Druid作为数据查询引擎，以供用户查询离线数据、实时数据处理结果。通过采用多数据模式的存储、Flink流批一体数仓计算架构以及Hudi异构技术栈完成所有离线和实时业务统计，有效解决开发成本够高的问题以及提高了数据处理效率；通过使用Apache Druid作为数据查询引擎实现更高效的数据查询以及分析，而改善数据查询效率。
本文源自:金融界
作者:情报员
郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。
（来源：商业经济网） The End
免责声明：本文内容来源于第三方或整理自互联网，本站仅提供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
-
分类导航
-
-
最新文章
-
本栏文章
-
随机文章
-
友情链接
