一种分布式实时计算系统中计数对账的方法及装置,申请号CN201610889993.1-传众专利搜索

一种分布式实时计算系统中计数对账的方法及装置

申请公布号：CN106445790A

申请号：CN201610889993.1

申请日期：2016.10.12

申请公布日期：2017.02.22

申请人：

北京集奥聚合科技有限公司

发明人：曾攀;范卫卫;温宗臣

分类号：G06F11/30(2006.01)I;G06F17/30(2006.01)I

主分类号：G06F11/30(2006.01)I

代理机构：

北京和信华成知识产权代理事务所(普通合伙) 11390

代理人：胡剑辉

地址：100085 北京市海淀区上地东路1号院5号楼9层901

摘要：本发明公开一种分布式实时计算系统中计数对账的方法，其实现了实时计算中计数对账过程中时间维度的可控性，规避mysql锁争用问题。该方法包括：(1)创建存储spout和bolt计数的数据库表；(2)spout处理过程中对消息进行计数并定时将计数信息刷新到mysql数据库；(3)bolt处理过程中对消息进行计数并定时将计数信息刷新到mysql数据库；(4)topology部署到storm集群，终止topology时在spout的关闭方法和bolt的清除方法中加入刷新数据库的操作。还有分布式实时计算系统中计数对账的装置。

主权项：一种分布式实时计算系统中计数对账的方法，其特征在于：该方法包括以下步骤：（1）创建存储spout和bolt计数的数据库表；（2）spout处理过程中对消息进行计数并定时将计数信息刷新到mysql数据库；（3）bolt处理过程中对消息进行计数并定时将计数信息刷新到mysql数据库；（4）topology部署到storm集群，终止topology时在spout的关闭方法和bolt的清除方法中加入刷新数据库的操作。