Springboot轻量实时统计服务

Java框架

浏览数:137

2019-3-23

DataM

DataM是基于Spring boot,Redis,Mysql,阻塞队列组成的实时数据采集服务,采用Spring boot作为运行框架,多线程异步执行任务, 并通过线程安全队列缓冲达到较高可用的目的

内容:

使用Redis做消息队列,实时数据上报

data-app-service用于接收http上报数据

data-app-consumer用于接收Redis队列数据

data-app-recover用于恢复数据,直接导入数据库

技能点:

Spring boot异步事件
Redis发布/订阅服务
多线程读取任务
简单数据容灾恢复
数据在线实时采集
消息队列缓冲
数据库表切分
数据库分区表

整体流程:


地址:https://github.com/V-I-C-T-O-…