⭐⭐⭐⭐高并发-高可靠-高性能three-high-import导入系统-高并发多线程进阶
邮箱 : [email protected]
Github : https://github.com/qiurunze123
QQ : 3341386488
QQ群 : 453259026
转载等操作请联系我! 我更希望你在我的基础上重新自己写一版
three-high-import 项目意义在于利用多线程进行千万级别导入,实现可扩展
,高性能
,高可用
,高可靠
三个高,本项目可以在千万级别数据实现无差别高性能数据上报
与导入,与普通导入相比性能提高10倍左右,而且规避风险在偶尔的机器宕机,网络波动等情况出现时,仍能够实现数据一致
,数据可靠
,数据重试
,数据报警
等功能,在一些重要数据
例如: 对账 , 账户金额,账单等,需要每日定时任务而且有高风险的数据实现数据无错误!
多线程从基础到进阶,分析入坑出坑,以及工作实操,最后会分享一个项目,针对如何进行大数据量(经测试几亿数据完全搞的定)进行安全高可用的策略,
示例为高可用高可靠高性能 三高导入系统 DEMO分析 ,如何进行数据分片,数据导入,计算,多线程策略等等 本文属于进阶系列,有问题或者更好的想法可以一起探讨!
一点小建议:学习本系列知识之前,如果你完全没接触过 SpringBoot
、CountDownLatch
、线程池
、工作队列
、工作窃取等
等,那么我建议你可以先在网上搜一下每一块知识的快速入门, 也可以下载本项目边做边学习,
我的项目完全是实战加讲解不想写一堆的文章,浪费我们的生命,你还不懂内层含义,想要明白就边实际操作边学习 加油💪💪
线程池
更新此问题的出发点是 disruptor框架和百度的分布式id生成策略 https://github.com/baidu/uid-generator/blob/master/README.zh_cn.md
https://github.com/qiurunze123/threadandjuc/blob/master/docs/threadinterview.md
千岩万壑不辞劳 远看方知出处高 溪涧岂能留得住 终归大海做波涛 2019/9/24