银行分布式数据库改造方案实践与探索
日期: 2020-12-13 分类: 跨站数据测试 450次阅读
主题:银行分布式数据库改造方案实践与探索
大纲:
1. 分布式数据库可以带给我们哪些优势或者有哪些不足
2. 对于数据库从业人员推荐哪种开发技能
3. 对于新加入DB相关从业人员,分享经验和建议
4. 分布式数据库下表关联的计算场景,推荐如何把控
5. 从传统数据表迁移到分布式数据库有哪些需要注意的点
听说3306π要搞事情了
是啊,马上要搞3306π深圳站了
啊,是吗?哪天啊,在哪里办,怎么报名?
12月19日,就在深圳南山区海岸城,点文末的原文链接或者扫描二维码就可以报名了,一起来吹吹牛逼。
嘉宾自我介绍
王辉 数据库专家 15年互联网、金融行业架构及IT运维管理经验,专注数据与数据库领域,精于构建系统安全与智能运维体系,善于系统架构优化及全链路分析诊断;丰富的IT项目开发、设计、管理经验;精通关系型数据库MySQL/Oracle、非关系型数据库Redis/MongoDB,近些年主要从事对国产、开源分布式数据库的调研与推广、异构数据库的改造与迁移等相关工作。
01
请问王老师,分布式数据库可以带给我们哪些优势或者有哪些不足吗?
优势:
1) 高扩展:当业务数据不断扩大,性能出现瓶颈,无法通过增加硬件资源获得提升时,分布式数据库可以通过将数据拆分横向扩充方式来解决
2) 高可靠:分布式数据库具备多副本特性,同时基于共识协议可以确保副本的数据一致性
3) 高可用:对于节点故障可以自动切换,无需人工干预,对应用透明
不足:
1) 由于分布式数据库是通过网络将各数据节点链接在一起,因此对网络带宽要求较高,任何网络的延迟等造成的问题都会被放大
2) 分布式事务大部分采用2PC的方式,虽然各厂商的产品都做过优化,但受制于原理,性能依然会有一定的损耗
3) 对特定的对象和语法存在限制,对开发来说有一定的改造成本
4) 成熟度相对较低、学习和运维成本较高
02
王老师经验丰富,作为数据库从业人员,开发技能必不可少,您比较推荐哪种开发技能呢?
基础的Shell脚本语言可以实现简单的自动化运维;phyon语言可以实现更加复杂的自动化、甚至智能化运维管理的要求,非常建议熟练掌握与运用。
03
王老师作为成功的过来人,您对于新加入DB相关从业人员,可以分享下您的经验和建议吗?
1) 培养自己良好的操作习惯,要有敬畏心,切不要凭感觉盲目操作。
2) 培养自己对问题故障处理的思路,对于生产故障,切不要自己过多的思考不能自拔,可通过第一时间询问他人等方式快速处理后,再慢慢分析与研究,把快速处理故障放在第一位。
3) 培养自己记录问题的习惯,通过不断的积累提升自己的写作与分析问题能力。
4) 培养自己不断学习与创新的能力,慢慢体会如何才能更好,更高效,更简单的完成自己的工作。
04
分布式数据库下表关联的计算场景,您推荐如何把控呢?
1) 表关联一般不建议超过3张表以上的链接,需要结合业务场景和业务逻辑,对于分布式数据库表关联一定要采用分片键,这样才能确保数据在各分片节点分别进行关联而不垮分片节点,避免网络广播造成的垮节点数据汇聚开销;
2) 对于非分片表的关联,可以采用建立全局表的方式解决垮节点的问题;
3) 要培养开发人员的能力水平,制度相关开发规范,建立SQL审计流程,尽量避免业务逻辑简单而实现复杂化的现象。
05
请问王老师,从传统数据表迁移到分布式数据库,有哪些点需要注意的吗?
1) 数据库的对象和语法兼容性问题,决定了开发改造成本
2) 迁移后的性能问题,性能至少不能低于原传统数据库
3) 迁移后的数据一致性问题,要反复验证确保数据迁移前后一致
4) 迁移时间窗口及操作风险,根据不同的时间窗口和数据量大小制度不同的迁移方案,同时要避免人为的操作风险
5) 全面的业务测试:包括应用功能、应用性能、稳定性等测试,数据是服务业务的,最终的成功以业务为准,因此在测试阶段,一定要对迁移后的数据做全面的业务验证测试
6) 制作详尽的迁移方案,同时寻找一个完善的迁移工具会事半功倍
7) 制度回退策略,以处理在遇到极端情况只能通过回退才能解决的问题。
总体上要做到数据完整一致性原则,业务稳定运行原则,成本可控原则和回退可信原则。
扫码报名
点击文末“阅读原文”链接亦可报名
参与活动
学习新技能
赢取罗小波新书《MySQL复制技术和生产实践》和爱可生精美杯子
活动规则
在《年轻人不讲武德?12月19日来3306π深圳站学点真本事》下方留言
写下您对本次活动的建议
或是想向嘉宾提出的问题
有效留言被选中后,点赞数超过30
按点赞数排名取前10名
赠送礼品
二者任选其一
关于「3306π」社区
围绕 MySQL 核心技术,将互联网行业中最重要的数据化解决方案带到传统行业中;囊括其他开源技术RadonDB、ClickHouse、Redis、MongoDB、Hbase、Hadoop、ElasticSearch、Storm、Spark等;分享干货知识,即便是赞助商,也要求如此,拒绝放水
除特别声明,本站所有文章均为原创,如需转载请以超级链接形式注明出处:SmartCat's Blog
上一篇: C++实现MD5摘要算法加盐salt值
下一篇: C语言运算符及优先级与结合性
精华推荐