背景/Background/
数据库容量随着业务的发展，用户的增长，写入的数据越来越多。开发商对数据入库没有估算，存储使用和表空间规划不准确，导致存储使用紧张，没有趋势可寻，处理没有计划都是紧急需求，没有长远规划和参考。
基于上述背景，河南公司多举措推动数据库“稳中求减”，构建“高计算能力、高IO吞吐量”数据库，淘汰落后产能，增强数据共享能力，推动核心数据库由传统烟囱式向弹性共享服务模式演进。积极研究数据库云化实施方案，依托数据库新技术和新产品，构建数据库资源池，实现分布式部署、资源共享、安全能力增强，提升数据库系统高可用性以及弹性扩展能力。
措施内容及效果/Effect/
1.举措一：数据库性能挖掘
随着业务的高速发展，数据库中的数据急剧增长。为提升数据库性能，解决存储资源紧缺的问题，通过深度分析数据库对象使用情况，识别低效无效资源，推动数据库瘦身工作开展，助力公司降本增效。
（1）数据库冷热表分析
建立数据库冷热表监控机制，实现对数据库中各表访问热度的实时监控，为热表优化、冷表资源整合等提供依据。
（2）索引热度分析
建立索引监控机制，实时监控大于M的索引使用情况。
成效：
年监控分析数据库表张，其中冷数据表张，占比48.25%，针对大于3G的表提供业务侧清理整改，清理数据后释放存储空间2.84T。共梳理营业A、C库共计个低效索引，提供业务侧优化整改，释放存储空间GB。
2.举措二：数据库架构演进
为响应集团公司去“IOE”号召，助力降本增效和智慧中台工作开展，数据库专业推动核心数据库架构演进，采用X86服务器替换传统小型机。
年共完成8套核心库升级改造工作，其中包含4套营业前台库、1套账务B库、2套业务拆分数据库CRMHB和CBOSS以及池化改造数据库NGKF，共计迁移数据量约54.07TB。
成效：
1、升级完成后，CPU使用率同比降低50%，数据库整体性能提升6倍，支撑业务高效低成本运营。
2、年架构优化后，核心为响应集团公司去“IOE”号召，助力降本增效和智慧中台工作开展，数据库专业推动核心数据库架构演进，采用X86服务器替换传统小型机。
年共完成8套核心库升级改造工作，其中包含4套营业前台库、1套账务B库、2套业务拆分数据库CRMHB和CBOSS以及池化改造数据库NGKF，共计迁移数据量约54.07TB。
库下线高成本、老旧小型机共44台。采用高I/O并发的全闪存技术替代磁盘阵列式存储，共计节约硬件和运维成本.2万元。提升支撑效率：随着业务量的增长，采用老旧设备支撑下的各系统平均CPU使用率超70%，性能瓶颈严重制约业务发展。核心数据库架构改造后，所有数据库系统性能提升均超6倍，数据响应速度大幅提升，平均业务处理效率提升2倍以上，成功实现“高可用性、高可扩展性、自动负载平衡”的数据库新架构。
3.举措三：VERTICA数据库架构优化
经分VERTICA数据仓库数据量快速增长（最大数据量约1.6PB），故障节点全量数据恢复耗时9小时以上，且恢复过程中影响业务性能。为了提升故障节点数据恢复服务级别，需降低单节点存储数据量或升级优化数据库架构。
将Vertica数据仓库集群由93节点扩容至节点，以地市数据集市业务场景为试点，以实现弹性吞吐量缩放（ETS）为目标，基于X86服务器部署计算存储分离新一代MPP架构的Vertica租户集群，通过划分子集群的方式支撑地市数据集市、开发环境等更多不同业务场景的需求，资源共享，集群弹性扩展，计算存储分离，彻底解决单节点全量数据恢复带来的问题。
成效：
使各节点数据由原来13TB/节点降低至8.7TB/节点，存储空间使用率下降33%，进一步提高集群安全性，单节点故障恢复时间缩减3小时。数据加载性能提升20%,话单数据汇总等重点业务效率提升40%。
4.举措四：自研一体机，推进数据库向弹性共享服务转型升级
河南公司对标市场主流商用一体机，基于X86服务器自主研发“高计算能力、高IO吞吐量”数据库一体机，推动数据库由传统烟囱式向弹性共享服务模式转型。以营业系统核心数据库为试点，用跨异构平台实时数据同步技术，采取事前、事中、事后多重风险管控手段，零丢失迁移25T数据。助力技术中台底层架构建设，加快弹性计算平台应用，推动业务高效低成本运营。
成效：
数据库升级完成后，整体性能提升6倍,前端业务处理效率提升2倍，节约硬件投资成本万元、运维成本节约万。高效提升IT系统自主可控能力，助力公司降本增效工作开展。
5.举措五：数据库“减法”
（1）容量减法：对核心库进行TOP大表分析、清理，通过历史表迁移、缩短年月表存放周期等。
（2）性能减法：合理增加/调整索引、简化业务逻辑、SQL语句重构、进行批量进程优化，
（3）套数减法：利用Oracle19C多租户特性,构建14套数据库资源池，推动数据库池化工作，从“传统分散支撑模式”向“池化支撑模式”转型，减少应用烟囱，实现资源共享。
成效：
1、合计清理数据48.21T，迁移数据量29.73T，其中营业库36.34T，账务库2.67T，电渠库3.28T，KC库6.4T。VERTICA数据仓库清理数据TB，下线表张。
2、共优化条低效SQL，在业务规模同比增长45.69%情况下，CPU使用率同比降低6.21%。
3、数据库支撑能力提升5倍，整合72套传统数据库，总套数减少60套。
投稿单位：河南公司