数据库上云:阿里云DTS平滑、快速又安全的方案是如何炼成的 德意志银行的分析报告称,中国84%的企业有意愿上云,认为云是未来。
市场研究机构IDC的报告认为,中国服务器出货量出现10年来首次下滑,企业快速迁移上云是背后主要诱因。
越来越多的企业正将业务系统迁移到云上,享受云端计算带来的服务变革,如高效能运算、弹性扩充套件资源、一站式运维服务等,大大降低企业的使用成本和维护成本。
数据库承载着核心业务,对上云企业而言,最核心的一步是保障数据库高效可靠地迁移。但传统的数据库迁移工具要求数据库在迁移中必须停服,极大影响业务。
阿里云在2015年释出了资料传输服务DTS(Data Transmission Service),如果企业采用DTS,数据库在迁移过程中依然可以正常提供服务。
目前,DTS可支援多达18种资料来源,已完成约40万个数据库上云。
迁移数据库上云,DTS有哪些技术亮点?
DTS支援关系型数据库、NoSQL、大资料(OLAP)、搜索引擎及讯息伫列等资料来源间的资料传输,是一种集资料迁移、资料订阅及资料实时同步于一体的资料传输服务,能够帮助企业实现1)数据库零停机上云、2)资料异地灾备、3)异地多活、4)线上数据库到大资料、搜索引擎、讯息伫列的资料实时同步、5)快取更新、6)异步讯息通知等多种需求。
经过多年技术积累及应用实践,DTS沉淀了诸多优势,能帮助数据库更平滑、安全、快速地搬迁上云。部分场景下,迁移效能可达100Mb/S。
平滑迁移
1、 非侵入式资料实时采集:基于数据库日志解析的技术,DTS实现非侵入式的增量资料实时采集,实现数据库零停机上云迁移。
2、 断点续传:当资料来源、网络或者DTS节点发生异常故障时,支援完善的断点续传机制。故障恢复后,会断点续传未同步资料,避免全量资料重新同步,有效提升上云效率。
快速迁移
1、 分散式并发架构:采用分散式智慧并发模式,根据数据库资料量自动评估并排程多个服务节点并发处理资料流,有效突破单机极限,水平扩充套件系统吞吐量。
2、 智慧分片:对数据库中待迁移表采用多种智慧分片策略,实现表内并发迁移,保证资料传输的并行能力并有效解决数据库写入放大问题。
3、 并行抓取:解耦资料抓取及资料写入模组,实现资料抓取及资料写入的全并行,极大提高系统整体吞吐能力。
安全迁移
1、 容灾守护:具备完善的容灾守护机制,会自动守护所有传输任务,一旦出现任务异常,自动进行容灾切换,快速恢复任务。同时,所有模组采用高可用架构,一旦任一节点发生故障,容灾系统就将故障节点的任务秒级恢复到正常节点。
2、 资料隔离:实现不同任务在计算和储存资源上的完全隔离,保证不同使用者间的资料相互隔离,有效提升资料的安全性。同时,支援数据库的安全连线协议SSL,进一步提升资料传输安全。
40万个数据库上云,DTS已成上云标配
DTS已成为企业数据库上云必备的资料迁移工具,约40万个数据库完成了上云迁移,服务的企业客户遍布各行各业。
例如,“echo回声”APP备受年轻人喜爱,也是全球最大的3D音乐平台。“echo回声”原本通过50多个数据库例项支撑APP和web的日常业务,但随着资料量增长,数据库例项的管理成本越来越大,效能也越来越难以满足业务需求。
阿里云提供ECS+Redis+RDS的组合方案,基于DTS增量日志解析技术,实现“echo回声”数据库不停机线上迁移,所有业务在2小时内迁移完成,核心业务在半小时内切换;基于DTS多对一的迁移能力,对数据库例项进行合并,从迁移前的50个例项整合为20个,大大降低使用和管理成本。
十年磨一剑,阿里云数据库厚积薄发
2011年,阿里巴巴就开始投入DTS研发。而阿里巴巴对数据库的研发投入更是由来已久,早在十年前,阿里巴巴就遇到了资料规模的压力,开始尝试用分散式数据库替代传统数据库,并在全球率先提出去IOE。如今这一理念已被全球企业广泛采纳。
阿里巴巴集团内部已经大规模采用云数据库。2018年天猫双11,阿里云数据库成功应对了100倍的日常压力,支撑起2135亿的总交易额。
除了核心生态产品DTS,阿里云还拥有国内最强大和丰富的数据库产品家族,涵盖了关系型数据库、非关系型数据库、分析型数据库以及生态工具满足使用者不同的数据库应用场景。
阿里云数据库正引领多个前沿技术领域,解决企业核心业务上云的关键难题:
● 云原生数据库技术:PolarDB通过IO路径旁路化、创新的一致性协议、物理复制等技术,实现了领先的云原生数据库能力,价效比是传统数据库的10倍。
● 智慧化数据库技术:DBaaS平台具体多方面的自动化能力,基于人工智能技术,实现了引数自调优、内存使用自调优、故障自处理等。
● 数据库安全技术:国内首家提供BYOK的云数据库服务商,从使用者连线、资料传输,到资料储存,提供了完整的全链路加密。
● 分析数据库技术:AnalyticDB是最快的实时分析数据库,在全球权威分析型基准测试TPC-DS榜单中位列第一名。
随着移动互联网、物联网的发展,资料规模剧增,企业上云成为大势所趋。
PolarDB是由阿里云研发、国内首个云原生数据库,采用储存计算分离、软硬一体化的创新设计,具备快速弹效能力、超大规格、超高可靠性以及两倍于AWS Aurora的效能。目前,已支援企业将线下的MySQL、PostgreSQL和Oracle等数据库轻松迁移至PolarDB,最快数小时就可以迁移完成。
阿里云在数据库领域的相关研究成果也多次入选国际数据库会议。在今年的ACM SIGMOD上,PolarDB相关论文入选,阐述面向大规模流量场景设计的自研储存引擎X-Engine,突破传统资料架构的局限,采用分层储存的全新理念,可以根据资料访问频度将资料合理归位,实现快存快取。
此外,阿里云数据库还获得了全球两大机构认可。2018年,成功进入Gartner数据库魔力象限,成为榜单中首个中国公司。2019年,进入Forrester数据库评估报告《The Forrester Wave™: Database-As-A-Service,Q2 2019》,创造国内公司的最好成绩,进入“强劲表现者(strong performance)”象限。