testing-04

Database

  • 最近,Amazon RDS Custom开始支持了SQL Server。RDS Custom形态一方面提供托管数据库的安装、管理、弹性等能力,另一方面又提供类似自建数据库的OS访问与配置、驱动程序安装等能力。

    这种形态与阿里云数据库提供的MyBase有一些类似,那是不是同类产品呢?我们从一下几方面来看看Amazon RDS Custom。

    面向的场景:Amazon RDS Custom主要是面向一些比较封闭、传统的应用系统,需要对数据库控制、配置都有非常高要求的应用系统,让系统人员可以接触、控制RDS所运行的主机OS,从而完成这类“封闭、传统”的应用系统配置工作。所以,从这个逻辑出发,RDS Custom优先支持的是Oracle,现在又支持了SQL Server,而不是当下最流行的MySQL或者PostgreSQL。

    提供的能力:RDS Custom向用户提供了底层OS的访问权限,可以让用户一定程度上配置和管理数据库的运行环境。普通的RDS是一种全托管的数据库,用户不用关心数据库的安装配置,更不用关心底层的OS运行情况;如果基于EC2/ECS等构建数据库,则需要用户对OS、数据库做完整地管理与配置。可以这样理解,RDS Custom是一种介于这两种形态之间的一种中间形态,一方面RDS Custom提供了托管数据库地安装、管理、弹性等能力,另一方面又提供类似自建数据库地OS访问与配置、驱动程序安装等能力。下图,比较好的概括了相关能力,并给出了对比:

    一些常见的场景:

    • 在安装数据库时需要安装特定的数据库和OS补丁
    • 需要对数据库做一些特殊的配置
    • 应用系统和数据库需要通过文件的方式传输、共享数据

    RDS Custom的一些优势:

    • 安装、备份/恢复、监控/告警等,依旧可以全托管自动化完成
    • 可以在主机上运行自己的软件,例如某些第三方应用程序等
    • 可以按需的自己安装数据库补丁和OS补丁
    • 可以作为从本地环境迁移到全托管环境的一个过渡
    • 可以运行自己的系统脚本,例如监控、诊断、调度等

    与MyBase的异同:

    • 都提供了主机级别的权限,一方面向用户提供了更大自由度定制数据库和运行OS环境,另外也可以在主机上运行一些额外的软件(例如监控agent等)
    • MyBase比较重要的一点是,提供在主机级别超卖率的配置,可以让用户根据自己应用的实际情况去配置,这就可以在一些非性能关键的场景下,获得非常高的性价比。同时,MyBase也基本是全托管的(自动化安装、备份、监控等),使用起来依旧很建档,让客户更加专注于自己的业务系统。
    • 整体上,定位是不同的。RDS Custom核心是解决用户的部分传统应用部署时候对数据库有一些特殊要求的场景,所以,支持的数据库也是Oracle和SQL Server;而MyBase是提供给用户一个更加自主可控的环境,另外,MyBase是以主机为单位购买,也向用户提供更加高性价比的实例选择,基于此,希望通过这种产品形态,让用户放下一些“顾忌”,选择云数据库上云。

    所以,RDS Custom和MyBase这两个形态看起来有些像,但是出发点、形态、使用上差异也都非常大。不过有一点是一样的,都是在一些较为垂直的场景上,帮助用户更加便利、平滑的完成数据库上云。

    参考:

  • 1、云数据库产品能力更新

    • [TiDB] TiDB Hackathon即将开启,主题为「Explore the Sky」:参考
    • [阿里云] 云数据库 Redis 版 – Redis/Tair控制台发布概览页:参考
    • [阿里云] 阿里云表格存储发布支持模糊查询新功能:参考
    • [阿里云] RDS for PostgreSQL控制台上线”一键上云”功能:参考
    • [腾讯云] DTS数据订阅功能支持修改位点:参考
    • [腾讯云] 云数据库 MongoDB支持在控制台对配置参数进行修改:参考
    • [腾讯云] MySQL托管服务优化了参数模板管理、生产购买流程的优化:参考
    • [Azure] 数据库备份数据支持了长达10年的存储保持能力:参考
    • [AWS] DMS服务支持了”Time Travel”功能,可以帮助用户更好的进行数据排查:参考
    • [AWS] DMS提供了新的集成控制台,帮助用户全流程完成上云迁移:参考
    • [GCP] Autoscaling for Cloud Bigtable正式GA:参考
    • [GCP] PostgreSQL 14托管服务正式GA:参考
    • [社区] 3306π 云原生–数据和未来活动在深圳举办:参考
    • MariaDB更新版本发布策略,诸如10.7、10.8这样较大粒度版本,将以3个月左右为周期来更新版本:参考。在云时代,数据库的分发和使用方式已经被彻底改变,相比之前传统软件的研发周期已经不再能够满足开发者的期望了。

    2、其他

    • 字节跳动云服务-火山引擎正式发布,开放的数据库包括:MySQL、Redis托管服务以及数据库传输服务;分析类产品包括:EMRByteHouse(ClickHouse)数据湖分析等。
    • 腾讯云开通巴西圣保罗地区:参考
  • 云数据库行业动态@20211108

    ·

    行业头条

    • 开源产品公司ClickHouse, Inc再次融资2.5亿美元,估值达20亿美金。本轮融资距离公司成立时的5000万美元融资,仅仅只有两个月:参考
    • 数据集成厂商Informatica正式在纽交所上市公司估值85亿美元左右,2020年营收约13亿美金:参考
    • Yugabyte完成1.88亿美金融资,公司估值13亿美金:参考

    头条点评:数据领域最近非常“热”,Informatica再次在纽交所上市估值为85亿美金;而ClickHouse,Inc两个月内连续两次融资,估值就达到了20亿美金。开源软件的对立面已经不是商业软件,而是在与”已经很强大的”云厂商们争夺最后的客户价值

    • [AWS] Babelfish for Aurora PostgreSQL正式GA发布(参考
    • [Azure] SQL Server托管服务(Azure SQL Managed Instance)发布新的Link特性:参考

    头条点评:近期,AWS发布了开源Babelfish,帮助用户从SQL Server迁移到PostgreSQL;微软的Azure SQL托管数据库则发布了新特性”Link”,帮助用户把本地环境或者其他的云的SQL Server迁移到Azure。数据争夺战,是数字化竞争中的关键环节,各个云厂商都在重兵投入。云厂商都发现,水库已经有一定规模,但是引水的渠道好像还不太够

    重要更新

    • 阿里云重磅发布GanosBase,该引擎是李飞飞带领的达摩院数据库与存储实验室联合阿里云共同研发的新一代位置智能引擎,也是首个云孪生时空数据库:参考
    • 2021年数据技术嘉年华推迟一个月到12月23日:参考;袋鼠云/DDIC2021数智行业峰会峰会推迟:参考。(会议推迟大概会是未来比较长时间内的一个常态)
    • 腾讯云数据库”五年6次POC测试,最终拿到农行核心系统项目”:参考
    (more…)
  • Azure数据库的Flexible Server

    ·

    一直对云数据库比较关注,在去年9月份的微软“Ignite”大会宣布推出的托管数据库“Flexible Server”(后面简称”FS”),虽然一直处于Preview状态,但是依据看到在过去一年中,该版本一直在非常快速的更新,猜测该版本应该会是未来开源托管数据库的主要形态(如有微软朋友可以帮回复确认一下),这里对比之前的”Single Server”(后面简称”SS”),对“Flexible Server”做一个概要性的介绍,详细的介绍可以直接阅读本文结尾处链接中Azure的官方文档。

    关于”Flexible Server”的”TLDR”版

    • Flexible Server就是Azure上使用了新一代底层架构的托管MySQL、PostgreSQL服务
    • 早期Azure上开源数据库托管是基于Windows(参考),称作”Single Server”,新版本托管平台基于Linux,称作Flexible Server
    • 该版本是Azure OSS开发者组2019年左右开始开发,2020年对外宣布,当前处于Preview状态
    • 该版本让开发者在管理实例时,具备更大的灵活性,包括:更多的参数管理、维护窗口控制等
    • 支持了多可用区的高可用,对于企业的核心应用来说,这应该是必须的能力
    • 是未来Azure上开源托管产品的主要形态(这是一个猜测)
    • 版本选择上的建议:
      • 当前,连续要求不高的业务,建议选择FS,因为这将是未来的主打形态
      • 如果稳定的、重要的业务,当前还是建议选择SS,毕竟是经过很长时间验证的产品形态

    继续阅读,可以了解更多关于Flexible Server的详细说明

    (more…)
  • 云数据库产品能力更新

    • [Azure] MySQL Flexible Server开始支持跨区域的备份能力:参考
    • [AWS] Aurora 发布 2.10.1版本(注:2.x.x是指兼容MySQL 5.7的版本):参考
    • [AWS] Aurora 发布新版本支持PostgreSQL 12.7版本,PostgreSQL社区该版本发布时间为5月13日(参考),Aurora大概在5个月时间完成小版本跟进:参考
    • [AWS] RDS Proxy开始支持MySQL 8.0版本:参考。使用RDS Proxy支持”连接池”(具备更好的扩展性,参考)、切换更加平滑等。
    • [AWS] RDS PostgreSQL支持13.4、12.8等版本。13.4和12.8社区版本发布时间是08月12日
    • [AWS] MemoryDB for Redis新增11个区域支持:参考
    • [GCP] Cloud SQL的优化建议开始支持闲置实例、规格过大、磁盘不足等建议:参考
    • [GCP] Cloud Spanner开始支持PostgreSQL兼容的接口:参考
    • [GCP] Cloud Spanner支持通过对Query打标而进行性能数据统计:参考
    • [阿里云] AnalyticDB PostgreSQL版开始支持”基础版”实例,大幅降低小规格建仓成本:参考
    • [阿里云] 开始支持MongoDB 5.0版本,在所有云厂商的一方产品中率先支持该版本:参考
    • [阿里云] 杭州、深圳地区金融云RDS开始支持云盘加密功能:参考
    • [腾讯云] TDSQL-C(原CynosDB)开始支持MySQL 8.0:参考
    • [腾讯云] 数据传输的订阅功能开始支持TDSQL MySQL版:参考
    • [华为云] GaussDB(for Redis)开始慢日志、公网SSL加密、Lua脚本等功能:参考
    • PostgreSQL 14正式发布:参考,Percona上的相关解读:参考
    • [OceanBase​] 发布3.2版本;开源发布3.1.1版本

    云产品其他重要更新

    • 阿里云计划在2020年新开韩国和泰国区域:参考
    • Percona再AWS上用Sysbench分别测试了EC2上AMD、Intel、Graviton(ARM)的实例性能情况:参考
    • [AWS] EC2的Mac实例新增更多区域支持:参考。AWS EC2竟然支持MacOS的实例…。
    • [AWS] EC2控制台开始支持从全球视角展示所有相关资源:参考。就问你爽不爽!!
    (more…)
  • 一直以来实现数据库的零数据丢失都是非常有挑战,尤其是跨可用区的场景下。很多核心系统为了实现这一点都投入了大量的智慧和金钱。Amazon RDS在文档都明确的写到,数据库在多AZ之间的数据是保持同步的(注:同步是指数据写入两边要同时写成功,即使一边不可用,已经提交的事务在另一边一定是成功的)。一直以来,我也很好奇Amazon RDS在哪个层面实现的同步复制。

    这个问题原本也是没有太大疑问的,可以推测应该是通过EBS层面的块复制来下。依据有两方面,有一些公开的Amazon RDS一些架构图中可以看到有EBS复制的箭头说明。另外,还有一点,只有通过EBS的复制实现跨可用区数据一致性,才可能在RDS支持的多种数据库,如MySQL、SQL Server、Oracle等,上保持架构上一致。否则,不同数据库类型的高可用和复制架构可能相差很大。

    但是,之前很长时间我还是有一个疑问,Amazon RDS复制到底是在数据库逻辑层实现的还是在EBS物理层实现的。

    既然有上面的猜测,那为什么产生了这个疑问呢?是因为,在Aurora很多的对外介绍材料(包括论文、架构介绍的slide)中,会放一个MySQL架构来突出Aurora的架构优势。这个图一直让我误以为Amazon RDS使用了数据库的binlog的复制。在了解Aurora的时候大家经常会看到如下架构图作为反面案例(参考): (more…)