orczhou.com

  • 云数据库行业动态@2022-04-29

    重要更新

    01 Aurora Serverless GA，阿里云公测上线

    本周，AWS Aurora提供了全新的Serverless能力（v2正式GA）；同时，阿里云RDS MySQL Serverless也已经公测上线，感兴趣的可以去申请试用。AWS Aurora新的Serverless将提供亚秒级（fraction of a second）的扩展能力，为系统压力峰谷明显的应用提供更低的成本。主要场景包括，压力难以预计的系统、多租户的SaaS系统、大型企业内复杂/混合的系统等。当前支持MySQL 8.0和PostgreSQL 13兼容版。不过，这个功能自2020年re:Invent宣布，到现在正式GA，历时一年半，比预期的要久很多。

    02 常熟农商行核心系统上线OceanBase

    据可靠消息确认，这次是的银行核心业务切换到OceanBase，还是有里程碑意义的，从公开材料看到，项目周期也非常长，从2018年开始，先是周边系统建立信任，再是十几个月的核心系统改造与测试验证，最终上线，恭喜OceanBase，代表国产数据库走出的坚实的一步。（不确定做业务改造团队是哪家，长亮？改造也是非常关键的一部分）

    03 袋鼠云推出自主开源计划DTstackCon

    开源主要产品包括：

    • chunjun(原名FlinkX)–批流一体大数据同步引擎：这是非常不错的项目，2900 stars，不过改名字还是对产品品牌有一定影响的，当然，这可能与Flink本身的品牌保护有关。
    • Taier–大数据分布式任务调度系统
    • molecule–轻量级Web IDE UI 框架
    • 项目地址：https://github.com/DTStack

    04 BigQuery支持LOAD DATA传输跨云数据

    BigQuery Omni支持使用简单的LOAD DATA语句实现跨云数据传输。通过使用SQL的方式将AWS S3、Azure Blob中的数据安全、高效的导入BigQuery的存储和计算节点中。多云、开源是Google云的核心战略，作为美国市场第三的位置，Google在想各种策略将其他云的数据放到GCP上来计算，大概是Google版的“东数西算”战略吧。

    LOAD DATA INTO `mydataset.test_csv` (Number INT64, Name STRING, Time DATE)
PARTITION BY Time
FROM FILES (format = 'CSV', uris = ['s3://test-bucket/sampled*'], skip_leading_rows=1)
WITH CONNECTION `aws-us-east-1.test-connection`

    05 华为云发布新的GaussDB品牌视频

    目前华为云数据库应该算有两个品牌：GaussDB、openGauss，从品牌的角度还是比较容易混淆的，并不利于传播。似乎是这样：GaussDB是华为云上自研的统一数据库品牌，包括了GaussDB for MySQL、for Mongo等。openGauss则是一款开源关系型数据库，一方面外部生态在使用，另一方面华为云GaussDB也基于openGauss推出了对应的产品。另外，注意到，最近华为云正式对外宣布openGauss在邮储银行上线。

    06 Azure Data Studio新增数据迁移扩展

    Azure Data Studio新增数据迁移扩展，可以帮助用户便捷的将本地管理的SQL Server数据库迁移到Azure的云数据库SQL Server上。Azure Data Studio是由微软提供的开源的、跨平台的SQL Server管理工具。自家的工具都承载着为自家云引流的责任。

    07 实时数仓SelectDB完成超3亿元融资

    定位云原生实时数仓厂商，飞轮科技完成超3亿元天使轮和天使+轮融资。创始团队主要来自百度Doris、奇安信大数据等团队。做实时数仓这个方向的团队似乎已经非常多了，是“百家争鸣”还是“军阀混战”，还要再看一段时间。不过据小道报道，Doris后面还会有故事… 拭目以待

    更新详情

    • [Azure] Azure Data Studio新增数据迁移扩展
    • [Azure] Cosmos DB for MongoDB提供通过API重建唯一索引的能力
    • [AWS]  Aurora Serverless v2 正式GA
    • [AWS] Glue提供基于规则匹配和机器学习的敏感信息发现功能
    • [AWS] 图数据库Neptune提供免费试用
    • [GCP] BigQuery Omni支持使用简单的LOAD DATA语句实现跨云数据传输
    • [GCP] Cloud SQL for PostgreSQL开始支持大版本的原地升级功能
    • [GCP] BigQuery开始支持使用SEARCH函数的搜索功能
    • [OceanBase] OBCA进行了一次升级，更新了考试内容与教材
    • [OceanBase] 常熟农商银行核心系统开始上线OceanBase
    • [zCloud] 云和恩墨数据库云管平台 zCloud支持OceanBase
    • [阿里云] RDS PostgreSQL云盘版只读实例降价，其中包年包月降价幅度45%，按量付费降价幅度17%
    • [阿里云] RDS SQL Server企业集群版支持备库可读
    • [阿里云] RDS MySQL Serverless 正式上线，免费公测中
    • [腾讯云] 云数据库 MySQL支持智能参数调优（内测）
    • [腾讯云] 云数据库MySQL支持TXRocks引擎
    • [火山云] 云数据库MySQL支持了实例降配功能
    • [袋鼠云] 推出自主开源计划：DTstackCon
    • [华为云] 华为云数据库发布新的GaussDB品牌视频

    最后，祝大家五一快乐，劳动节多劳动。

  • 实测Aurora Serverless v2

    Aurora自2014年发布以来，一直是AWS的最核心数据库产品，而Serverless则是这个产品最重要的功能之一了。在2018年08月，Serverless功能刚刚GA，当时做过一次测试（参考）。在2020年底的re:Invent上，Andy Jassy宣布Aurora发布Serverless v2，时隔一年半，终于GA，一起来看看实际效果怎样吧。

    在最近看到该功能的介绍文章中，使用了”几分之一秒内扩展”、” scales instantly and nondisruptively “等描述，对此，我是保持怀疑的，这也要实测一下的原因，从一个用户感受的角度，看看一次升级(scaling)需要多长时间。

    测试结果概述

    • 在这次实际测试中，新的Serverless v2，可以将scaling up的时间降低到10秒级别。系统压力上来后，首次升级(scaling up)花了13秒，之后的几次升级分别花了7秒、4秒、10秒等。在这几秒内，Aurora需要完成监控采集、分析与决策，变配动作完成等动作。于用户侧，系统压力突增时，10秒内Aurora就会完成升级，这是非常实用和强大的。
    • 相比4年前GA版本数分钟级别的升级(scaling)，新的版本提升非常大。不过，与宣传的亚秒级( in a fraction of a second )还有差距的。当然，一种猜测是，”亚秒内”完成的是变配动作本身，不包括监控、决策与命令下发等过程。
    • Scaling down是逐步阶梯式完成的，每次间隔约1分钟，这是符合预期的。
    • 新的版本与旧版本有非常好的兼容性，可以作为旧版本的replica，然后切换为主节点，也就可以完成平滑的升级。新的版本，支持MySQL 8.0和PostgreSQL 13版本。
    • 该功能的客户价值是非常明显的：在更多的业务场景中，可以帮助用户降低成本，同时也可以帮助应对更多的突发流量。另外，云计算的”使命”之一是通过统一的底层资源调度，提升资源利用率，降低资源使用成本，而该功能，在交易数据库的场景，把这个”使命”的粒度降低到了”秒”级别。用好了该功能，在很多场景中，降低50%的数据库成本应该是容易的。
    (more…)

  • 云数据库行业动态@2022-04-15

    重要更新

    TiDB发布了6.0.0版本，TiFlash也正式开源。另外，近期注意到北京银行和中国银联都有与TiDB相关的采购，相信这些项目应该是有了重大进展，能够进入这些银行的生产系统，对一个新的数据库来说应该是重大的里程碑，数据库开发者们，加油！

    Google Cloud发布新产品BigLake，可以帮助用户在统一的平台上使用BigQuery进行湖/仓数据分析，底层则支持多家云厂商，包括AWS、Azure等。GCP希望通过该产品的集成能力以及BigQuery的分析能力，向用户提供统一的接入和分析层，同时向上层数据产品提供统一的数据接口。GCP的云战略和其他云厂商是非常不同的。

    MongoDB近期和AWS签署了一个长期的合作协议，帮助线下用户更好的迁移到Atlas on AWS；Google发起了Data Cloud Alliance，MongoDB等数据存储、分析、服务等厂商加入。MongoDB大概是第三方数据库厂商与云厂商竞合的”标杆”了。

    OpenGauss 发布3.0.0版本。距2.0.0版本发布约一年时间，新的版本在高性能、高可用、高安全、高智能、工具链等基础能力上持续增强。目前，从外部来看，OpenGauss生态和发展是比较良性的，基于OpenGauss的经认证的数据库有：MuDB、Vastbase、MogDB等。

    最近，X-Paxos也正式开源，这是阿里内部多个数据库产品的基础组件之一，有比较高的成熟度。不过，国内云厂商开源，一直都缺乏与商业的联系，也就难以持续投入，”诸君多努力”吧！。

    腾讯云发布新产品数据库备份（DBS），向用户多云环境数据库的连续数据保护、备份服务。是非常不错的产品，但是，总的来说，好卷…

    更新详情

    • [阿里云] RDS SQL Server企业集群版支持备库可读。
    • [阿里云]  RDS SQL Server CloudDBA支持深度检测功能。
    • [阿里云] 阿里云发布韩国数据中心。
    • [阿里云] X-Paxos正式开源。
    • [阿里云] PolarDB MySQL支持通过OSS外表访问OSS数据。
    • [腾讯云] TDSQL PostgreSQL的Oracle兼容功能开始邀请测试。
    • [华为云] 云数据库 GaussDB(for MySQL)配置和修改内网地址。
    • [AWS] Amazon Athena（Iceberg）的ACID功能正式GA。
    • [AWS] Aurora PostgreSQL通过Foreign Data Wrapper支持连接到SQL Server和Sybase。
    • [AWS] DocumentDB (MongoDB）版本开始支持性能洞察功能。
    • [AWS] RDS 计划不再支持Oracle 12c，并计划帮助用户自动升级到19c。
    • [AWS] RDS Proxy支持了Aurora PostgreSQL 13。
    • [Azure] 发布Arm-based处理器（Ampere Altra）的VM实例。
    • [Azure] SQL DB支持在DMV系统视图中查看数据库恢复任务的详细进展情况。
    • [Azure] Cosmos DB优化建议支持分区键的最优选择建议。
    • [GCP] Google发布新产品BigLake（Preview），帮助用户在统一的平台上使用BigQuery进行湖/仓数据的分析
    • [GCP] Cloud SQL Insights支持MySQL（preview）。
    • [GCP] Google发起”云数据联盟”，包括了databricks/mongodb/redis/埃森哲等。
    • Bytebase 正式商业化，Bytebase是一个独立的、开源的、数据库变更版本管理产品.
    • [DataStax] Astra DB发布新的CDC特性，帮助用户便利同步数据到周边系统中。
    • [Oracle] 发布MySQL Shell for VS Code可以连接并在数据库中执行SQL。
    • [TiDB] 发布6.0.0版本，将新增或增强了Placement Rules in SQL、诊断、MPP计算、可用性（CDC、DM）、企业级数据库管理平台等方面能力；另外，TiFlash也正式开源。
    • [OceanBase] 发布在江西人社养老统筹系统的实践。
    • [openGauss] openGauss 3.0.0 版本正式发布。
    • [Oracle] MySQL通过HeatWave引擎提供ML能力，帮助开发者在MySQL中使用机器学习能力。
    • [MongoDB] 云平台Atlas支持在GCP上以”pay-as-you-go”方式使用MongoDB。
    • [MongoDB] MongoDB与AWS签署了一个6年的合作协议，旨在帮助用户更好的迁移到Atlas on AWS。

    其他

    Atlassian发生一个持续一周并且还未修复的服务终端，受影响服务包括Jira、Confluence、Opsgenie Cloud等，受影响客户约400个（总客户数的0.18%）。目前，还在持续修复，当前声称的是一个维护脚本导致的。

    最后，上海加油，其他也不知道该说什么，哎。

  • AWS RDS发布三节点形态，哪些业务场景应该选择？

    去年11月，Amazon RDS推出的新的形态：Multi-AZ Cluster（三可用区三节点）。相比“原来的多AZ”（两个可用区）架构，新的Cluster模式是三节点架构，提供了更低的事务延迟，同时有更好的读扩展能力。国内的云厂商中，阿里云和腾讯云很早就有了三节点形态，一起看看，他们有哪些异同，在实际的业务场景中，哪些情况可以选择这种形态。

    AWS RDS三节点（Multi-AZ Cluster）是什么？

    这里将其主要特点概括如下：

    • 这是一种3*AZ部署模式，而原来的Multi-AZ是2AZ部署或者单AZ部署。
    • 使用了数据库的逻辑复制，而原来的双AZ使用的是EBS层的复制，这就使得Cluster的副本节点都可以直接提供读能力，有更好的读扩展能力。
    • 使用了类似MySQL半同步的复制技术，事务日志网络到达其中任意一个副本主节点事务就可以提交，所以主节点上的事务延迟会降低，性能会提升（对比基于EBS的两节点）。
    • 支持Graviton 2的规格和NVMe-based SSD存储，可以提供更好的性能。
    • 同时支持MySQL和PostgreSQL两个引擎。

    与阿里云、腾讯云数据库三节点的区别

    阿里云RDS提供的“三节点企业版”，支持MySQL引擎，通过Paxos协议（或其变种）同步。相比Amazon的方案，其中一个节点使用了日志存储，成本可以更低；三个节点，只有一个节点提供服务。腾讯云MySQL也支持三节点版本，使用了半同步复制，可以选择异步、半同步或者强同步三种模式，也只有一个节点可以提供服务。

    相比AWS，阿里云与腾讯云的三节点模式都可以由用户自由选择可用区分布，即可以都在一个可用区，也可以分布在两个或三个可用区，给了客户更强的灵活性。

    (more…)

  • 云数据库行业动态@2022年3月

    最近，业余时间都放在《高性能MySQL 第四版》的翻译工作了，以至于这个行业动态已经拖了将近三个月没有更新了。那，今天，我们就一起来看看在2022年的第一个季度，各个厂商的云数据库都有什么新进展吧。

    重点更新

    • Azure Data Studio持续更新，发布了Table Designer、Query Plan Viewer等功能。虽然，SQL Server最权威的管理工具一直是SSMS，不过最近看到MS也在快速更新Azure Data Studio。相比，SSMS，ADS是一个跨平台的产品，可以同时支持Windows、MacOS、Linux，可以看到MS在以云为战略核心之后，开发者、开放、开源都是其核心策略。

    • 火山引擎，自去年12月发布之后，也在快速迭代，最新发布了PostgreSQL的支持，不过，即现在记住火山引擎官网的域名还是有点难度的，不打算改吗？ www.volcengine.com 你们都记得住吗？

    • AWS发布自己的JDBC for MySQL，并推荐客户使用，在全力推Aurora的情况下，又推出自己的JDBC，是在准备随时和Oracle全面脱钩吗？

    • AWS RDS通过类似半同步复制的机制，也推出三节点形态，相比EBS复制，这种逻辑复制可以让Standby有更好的性能，同时可以直接提供读服务：参考

    更新详情

    • [AWS] RDS for PostgreSQL支持了tds_fdw/mysql_fdw
    • [AWS] RDS Multi-AZ Cluster新增更多区域支持 参考
    • [AWS] RDS开始支持 Oracle 21c
    • [AWS] Aurora PostgreSQL支持大版本升级，例如从9.6升级到11.X：参考
    • [AWS] AWS JDBC for MySQL正式GA：参考
    • [AWS] RDS SQL Server 2007标准版支持Always On AG： 参考
    • [AWS] RDS MariaDB开始支持延迟复制：参考
    • [AWS] MemoryDB for Redis开始支持 PrivateLink：参考
    • [AWS] RDS开始支持PostgreSQL 14：参考
    • [MariaDB] 10.9版本发布，将增强JSON支持、异步redo等：参考
    • [Azure] Microsoft Defender支持保护Cosmos DB：参考
    • [Azure] Cosmos DB开始支持MongoDB 4.2 API：参考
    • [Azure] Azure Data Studio发布了Table Designer、Query Plan Viewer：参考
    • [GCP] Memorystore for Redis发布Read Replicas、RDB Snapshots等功能：参考
    • [GCP] Spanner发布了Optimizer v4，提升了二级索引、哈希JOIN等相关功能：参考
    • [GCP] Cloud SQL for MySQL支持了8.0.26，并作为默认版本：参考
    • [GCP] Cloud SQL for SQL Server支持了跨区域的副本：参考；
    • [GCP] Cloud SQL for SQL Server 2019成为默认的SQL Server版本：参考
    • [阿里云] AnalyticDB PostgreSQL发布跨实例数据共享：参考
    • [阿里云] AnalyticDB PostgreSQL发布Serverless实例类型：参考
    • [阿里云] RDS MySQL只读实例支持开启binlog：参考
    • [阿里云] RDS PostgreSQL 14大版本发布：参考
    • [阿里云] Tair（Redis企业版）现已经开放TairTS时序数据结构、TairCpc数据结构：参考
    • [腾讯] TDB for MySQL支持了连接池功能：参考
    • [腾讯] TDB for SQL Server支持了数据库维度多任务并行、备份数据开始商业化计费：参考
    • [腾讯] TDB for PostgreSQL支持了跨可用区容灾、克隆实例、跨可用区创建只读实例等功能
    • [腾讯] TDB for Redis支持了全球复制功能：参考
    • [腾讯] TDSQL-C MySQL 8.0版本增加了只读节点等功能：参考
    • [腾讯] TDSQL PostgreSQL推出Oracle 兼容版的集中式版：参考
    • [腾讯] DTS支持了跨账号实例间数据同步，支持了更多的源/目标的组合：参考
    • [华为云] GaussDB(for Mongo)提供了多种数据迁移方案：参考
    • [华为云] GaussDB(for Redis)包周期（类似于包年包月）实例支持规格变更：参考
    • [华为云] 数据复制服务 DRS 实时同步支持DB2 for LUW 10.5、11.5、PostgreSQL->Kafka等
    • [阿里云] RDS PostgreSQL 支持机器学习MADlib插件：参考
    • [阿里云] 图数据库GDB自动机器学习组件发布：参考
    • [火山引擎] 云数据库 PostgreSQL 版正式发布上线：参考

  • 云数据库行业动态@2022-03-25

    最近，都在和Ningoo一起搞《高性能MySQL 第四版》的翻译工作，以至于行业动态已经拖了将近三个月没有更新了。那，今天，就一起来看看在2022年的第一个季度各个厂商有什么进展吧（是的，2022年第一个季度就要结束了…）。

    重点更新

    • Azure Data Studio持续更新，发布了Table Designer、Query Plan Viewer等功能。虽然，SQL Server最权威的管理工具一直是SSMS，不过最近看到MS也在快速更新Azure Data Studio。相比，SSMS，ADS是一个跨平台的产品，可以同时支持Windows、MacOS、Linux，可以看到MS在以云为战略核心之后，开发者、开放、开源都是其核心策略。
    • 战争还没有结束，更多的数据库相关的大小组织勇敢的表达了自己的观点：
      • Percona’s Stance on Ukraine – Percona Database Performance Blog
      • We stand with Ukraine – MariaDB.org
      • Oracle suspends operations in Russia, SAP pauses sales – REUTERS
    • 火山引擎，自去年12月发布之后，也在快速迭代，最新发布了PostgreSQL的支持，不过，即现在记住火山引擎官网的域名还是有点难度的，不打算改吗？www.volcengine.com 你们都记得住吗？
    • AWS发布自己的JDBC for MySQL，并推荐客户使用，在全力推Aurora的情况下，又推出自己的JDBC，是在准备随时和Oracle全面脱钩吗？
    • AWS RDS通过类似半同步复制的机制，也推出三节点形态，相比EBS复制，这种逻辑复制可以让Standby有更好的性能，同时可以直接提供读服务。

    更新详情

    • [AWS] RDS Multi-AZ Cluster新增更多区域支持
    • [AWS] RDS开始支持 Oracle 21c
    • [AWS] AWS JDBC for MySQL正式GA
    • [AWS] RDS MariaDB开始支持延迟复制
    • [AWS] MemoryDB for Redis开始支持 PrivateLink
    • [AWS] RDS开始支持PostgreSQL 14
    • [MariaDB] 10.9版本发布，将增强JSON支持、异步redo等
    • [Azure] Microsoft Defender支持保护Cosmos DB
    • [Azure] Cosmos DB开始支持MongoDB 4.2 API
    • [Azure] Azure Data Studio发布了Table Designer、Query Plan Viewer
    • [GCP] Memorystore for Redis发布Read Replicas、RDB Snapshots等功能
    • [GCP] Spanner发布了Optimizer v4，提升了二级索引、哈希JOIN等相关功能
    • [GCP] Cloud SQL for MySQL支持了8.0.26，并作为默认版本
    • [GCP] Cloud SQL for SQL Server支持了跨区域的副本
    • [GCP] Cloud SQL for SQL Server 2019成为默认的SQL Server版本
    • [阿里云] AnalyticDB PostgreSQL发布跨实例数据共享
    • [阿里云] AnalyticDB PostgreSQL发布Serverless实例类型
    • [阿里云] RDS MySQL只读实例支持开启binlog
    • [阿里云] RDS PostgreSQL 14大版本发布
    • [阿里云] RDS PostgreSQL 支持机器学习MADlib插件
    • [阿里云] 图数据库GDB自动机器学习组件发布
    • [阿里云] Tair（Redis企业版）现已经开放TairTS时序数据结构、TairCpc数据结构
    • [腾讯] TDB for MySQL支持了连接池功能
    • [腾讯] TDB for SQL Server支持了数据库维度多任务并行、备份数据开始商业化计费
    • [腾讯] TDB for PostgreSQL支持了跨可用区容灾、克隆实例、跨可用区创建只读实例等功能
    • [腾讯] TDB for Redis支持了全球复制功能
    • [腾讯] TDSQL-C MySQL 8.0版本增加了只读节点等功能
    • [腾讯] TDSQL PostgreSQL推出Oracle 兼容版的集中式版
    • [腾讯]  DTS支持了跨账号实例间数据同步，支持了更多的源/目标的组合
    • [华为云] GaussDB(for Mongo)提供了多种数据迁移方案
    • [华为云] GaussDB(for Redis)包周期（类似于包年包月）实例支持规格变更
    • [华为云] 数据复制服务 DRS 实时同步支持DB2 for LUW 10.5、11.5、PostgreSQL->Kafka等
    • [火山引擎] 云数据库 PostgreSQL 版正式发布上线

    另外，原来的个人账号更新都会转移这个账号上，希望更多人以更专业方式来维护，欢迎大家订阅与转发。