• Aurora自2014年发布以来,一直是AWS的最核心数据库产品,而Serverless则是这个产品最重要的功能之一了。在2018年08月,Serverless功能刚刚GA,当时做过一次测试(参考)。在2020年底的re:Invent上,Andy Jassy宣布Aurora发布Serverless v2,时隔一年半,终于GA,一起来看看实际效果怎样吧。

    在最近看到该功能的介绍文章中,使用了”几分之一秒内扩展”、” scales instantly and nondisruptively “等描述,对此,我是保持怀疑的,这也要实测一下的原因,从一个用户感受的角度,看看一次升级(scaling)需要多长时间。

    测试结果概述

    • 在这次实际测试中,新的Serverless v2,可以将scaling up的时间降低到10秒级别。系统压力上来后,首次升级(scaling up)花了13秒,之后的几次升级分别花了7秒、4秒、10秒等。在这几秒内,Aurora需要完成监控采集、分析与决策,变配动作完成等动作。于用户侧,系统压力突增时,10秒内Aurora就会完成升级,这是非常实用和强大的。
    • 相比4年前GA版本数分钟级别的升级(scaling),新的版本提升非常大。不过,与宣传的亚秒级( in a fraction of a second )还有差距的。当然,一种猜测是,”亚秒内”完成的是变配动作本身,不包括监控、决策与命令下发等过程。
    • Scaling down是逐步阶梯式完成的,每次间隔约1分钟,这是符合预期的。
    • 新的版本与旧版本有非常好的兼容性,可以作为旧版本的replica,然后切换为主节点,也就可以完成平滑的升级。新的版本,支持MySQL 8.0和PostgreSQL 13版本。
    • 该功能的客户价值是非常明显的:在更多的业务场景中,可以帮助用户降低成本,同时也可以帮助应对更多的突发流量。另外,云计算的”使命”之一是通过统一的底层资源调度,提升资源利用率,降低资源使用成本,而该功能,在交易数据库的场景,把这个”使命”的粒度降低到了”秒”级别。用好了该功能,在很多场景中,降低50%的数据库成本应该是容易的。
    (more…)
  • 重要更新

    TiDB发布了6.0.0版本,TiFlash也正式开源。另外,近期注意到北京银行和中国银联都有与TiDB相关的采购,相信这些项目应该是有了重大进展,能够进入这些银行的生产系统,对一个新的数据库来说应该是重大的里程碑,数据库开发者们,加油!

    Google Cloud发布新产品BigLake,可以帮助用户在统一的平台上使用BigQuery进行湖/仓数据分析,底层则支持多家云厂商,包括AWS、Azure等。GCP希望通过该产品的集成能力以及BigQuery的分析能力,向用户提供统一的接入和分析层,同时向上层数据产品提供统一的数据接口。GCP的云战略和其他云厂商是非常不同的。

    MongoDB近期和AWS签署了一个长期的合作协议,帮助线下用户更好的迁移到Atlas on AWS;Google发起了Data Cloud Alliance,MongoDB等数据存储、分析、服务等厂商加入。MongoDB大概是第三方数据库厂商与云厂商竞合的”标杆”了。

    OpenGauss 发布3.0.0版本。距2.0.0版本发布约一年时间,新的版本在高性能、高可用、高安全、高智能、工具链等基础能力上持续增强。目前,从外部来看,OpenGauss生态和发展是比较良性的,基于OpenGauss的经认证的数据库有:MuDB、Vastbase、MogDB等。

    最近,X-Paxos也正式开源,这是阿里内部多个数据库产品的基础组件之一,有比较高的成熟度。不过,国内云厂商开源,一直都缺乏与商业的联系,也就难以持续投入,”诸君多努力”吧!。

    腾讯云发布新产品数据库备份(DBS),向用户多云环境数据库的连续数据保护、备份服务。是非常不错的产品,但是,总的来说,好卷…

    更新详情

    • [阿里云] RDS SQL Server企业集群版支持备库可读。
    • [阿里云]  RDS SQL Server CloudDBA支持深度检测功能。
    • [阿里云] 阿里云发布韩国数据中心。
    • [阿里云] X-Paxos正式开源。
    • [阿里云] PolarDB MySQL支持通过OSS外表访问OSS数据。
    • [腾讯云] TDSQL PostgreSQL的Oracle兼容功能开始邀请测试。
    • [华为云] 云数据库 GaussDB(for MySQL)配置和修改内网地址。
    • [AWS] Amazon Athena(Iceberg)的ACID功能正式GA。
    • [AWS] Aurora PostgreSQL通过Foreign Data Wrapper支持连接到SQL Server和Sybase。
    • [AWS] DocumentDB (MongoDB)版本开始支持性能洞察功能。
    • [AWS] RDS 计划不再支持Oracle 12c,并计划帮助用户自动升级到19c。
    • [AWS] RDS Proxy支持了Aurora PostgreSQL 13。
    • [Azure] 发布Arm-based处理器(Ampere Altra)的VM实例。
    • [Azure] SQL DB支持在DMV系统视图中查看数据库恢复任务的详细进展情况。
    • [Azure] Cosmos DB优化建议支持分区键的最优选择建议。
    • [GCP] Google发布新产品BigLake(Preview),帮助用户在统一的平台上使用BigQuery进行湖/仓数据的分析
    • [GCP] Cloud SQL Insights支持MySQL(preview)。
    • [GCP] Google发起”云数据联盟”,包括了databricks/mongodb/redis/埃森哲等。
    • Bytebase 正式商业化,Bytebase是一个独立的、开源的、数据库变更版本管理产品.
    • [DataStax] Astra DB发布新的CDC特性,帮助用户便利同步数据到周边系统中。
    • [Oracle] 发布MySQL Shell for VS Code可以连接并在数据库中执行SQL。
    • [TiDB] 发布6.0.0版本,将新增或增强了Placement Rules in SQL、诊断、MPP计算、可用性(CDC、DM)、企业级数据库管理平台等方面能力;另外,TiFlash也正式开源。
    • [OceanBase] 发布在江西人社养老统筹系统的实践。
    • [openGauss] openGauss 3.0.0 版本正式发布。
    • [Oracle] MySQL通过HeatWave引擎提供ML能力,帮助开发者在MySQL中使用机器学习能力。
    • [MongoDB] 云平台Atlas支持在GCP上以”pay-as-you-go”方式使用MongoDB。
    • [MongoDB] MongoDB与AWS签署了一个6年的合作协议,旨在帮助用户更好的迁移到Atlas on AWS。

    其他

    Atlassian发生一个持续一周并且还未修复的服务终端,受影响服务包括Jira、Confluence、Opsgenie Cloud等,受影响客户约400个(总客户数的0.18%)。目前,还在持续修复,当前声称的是一个维护脚本导致的。

    最后,上海加油,其他也不知道该说什么,哎。

  • 去年11月,Amazon RDS推出的新的形态:Multi-AZ Cluster(三可用区三节点)。相比“原来的多AZ”(两个可用区)架构,新的Cluster模式是三节点架构,提供了更低的事务延迟,同时有更好的读扩展能力。国内的云厂商中,阿里云和腾讯云很早就有了三节点形态,一起看看,他们有哪些异同,在实际的业务场景中,哪些情况可以选择这种形态。

    AWS RDS三节点(Multi-AZ Cluster)是什么?

    这里将其主要特点概括如下:

    • 这是一种3*AZ部署模式,而原来的Multi-AZ是2AZ部署或者单AZ部署。
    • 使用了数据库的逻辑复制,而原来的双AZ使用的是EBS层的复制,这就使得Cluster的副本节点都可以直接提供读能力,有更好的读扩展能力。
    • 使用了类似MySQL半同步的复制技术,事务日志网络到达其中任意一个副本主节点事务就可以提交,所以主节点上的事务延迟会降低,性能会提升(对比基于EBS的两节点)。
    • 支持Graviton 2的规格和NVMe-based SSD存储,可以提供更好的性能。
    • 同时支持MySQL和PostgreSQL两个引擎。

    与阿里云、腾讯云数据库三节点的区别

    阿里云RDS提供的“三节点企业版”,支持MySQL引擎,通过Paxos协议(或其变种)同步。相比Amazon的方案,其中一个节点使用了日志存储,成本可以更低;三个节点,只有一个节点提供服务。腾讯云MySQL也支持三节点版本,使用了半同步复制,可以选择异步、半同步或者强同步三种模式,也只有一个节点可以提供服务。

    相比AWS,阿里云与腾讯云的三节点模式都可以由用户自由选择可用区分布,即可以都在一个可用区,也可以分布在两个或三个可用区,给了客户更强的灵活性。

    (more…)
  • 最近,业余时间都放在《高性能MySQL 第四版》的翻译工作了,以至于这个行业动态已经拖了将近三个月没有更新了。那,今天,我们就一起来看看在2022年的第一个季度,各个厂商的云数据库都有什么新进展吧。

    重点更新

    • Azure Data Studio持续更新,发布了Table Designer、Query Plan Viewer等功能。虽然,SQL Server最权威的管理工具一直是SSMS,不过最近看到MS也在快速更新Azure Data Studio。相比,SSMS,ADS是一个跨平台的产品,可以同时支持Windows、MacOS、Linux,可以看到MS在以云为战略核心之后,开发者、开放、开源都是其核心策略。

    • 火山引擎,自去年12月发布之后,也在快速迭代,最新发布了PostgreSQL的支持,不过,即现在记住火山引擎官网的域名还是有点难度的,不打算改吗? www.volcengine.com 你们都记得住吗?

    • AWS发布自己的JDBC for MySQL,并推荐客户使用,在全力推Aurora的情况下,又推出自己的JDBC,是在准备随时和Oracle全面脱钩吗?

    • AWS RDS通过类似半同步复制的机制,也推出三节点形态,相比EBS复制,这种逻辑复制可以让Standby有更好的性能,同时可以直接提供读服务:参考

    更新详情

    • [AWS] RDS for PostgreSQL支持了tds_fdw/mysql_fdw
    • [AWS] RDS Multi-AZ Cluster新增更多区域支持 参考
    • [AWS] RDS开始支持 Oracle 21c
    • [AWS] Aurora PostgreSQL支持大版本升级,例如从9.6升级到11.X:参考
    • [AWS] AWS JDBC for MySQL正式GA:参考
    • [AWS] RDS SQL Server 2007标准版支持Always On AG: 参考
    • [AWS] RDS MariaDB开始支持延迟复制:参考
    • [AWS] MemoryDB for Redis开始支持 PrivateLink:参考
    • [AWS] RDS开始支持PostgreSQL 14:参考
    • [MariaDB] 10.9版本发布,将增强JSON支持、异步redo等:参考
    • [Azure] Microsoft Defender支持保护Cosmos DB:参考
    • [Azure] Cosmos DB开始支持MongoDB 4.2 API:参考
    • [Azure] Azure Data Studio发布了Table Designer、Query Plan Viewer:参考
    • [GCP] Memorystore for Redis发布Read Replicas、RDB Snapshots等功能:参考
    • [GCP] Spanner发布了Optimizer v4,提升了二级索引、哈希JOIN等相关功能:参考
    • [GCP] Cloud SQL for MySQL支持了8.0.26,并作为默认版本:参考
    • [GCP] Cloud SQL for SQL Server支持了跨区域的副本:参考
    • [GCP] Cloud SQL for SQL Server 2019成为默认的SQL Server版本:参考
    • [阿里云] AnalyticDB PostgreSQL发布跨实例数据共享:参考
    • [阿里云] AnalyticDB PostgreSQL发布Serverless实例类型:参考
    • [阿里云] RDS MySQL只读实例支持开启binlog:参考
    • [阿里云] RDS PostgreSQL 14大版本发布:参考
    • [阿里云] Tair(Redis企业版)现已经开放TairTS时序数据结构、TairCpc数据结构:参考
    • [腾讯] TDB for MySQL支持了连接池功能:参考
    • [腾讯] TDB for SQL Server支持了数据库维度多任务并行、备份数据开始商业化计费:参考
    • [腾讯] TDB for PostgreSQL支持了跨可用区容灾、克隆实例、跨可用区创建只读实例等功能
    • [腾讯] TDB for Redis支持了全球复制功能:参考
    • [腾讯] TDSQL-C MySQL 8.0版本增加了只读节点等功能:参考
    • [腾讯] TDSQL PostgreSQL推出Oracle 兼容版的集中式版:参考
    • [腾讯] DTS支持了跨账号实例间数据同步,支持了更多的源/目标的组合:参考
    • [华为云] GaussDB(for Mongo)提供了多种数据迁移方案:参考
    • [华为云] GaussDB(for Redis)包周期(类似于包年包月)实例支持规格变更:参考
    • [华为云] 数据复制服务 DRS 实时同步支持DB2 for LUW 10.5、11.5、PostgreSQL->Kafka等
    • [阿里云] RDS PostgreSQL 支持机器学习MADlib插件:参考
    • [阿里云] 图数据库GDB自动机器学习组件发布:参考
    • [火山引擎] 云数据库 PostgreSQL 版正式发布上线:参考
  • 最近,都在和Ningoo一起搞《高性能MySQL 第四版》的翻译工作,以至于行业动态已经拖了将近三个月没有更新了。那,今天,就一起来看看在2022年的第一个季度各个厂商有什么进展吧(是的,2022年第一个季度就要结束了…)。

    重点更新

    • Azure Data Studio持续更新,发布了Table Designer、Query Plan Viewer等功能。虽然,SQL Server最权威的管理工具一直是SSMS,不过最近看到MS也在快速更新Azure Data Studio。相比,SSMS,ADS是一个跨平台的产品,可以同时支持Windows、MacOS、Linux,可以看到MS在以云为战略核心之后,开发者、开放、开源都是其核心策略。
    • 战争还没有结束,更多的数据库相关的大小组织勇敢的表达了自己的观点:
      • Percona’s Stance on Ukraine – Percona Database Performance Blog
      • We stand with Ukraine – MariaDB.org
      • Oracle suspends operations in Russia, SAP pauses sales – REUTERS
    • 火山引擎,自去年12月发布之后,也在快速迭代,最新发布了PostgreSQL的支持,不过,即现在记住火山引擎官网的域名还是有点难度的,不打算改吗?www.volcengine.com 你们都记得住吗?
    • AWS发布自己的JDBC for MySQL,并推荐客户使用,在全力推Aurora的情况下,又推出自己的JDBC,是在准备随时和Oracle全面脱钩吗?
    • AWS RDS通过类似半同步复制的机制,也推出三节点形态,相比EBS复制,这种逻辑复制可以让Standby有更好的性能,同时可以直接提供读服务。

    更新详情

    • [AWS] RDS Multi-AZ Cluster新增更多区域支持
    • [AWS] RDS开始支持 Oracle 21c
    • [AWS] AWS JDBC for MySQL正式GA
    • [AWS] RDS MariaDB开始支持延迟复制
    • [AWS] MemoryDB for Redis开始支持 PrivateLink
    • [AWS] RDS开始支持PostgreSQL 14
    • [MariaDB] 10.9版本发布,将增强JSON支持、异步redo等
    • [Azure] Microsoft Defender支持保护Cosmos DB
    • [Azure] Cosmos DB开始支持MongoDB 4.2 API
    • [Azure] Azure Data Studio发布了Table Designer、Query Plan Viewer
    • [GCP] Memorystore for Redis发布Read Replicas、RDB Snapshots等功能
    • [GCP] Spanner发布了Optimizer v4,提升了二级索引、哈希JOIN等相关功能
    • [GCP] Cloud SQL for MySQL支持了8.0.26,并作为默认版本
    • [GCP] Cloud SQL for SQL Server支持了跨区域的副本
    • [GCP] Cloud SQL for SQL Server 2019成为默认的SQL Server版本
    • [阿里云] AnalyticDB PostgreSQL发布跨实例数据共享
    • [阿里云] AnalyticDB PostgreSQL发布Serverless实例类型
    • [阿里云] RDS MySQL只读实例支持开启binlog
    • [阿里云] RDS PostgreSQL 14大版本发布
    • [阿里云] RDS PostgreSQL 支持机器学习MADlib插件
    • [阿里云] 图数据库GDB自动机器学习组件发布
    • [阿里云] Tair(Redis企业版)现已经开放TairTS时序数据结构、TairCpc数据结构
    • [腾讯] TDB for MySQL支持了连接池功能
    • [腾讯] TDB for SQL Server支持了数据库维度多任务并行、备份数据开始商业化计费
    • [腾讯] TDB for PostgreSQL支持了跨可用区容灾、克隆实例、跨可用区创建只读实例等功能
    • [腾讯] TDB for Redis支持了全球复制功能
    • [腾讯] TDSQL-C MySQL 8.0版本增加了只读节点等功能
    • [腾讯] TDSQL PostgreSQL推出Oracle 兼容版的集中式版
    • [腾讯]  DTS支持了跨账号实例间数据同步,支持了更多的源/目标的组合
    • [华为云] GaussDB(for Mongo)提供了多种数据迁移方案
    • [华为云] GaussDB(for Redis)包周期(类似于包年包月)实例支持规格变更
    • [华为云] 数据复制服务 DRS 实时同步支持DB2 for LUW 10.5、11.5、PostgreSQL->Kafka等
    • [火山引擎] 云数据库 PostgreSQL 版正式发布上线

    另外,原来的个人账号更新都会转移这个账号上,希望更多人以更专业方式来维护,欢迎大家订阅与转发。

  • 概述

    使用的Amazon Linux 2,相当于是CentOS 7,于是使用了官方的yum repo来进行安装。

    官方文档的参考:Linux downloads (Red Hat family)@postgresql.org

    添加yum仓库

    /etc/yum.repos.d/pgdg.repo
    [pgdg13]
    name=PostgreSQL 13 for RHEL/CentOS 7 - x86_64
    baseurl=https://download.postgresql.org/pub/repos/yum/13/redhat/rhel-7-x86_64
    enabled=1
    gpgcheck=0

    注意,上述文件中的url需要根据实际情况调整,需要根据主机的发行版本和需要安装的PostgreSQL版本,在仓库中找到对应的目录:目录列表

    更新yum仓库配置信息,并安装postgresql-server

    sudo yum update

    sudo yum install postgresql13-server

    添加执行文件到PATH路径

    export PATH="${PATH}:/usr/pgsql-13/bin"

    准备数据文件(database cluster)

    参考:Creating a Database Cluster

    root# mkdir /usr/local/pgsql
    root# adduser postgres
    root# chown postgres /usr/local/pgsql
    root# su postgres
    
    postgres$ export PATH="${PATH}:/usr/pgsql-13/bin"
    
    postgres$ pg_ctl -D /usr/local/pgsql/data initdb

    启动/关闭postgresql

    pg_ctl start -l logfile -D/usr/local/pgsql/data
    pg_ctl stop -D /usr/local/pgsql/data

    修改配置文件

    vim /usr/local/pgsql/data/postgresql.conf  # 例如修改 shared_buffers = 64MB

    连接数据库

    psql