orczhou.com

  • 云数据库行业动态@2023-04-21

    重要更新

    最近两篇争锋相对的文章，又在数据库圈子里面引起了一阵涟漪：正方为：《分布式数据库是伪需求吗？》，反方为《2023年了，还有人在谈分布式数据库是不是伪需求》感兴趣的可以看看。正方观点看起来虽然有一些偏激，但是笔者还是支持正方的，也认为狭义的分布式数据库受众是非常有限的，并确实在受到硬件快速发展的挤压，例如，2009年淘宝业务使用的x86数据库服务器内存是16GB+HDD硬盘，而现在云数据库很容易买到500GB内存的实例（如阿里云RDS最大内存可达768G），比较极限的还可以买到4TB内存的实例（可以看看Amazon的”db.x2iedn.32xlarge”规格3）。另外，分布式数据库场景虽然有限，依旧有部分场景，最典型的就是写入密集型，并且是非常关键的一些场景，例如交易事务，需要使用分布式数据库。你站哪边？可以留下你的评论。

    华为云GaussDB荣获中国电子学会“科技进步一等奖”（参考），这代表该数据库一定程度获得了中国官方非常高的认可与评价。

    据悉，MySQL版本管理将会做出重大改变，原来模式下每3年左右发布一个大版本，例如5.1/5.5/5.6/5.7/8.0等，但是事实上，距离8.0在2018年4月GA到现在已经有5年没有大版本了，据悉，新的模式下，将会使用LTS版本和Innovation Release结合形式，LTS版本两年发布一次，并提供5年（Premier）+3年（Extended）支持的方式；Innovation Release则每个季度一个小版本持续迭代，会不断融入更多新功能与特性：参考1、参考25

    MariaDB再遇艰难时刻，现金可能会难以支撑长期运营：参考14。自去年12月，MariaDB以SPAC模式在美上市后，股价也一直走低。这次，MariaDB发出警告说，虽然已经裁员26人，但现金依旧可能不足以支撑公司，并在寻求新的一轮融资。只能说当初Monty自己构建的MySQL太强大了。

    云数据库技术社区的第一次沙龙将在周六下午于杭州海智中心举行，主题为MySQLx ClickHouse，很久没有线下聚会了，感兴趣的可以来现场交流：参考。

    更新详情

    阿里云
    • RDS MySQL支持从本地SSD升级到ESSD：参考6
    • RDS MySQL集群版支持存储自动扩容：参考7
    • PolarDB普通集群上新增开启Serverless功能：参考8
    • DTS支持专属集群：参考9
    AWS
    • RDS的事件通知功能新增了实例Tag信息，帮助用户更好的处理实例事件1
    • DynamoDB支持最多可以同时并发恢复50个表2
    • AWS Backup现在支持在EC2上HANA的备份与恢复4
    腾讯云
    • RDS支持PostgreSQL 15
    火山引擎
    • RDS MySQL新增对Terraform的支持：参考11
    • 托管Redis支持多可用区同城容灾：参考10
    其他
    • 号称MongoDB平替的FerretDB发布 1.0：参考12
    • 开源向量数据库Qdrant获750万美元融资，这是在其去年获得220万美元融资之后的再次融资：参考13
    • MariaDB再遇艰难时刻，现金可能会难以支撑长期运营：参考14

    推荐阅读

    引用链接

    关于引用链接的说明：还是偶尔会收到一些认真的开发者来咨询，某某特性有没有更详细的说明链接，于是还是打算尽量给更新的出处。但因为微信公众号不支持任何外链，所以就通过引用链接的方式给出相关内容的引用。另外，有很多链接都非常长，既不美观也不便于复制，于是使用bitly的短链接服务，让操作更简单一些。但是，也注意到bitly服务在国内有时候并不稳定，请看客自己科学跳转。

  • 对ChatGPT/AIGC的零散思考

    疫情来到之初，因为对于病毒和传播了解较少，难以感受到疫情在过去的三年如此巨大的改变了大家的生活。而这次ChatGPT变革则是处在自己所在的互联网/基础科技领域，已经感受到了ChatGPT将较为深刻的改变很多内容。

    (more…)

  • 云数据库行业动态@2023-04-14

    重要更新

    “云数据库技术”第一次线下meetup正式开启，计划于下周六（4月22日）下午在杭州举办，主题为“MySQL x ClickHouse”，邀请了国内云厂商和技术专家，与开发者共同讨论云数据库技术。欢迎现场参加，感谢朋友们的转发与扩散：参考

    注意到，原“阿里云数据库”公众号正式更名为“阿里云瑶池数据库”，“瑶池”应该会是后续阿里云数据库主推的品牌，该品牌可以理解和之前的ApsaraDB类似，是阿里云数据库的整体品牌。另外，上周，阿里云Lindorm通过SQL语句曲线支持AI绘图能力：参考。可以通过简单的SQL语句，加上描述性语言生成对应图片。

    Amazon RDS开始支持Graviton 3（第三代自研ARM芯片）的实例，规格代码为：db.m7g（通用） 和 db.r7g（内存优化型），AWS的Graviton实例（ARM）已经相对比较成熟，在性价比上相比x86架构有明显的优势，如果是降本增效的业务可以考虑使用，能够很轻松的获得30%的成本节约 2

    更新详情

    阿里云
    • RDS PostgreSQL Serverless正式商业化发布：参考
    • RDS MySQL/PostgreSQL部分实例（PL1/2/3类型）支持存储空间缩容：参考
    • RDS PostgreSQL 14/15新增自研插件rds_ccl，支持SQL限流：参考
    字节火山云
    • DTS支持了支持通过专线和 VPN 实现数据上云（邀测）：参考
    AWS
    • RDS Custom for SQL Server支持多AZ：参考
    • Aurora支持PostgreSQL 15：参考。另外，AlloyDB、PolarDB当前支持的是均为14：参考。从产品发布节奏，可以看到，Amazon在云基础技术上是一直领先的。
    • RDS控制台新增了创建Elasticache实例功能：参考，详细使用：参考。该功能主要是考虑Elasticache（Redis）系统经常会和关系型数据库在一个环境中，从RDS控制台创建Elasticache，可以继承RDS的安全组、连接访问配置，简化了用户的部分配置操作。
    • RDS MySQL集群版支持15个只读节点： 参考；支持了从RDS MySQL单可用区版本、多可用区版本到RDS MySQL集群版的复制功能：参考。这些功能发布来看，当前Amazon的RDS的团队是在重要发展MySQL集群版。当大家都觉得AWS RDS应该没什么事情可以做的时候，他们还在不断的创新。至于，什么是集群版、单可用区版、多可用区版，可以参考如下文章：
    • RDS PostgreSQL新增提供本地NVMe SSD的实例，可以让需要使用本地存储的场景性能大大提升，包括需要使用临时表的复杂查询、复杂排序、聚合等，具备该能力的实例类型包括db.M5d和db.R5d，这里的规格代码“d”应该就表示使用了本地NVMe SSD的实例：参考
    • RDS开始支持Graviton 3（第三代ARM实例），规格代码：db.m7g 和 db.r7
    • RDS多可用区集群版至此以预留实例方式购买3
    GCP
    • BigQuery 变更数据捕获（CDC）公测上线：参考。相比之前提供的DML语句获取，CDC能够帮助开发者更好的获取变化数据。
    Azure
    • 托管PostgreSQL(FS)的只读副本功能正式GA：参考
    • 托管PostgreSQL(FS)新增指标Database-is-alive可以获得数据库是否正常运行1
    • 托管PostgreSQL(FS)支持新的突发型实例(B4ms, B8ms, B12ms, B16ms, B20ms)4

    参考阅读

    引用

    [1]  https://azure.microsoft.com/en-us/updates/public-preview-databaseisalive-metrics-for-monitoring-azure-postgres-flexible-server-database-availability/

    [2]  https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.DBInstanceClass.html#Concepts.DBInstanceClass.Support

    [3]  https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_WorkingWithReservedDBInstances.html#USER_WorkingWithReservedDBInstances.MultiAZDBClusters

    [4]  https://azure.microsoft.com/en-us/updates/generally-available-new-burstable-skus-for-azure-database-for-postgresql-flexible-server/

  • 故障：这不是第一次，也不会是最后一次

    故障总是会出现，业务系统面对故障时的容错能力则体现了系统架构师的设计能力。但是，在现实的世界中，系统的容灾建设总是优先级很低的任务，可能长期躺在”to-do“当中。

    在过去的几个月中，国内两大云厂商均出现了可用区级别的故障（链接、链接）、B站在3月5日发生过一次大规模不可用（参考 参考）、OpenAI在3月也发生过一次宕机（参考），技术团队如此强大的公司依旧会出现此类大故障，那么几乎是一定的：我们的系统也会出现类似的故障，你的也会。而这类故障，不是第一次，也不会是最后一次。

    本文就从数据库角度，看看构建有效的跨区域容灾有哪些难度和挑战。

    (more…)

  • 云数据库行业动态@2023-04-07

    重要更新

    Oracle Database 23c Free发布：Oracle免费？其实并没有

    这是Oracle 23c的第一个尝鲜版，类似于之前的XE（Express Edition）版本。Free版本是一个面向开发者、全功能的、但资源使用受限（2CPU/2GB RAM）、无patch的免费版本。这一次Oracle主打对开发者更加友好，非常强调开发者重要性（原话大概是：开发者已经在技术决策中起到关键的作用），同时提供了友好的Docker化安装：参考

    openGauss发布5.0，TiDB发布7.0

    在去年4月份发布3.0版本，现在则准时发布了5.0。看来是真国产数据库，版本号的选择是有讲究的。5.0版本更新有很多，细节：参考。此外，TiDB近期也发布了7.0版本：参考。主要更新包括了：多租户下的资源管控能力增强、自动的执行计划缓存、数据TTL过期能力、新增KEY分区、远程LOAD DATA、增强的TiFlash等。

    DTC 2023于7、8号在北京举行

    数据技术嘉年华（DTC）于本周五、六在北京举行，国内数据库众多有影响力的专家均悉数参加，感兴趣的可以去现场参加。

    更新详情

    • [阿里云] RDS SQL Server支持任务中心功能。任务中心功能与2022年12月上线，可以方便的从整体了解的RDS相关任务运行情况：参考
    • [AWS] RDS Custom版本支持了GP3存储：参考。在上周的文章中介绍了什么是GP3存储，至于什么是RDS Custom版本，先挖个坑，后续再介绍
    • [Azure] Cosmos DB for MongoDB vCore 公测发布：参考。在之前，Cosmos DB主要支持一RU（Request Unit）为单位的计费模型，一个RU相当于一个1kb的点查询，Azure按照用户使用的RU来进行计费，具体的，可以支持预留RU方式、Serverless形式。这次，新增了更加容易理解的vCore计费模式。
    • [Azure] 托管PostgreSQL(Single Server版)将于3年后下线，建议用户迁移到(Flexible Server版)：参考。关于什么是Flexible Server、Single Server，可以参考Azure的文章：Azure数据库的Flexible Server，TLDR介绍：Single Server是Azure上一个即将被淘汰的版本（应该是基于Windows），后续托管数据库一律主推Flexible Server版。
    • [GCP] Datastream GA支持PostgreSQL到BigQuery的同步：参考
    • [GCP] 托管MySQL、PostgreSQL、SQL Server支持新的区域多哈（卡塔尔）：参考
    • [达梦] 中国移动与达梦数据签署战略合作协议：参考
    • [KunlunBase] 泽拓科技宣布完成新一轮融资，但并未透露具体金额：参考。据之前的报道，该数据库曾于2021年获数千万元投资，旨在打造一款云原生分布式HTAP数据库。

  • Oracle Database 23c Free发布

    前两天，Oracle正式发布了第一个23c版本（参考），是一个面向开发者、全功能的、但资源使用受限、无patch支持的免费版本，可以说是一个尝鲜版本。该版本和之前的Express版本（XE）类似，免费、资源使用受限、无支持、无patch、几乎全功能。

    所以，Oracle免费？ 然而并没有。看起来是个大新闻，其实并没什么。还是看看都发布了一些什么吧：

    这次，更加强调“面向开发者”

    原文如下：

    Developers are the most important constituency in tech decision making today. Therefore getting tools into their hands with a minimum of friction is more important than ever. Oracle Database 23c Free – Developer Release is designed to remove obstacles to developer access, allowing devs to define the ecosystem without requiring permission. This is a radical departure for Oracle,” said James Governor, co-founder of RedMonk.

    ChatGPT的翻译如下：

    如今，在科技决策中，开发者是最重要的群体。因此，让他们能够轻松地使用各种工具变得越来越重要。Oracle Database 23c 免费开发者版本旨在消除开发者使用上的障碍，让开发者在不需要许可的情况下自由地定义生态系统。这对 Oracle 来说是一个彻底的转变。

    该版本的限制包括（参考）：

    首先，这个版本本身是没什么限制的，你可以在任何环境和场景下使用，但是其本身的能力/限制是巨大的：

    • 仅支持2颗CPU资源
    • 仅支持2GB内存
    • 仅支持12GB数据存储
    • 没有patch支持
    • 没有官方的服务支持

    所以，与之前的Express版本类似，是一个小范围测试验证的版本。

    主要更新

    23c主要功能更新（很可能也是23c的主要更新，参考）包括：

    • 增强对JSON类型的支持
    • JavaScript存储过程增强（GraalVM）
    • 图能力增强（事务与分析）
    • Kfaka API增强
    • ……

    友好的Docker化安装

    可以通过Docker命令非常简单的安装该版本：

    docker pull container-registry.oracle.com/database/free