orczhou.com

  • 云数据库行业动态@2021-12-01

    1、行业头条

    • 2022 IEEE Fellow 新晋名单出炉，阿里云数据库李飞飞入选

    非常了不起！简单来说，叫”李飞飞”大概都非常牛逼，无论男女。不过话说，这次还没有看到阿里云开始宣传，难道还憋了更大的招？

    • Aurora开始支持MySQL 8.0；版本号为3.01.0版本，基于MySQL 8.0.23版本
    • Neptune开始支持Graviton 2实例
    • DocumentDB开始支持Graviton 2实例，性能号称提升30%

    今天是AWS年度大会re:Invent第一天，最近一个月AWS都在密集的发个各种功能。MySQL 8.0于2018年4月正式GA，三年半之后，Aurora正式支持8.0版本，看到，Aurora对于内核改造/定制是非常大的，导致一个大版本发布后的改造量非常大，跟紧社区的成本很高，当然，这大概也和官方8.0版本的代码一直以来变化比较大有一些关系。

    另外，AWS一直在加大Graviton2(ARM-Based)实例的支持与宣传，随着，云原生架构的标准化，IaaS层性价比将是各个云厂商的”基本内功”，在Graviton2上的投入，就相当于AWS在提前的偷偷修炼内功了，这与苹果做M1是一样的道理。

    • 火山引擎成为字节跳动的独立BU，云计算战略呼之欲出

    期望看到更加繁荣的云计算市场，不过云计算是一个技术、资金投入都非常大的方向，字节加油！

    2、云数据库产品能力更新

    • [阿里云] RDS PostgreSQL提供接入自建AD域功能
    • [阿里云] 云数据库专属集群 – MyBase 在美国(硅谷)正式开服
    • [阿里云] 表格存储时序模型公测发布
    • [腾讯云] DTS开始支持MySQL DDL语句和Where语句的过滤功能
    • [腾讯云] 云数据库Redis支持开启外网地址
    • [腾讯云] TDSQL MySQL版本新增TDStore 引擎支持
    • [腾讯云] TDSQL-C上线跨可用区容灾功能，计算与存储都可以跨可用区部署
    • [华为云] 数据管理服务DAS的部分免费功能不再继续发展，这部分功能包括：SQL诊断、数据追踪与回滚、参数智能推荐、Binlog解析等功能
    • [华为云] GaussDB/openGauss新增使用规范建议
    • [达梦] 达梦数据库×浪潮信息达成战略合作，双方将共同打造数据库一体机
    • [巨杉] 华南理工大学巨杉奖学金捐赠仪式举行
    • [TiDB] TiDB发布5.3.0版本，提供持续性能分析以及更强HTAP能力
    • [OceanBase] 入选Forrester报告《Now Tech: Globally Distributed Data Platforms, Q4 2021》
    • [AWS] RDS新增参数选项，使得多可用区部署实例的Standby节点可以提供读服务，该功能还处于内测阶段。对用户来说，资源利用率会更高
    • [AWS] Amazon ElastiCache开始支持Redis 6.2版本
    • [AWS] RDS Proxy开始支持PostgreSQL 12
    • [AWS] Neptune开始支持ARM架构的实例
    • [AWS] DMS服务支持对分区数据并行写入S3
    • [AWS] Glue DataBrew支持通过自定义SQL的方式从Redshift和Snowflake读取数据
    • [AWS] AWS Backup开始支持Neptune
    • [AWS] DocumentDB开始支持Graviton 2实例，性能号称提升30%
    • [AWS] Aurora开始支持MySQL 8.0。AWS上版本号为3.01.0版本，基于MySQL 8.0.23版本
    • [AWS] Athena开始支持较为完整的ACID能力操作S3中Iceberg格式的数据（公测）
    • [AWS] DMS(数据迁移)服务开始支持以Google Cloud、Azure上托管数据库为源数据库
    • [GCP] Bigtable、托管MySQL、PostgreSQL、SQL Server、Redis、Spanner等服务在南美(Santiago)数据中心提供服务
    • [GCP] 托管PostgreSQL服务提供如下扩展：auto_explain、pg_cron、pg_hint_plan、pg_proctab等
    • [Azure] MySQL Flexible Server正式GA，并支持了Terraform
    • [Azure] Hyperscale/Citus开始支持PostgreSQL 14

    3、其他

    • AWS将在加拿大开放第二个Region
    • AWS Cloudfront开始提供1TB/每月免费的外网流量
    • Amazon发布新的Linux版本”Amazon Linux 2022 (AL2022)”，以后会两年发布一个大版本，并为每个版本提供6年的支持周期，该版本是基于Fedora项目。另外，在Linux版本命名上也发生了一些变化，之前都是叫Amazon Linux 1、Amazon Linux 2。现在，越来越多的软件也都开始使用这种基于年份的版本命名方式
    • 火山引擎成为字节跳动的对立BU，云计算战略呼之欲出

  • 云数据库行业动态@20211201

    行业头条

    • 2022 IEEE Fellow 新晋名单出炉，阿里云数据库李飞飞入选。

    非常了不起，简单来说，叫”李飞飞”大概都非常牛逼，无论男女。不过话说，这次还没有看到阿里云开始宣传，难道还憋了更大的招？

    • Aurora开始支持MySQL 8.0：参考。AWS上版本号为3.01.0版本，基于MySQL 8.0.23版本。
    • Neptune开始支持ARM架构的实例：参考。
    • DocumentDB开始支持Graviton 2实例，性能号称提升30%：参考。

    今天是AWS年度大会re:Invent第一天，最近一个月AWS都在密集的发个各种功能。MySQL 8.0于2018年4月正式GA，三年半之后，Aurora正式支持8.0版本，看到，Aurora对于内核改造/定制是非常大的，导致一个大版本发布后的改造量非常大，跟紧社区的成本很高，当然，这大概也和官方8.0版本的代码一直以来变化比较大有一些关系。

    另外，AWS一直在加大Graviton2(ARM-Based)实例的支持与宣传，随着，云原生架构的标准化，IaaS层性价比将是各个云厂商的”基本内功”，在Graviton2上的投入，就相当于AWS在提前的偷偷修炼内功了，这与苹果做M1是一样的道理。

    • 火山引擎成为字节跳动的独立BU，云计算战略呼之欲出：参考。

    期望看到更加繁荣的云计算市场，不过云计算是一个技术、资金投入都非常大的方向，字节加油！

    (more…)

  • 云数据库行业动态@2021-11-08

    1. 行业头条

    • ClickHouse, Inc再次融资2.5亿美元，估值达20亿美金。本轮融资距离公司成立时的5000万美元融资，仅仅只有两个月
    • Informatica正式在纽交所上市公司估值85亿美元左右，2020年营收约13亿美金
    • Yugabyte完成1.88亿美金融资，公司估值13亿美金

    头条点评：数据领域最近非常“热”，Informatica再次在纽交所上市估值为85亿美金；而ClickHouse,Inc两个月内连续两次融资，估值就达到了20亿美金。开源软件的对立面已经不是商业软件，而是在与”已经很强大的”云厂商们争夺最后的客户价值。

    • [AWS] Babelfish for Aurora PostgreSQL正式GA发布
    • [Azure] SQL Server托管服务（Azure SQL Managed Instance）发布新的Link特性

    头条点评：近期，AWS发布了开源Babelfish，帮助用户从SQL Server迁移到PostgreSQL；微软的Azure SQL托管数据库则发布了新特性”Link”，帮助用户把本地环境或者其他的云的SQL Server迁移到Azure。数据争夺战，是数字化竞争中的关键环节，各个云厂商都在重兵投入。云厂商都发现，水库已经有一定规模，但是引水的渠道好像还不太够。

    2. 重要更新

    • 阿里云重磅发布GanosBase，该引擎是李飞飞带领的达摩院数据库与存储实验室联合阿里云共同研发的新一代位置智能引擎，也是首个云孪生时空数据库
    • 2021年数据技术嘉年华推迟一个月到12月23日；袋鼠云/DDIC2021数智行业峰会峰会推迟（会议推迟大概会是未来比较长时间内的一个常态）
    • 腾讯云数据库”五年6次POC测试，最终拿到农行核心系统项目

    3. 云数据库产品能力更新

    • [阿里云] 阿里云发布GanosBase数据库
    • [阿里云] 云数据库PostgreSQL支持小版本13.1
    • [阿里云] 云数据库OceanBase新增香港地区支持
    • [阿里云] 云数据库 ClickHouse 新增华北2政务云、青岛 、香港、北京等多个可用区
    • [腾讯云] TDSQL-C(原CynosDB)支持数据订阅功能
    • [腾讯云] TDSQL MySQL版新增 TDStore 引擎功能
    • [腾讯云] DTS支持数据库迁移任务进行数据校验
    • [华为云] UGO在DTCC亮相，可以帮助客户更加简单的完成去O迁移
    • [其他]巨杉数据库在华南理工大学设立巨杉奖学金
    • [AWS] Babelfish for Aurora PostgreSQL正式GA发布
    • [AWS] Aurora PostgreSQL支持13.4, 12.8, 11.13等
    • [AWS] Aurora PostgreSQL开始支持PostGIS 3.1 
    • [Azure] Cosmos DB支持索引使用统计信息和索引推荐
    • [Azure] SQL Server托管服务发布新的Link特性
    • [Azure] SQL Server托管服务提供新的内存优化规格，单个vCPU内存可达13.6GB
    • [CloudCanal] 发布了1.2版本，支持PolarDB-X
    • [GCP] Cloud SQL for PostgreSQL开始支持13.4和12.8等版本
    • [GCP] BigQuery Omin正式GA
    • [其他]Yugabyte完成1.88亿美金融资，公司估值13亿美金
    • [其他]DataStax（Apache Cassandra）正式进入中国
    • [其他]SQL Server发布2022预览版：继续提供多环境的部署能力，更好地让用户数据在云端Azure上发挥价值，更加完整的支持数据分析/可视化等功能。支持向Azure SQL双向复制与容灾

    4. 其他

    • 中华人民共和国个人信息保护法正式实施
    • HashiCorp准备IPO，估值预计超100亿美元

  • 云数据库行业动态@20211108

    行业头条

    • 开源产品公司ClickHouse, Inc再次融资2.5亿美元，估值达20亿美金。本轮融资距离公司成立时的5000万美元融资，仅仅只有两个月：参考。
    • 数据集成厂商Informatica正式在纽交所上市公司估值85亿美元左右，2020年营收约13亿美金：参考。
    • Yugabyte完成1.88亿美金融资，公司估值13亿美金：参考。

    头条点评：数据领域最近非常“热”，Informatica再次在纽交所上市估值为85亿美金；而ClickHouse,Inc两个月内连续两次融资，估值就达到了20亿美金。开源软件的对立面已经不是商业软件，而是在与”已经很强大的”云厂商们争夺最后的客户价值。

    • [AWS] Babelfish for Aurora PostgreSQL正式GA发布（参考）
    • [Azure] SQL Server托管服务（Azure SQL Managed Instance）发布新的Link特性：参考

    头条点评：近期，AWS发布了开源Babelfish，帮助用户从SQL Server迁移到PostgreSQL；微软的Azure SQL托管数据库则发布了新特性”Link”，帮助用户把本地环境或者其他的云的SQL Server迁移到Azure。数据争夺战，是数字化竞争中的关键环节，各个云厂商都在重兵投入。云厂商都发现，水库已经有一定规模，但是引水的渠道好像还不太够。

    重要更新

    • 阿里云重磅发布GanosBase，该引擎是李飞飞带领的达摩院数据库与存储实验室联合阿里云共同研发的新一代位置智能引擎，也是首个云孪生时空数据库：参考。
    • 2021年数据技术嘉年华推迟一个月到12月23日：参考；袋鼠云/DDIC2021数智行业峰会峰会推迟：参考。（会议推迟大概会是未来比较长时间内的一个常态）
    • 腾讯云数据库”五年6次POC测试，最终拿到农行核心系统项目”：参考。
    (more…)

  • 你一定要了解的Terraform

    HashiCorp正在筹备IPO，预计市值超100亿美金（参考）。创始人(参考)2011年大学毕业，2012年创建HashiCorp，2021年上市，又将是一个科技传奇。HashiCorp在Github上最受欢迎的项目就是Terraform，已经可以断定，Terraform会是未来资源编排服务的事实标准。

    Terraform在国内的使用还不是很多，讨论也不太多。这里就聊一下为什么开发者会选择Terraform，为什么企业应该选择Terraform作为资源编排的标准：

    1. Terraform目前已经支持了众多云厂商及其其他资源厂商，也可以反过来说，各个厂商都已经支持了terraform，对于各类云资源的管理，Terraform已经成为了IaC的事实标准。广泛的支持，让开发者不需要重复去学习和编写各个云厂商的API脚本，而是通过开源的方式，大家共用共建的Terraform内核能力，然后直接使用Terraform的描述性语言完成工作，直接复用了由开源社区构建的底层能力。

    2. 虽然各个云产生也都有自己的资源管理服务，例如AWS的CloudFormation、Azure的Azure Resource Manager、阿里云的ROS等。但对一家中/大型企业来说，通常都是使用了多云的资源，那么选择第三方的服务才是最简洁、效率最高的方式。无需重复适配各家厂商自己定义的规范和API。

    3. Terraform让基于云环境的Devops理念渗透到了底层资源上。通过tf脚本定义资源，创建资源后，后续流程可以根据tfstate状态文件，自动化的开始后续应用部署流程，无需人为介入，可以实现自动化的环境与资源部署，自动化与下游系统通信与衔接。

    4. 对于开发者来说，即便是在一家小企业，使用Terraform也是最合理的选择，一方面为未来的多云扩展做好了准备。另一方面，对于开发者自己，掌握了Terraform，应该是在市场上更加有竞争力的一种技能，可以应对更大规模、更复杂环境下的资源管理。

    5. 通过脚本语言定义资源，更加清晰，如果一个应用要在多个环境，部署很多的不同资源，还需要跨团队的协作，使用Terraform，就实现了用”代码描述资源”，也就是大家常说的IaC（Infrastuctur as Code），更加清晰，更加容易保障多环境部署资源的一致性，也有很好的传承性，新人进来也不需要用文档或者口口相传去解释环境应该如何部署。在传统架构下是这样，在多云时代，这个优势又被放大了。

    最后，关于HashiCorp和云厂商的关系，大家可以结合前两天Bluedavy那篇《国内云计算市场格局将走向何方》中的”惊悚建议”一起来看，应该更有意思。在开源厂商与云厂商的”竞合”中，可以说，开源厂商再下一城，未来更多的PaaS层会以各种方式去重塑云计算的市场格局。

    下面是一个简单的例子，可以简单直观的理解一下什么是Terrafrom。

    这时官方文档中国一个关于定义一个AWS EC2实例的代码（参考），这里省略了前面的安装和配置过程（注：需要配置一个Access Key用以授权）

    provider "aws" {
  profile = "default"
  region  = "us-west-2"
}
resource "aws_instance" "app_server" {
  ami           = "ami-830c94e3"
  instance_type = "t2.micro"
  tags = {
    Name = "ExampleAppServerInstance"
  }
}

    当然，实际的过程中，”resource”中通常还会提供更多的参数来自定义你需要的实例，例如VPC网络配置、安全组等。

    之后，只需要使用如下执行命令，就可以完成资源的创建和创建后资源信息的查询：

    terraform init    // 初始化环境与版本
terraform apply   // 实际创建资源
terraform show    // 查看资源创建状态

  • Azure数据库的Flexible Server

    一直对云数据库比较关注，在去年9月份的微软“Ignite”大会宣布推出的托管数据库“Flexible Server”（后面简称”FS”），虽然一直处于Preview状态，但是依据看到在过去一年中，该版本一直在非常快速的更新，猜测该版本应该会是未来开源托管数据库的主要形态(如有微软朋友可以帮回复确认一下)，这里对比之前的”Single Server”（后面简称”SS”），对“Flexible Server”做一个概要性的介绍，详细的介绍可以直接阅读本文结尾处链接中Azure的官方文档。

    关于”Flexible Server”的”TLDR”版

    • Flexible Server就是Azure上使用了新一代底层架构的托管MySQL、PostgreSQL服务
    • 早期Azure上开源数据库托管是基于Windows（参考），称作”Single Server”，新版本托管平台基于Linux，称作Flexible Server
    • 该版本是Azure OSS开发者组2019年左右开始开发，2020年对外宣布，当前处于Preview状态
    • 该版本让开发者在管理实例时，具备更大的灵活性，包括：更多的参数管理、维护窗口控制等
    • 支持了多可用区的高可用，对于企业的核心应用来说，这应该是必须的能力
    • 是未来Azure上开源托管产品的主要形态（这是一个猜测）
    • 版本选择上的建议：
      • 当前，连续要求不高的业务，建议选择FS，因为这将是未来的主打形态
      • 如果稳定的、重要的业务，当前还是建议选择SS，毕竟是经过很长时间验证的产品形态

    继续阅读，可以了解更多关于Flexible Server的详细说明。

    (more…)