orczhou.com

admin

  • 云数据库行业动态@2021-11-08

    ·

    admin

    1. 行业头条

    • ClickHouse, Inc再次融资2.5亿美元，估值达20亿美金。本轮融资距离公司成立时的5000万美元融资，仅仅只有两个月
    • Informatica正式在纽交所上市公司估值85亿美元左右，2020年营收约13亿美金
    • Yugabyte完成1.88亿美金融资，公司估值13亿美金

    头条点评：数据领域最近非常“热”，Informatica再次在纽交所上市估值为85亿美金；而ClickHouse,Inc两个月内连续两次融资，估值就达到了20亿美金。开源软件的对立面已经不是商业软件，而是在与”已经很强大的”云厂商们争夺最后的客户价值。

    • [AWS] Babelfish for Aurora PostgreSQL正式GA发布
    • [Azure] SQL Server托管服务（Azure SQL Managed Instance）发布新的Link特性

    头条点评：近期，AWS发布了开源Babelfish，帮助用户从SQL Server迁移到PostgreSQL；微软的Azure SQL托管数据库则发布了新特性”Link”，帮助用户把本地环境或者其他的云的SQL Server迁移到Azure。数据争夺战，是数字化竞争中的关键环节，各个云厂商都在重兵投入。云厂商都发现，水库已经有一定规模，但是引水的渠道好像还不太够。

    2. 重要更新

    • 阿里云重磅发布GanosBase，该引擎是李飞飞带领的达摩院数据库与存储实验室联合阿里云共同研发的新一代位置智能引擎，也是首个云孪生时空数据库
    • 2021年数据技术嘉年华推迟一个月到12月23日；袋鼠云/DDIC2021数智行业峰会峰会推迟（会议推迟大概会是未来比较长时间内的一个常态）
    • 腾讯云数据库”五年6次POC测试，最终拿到农行核心系统项目

    3. 云数据库产品能力更新

    • [阿里云] 阿里云发布GanosBase数据库
    • [阿里云] 云数据库PostgreSQL支持小版本13.1
    • [阿里云] 云数据库OceanBase新增香港地区支持
    • [阿里云] 云数据库 ClickHouse 新增华北2政务云、青岛 、香港、北京等多个可用区
    • [腾讯云] TDSQL-C(原CynosDB)支持数据订阅功能
    • [腾讯云] TDSQL MySQL版新增 TDStore 引擎功能
    • [腾讯云] DTS支持数据库迁移任务进行数据校验
    • [华为云] UGO在DTCC亮相，可以帮助客户更加简单的完成去O迁移
    • [其他]巨杉数据库在华南理工大学设立巨杉奖学金
    • [AWS] Babelfish for Aurora PostgreSQL正式GA发布
    • [AWS] Aurora PostgreSQL支持13.4, 12.8, 11.13等
    • [AWS] Aurora PostgreSQL开始支持PostGIS 3.1 
    • [Azure] Cosmos DB支持索引使用统计信息和索引推荐
    • [Azure] SQL Server托管服务发布新的Link特性
    • [Azure] SQL Server托管服务提供新的内存优化规格，单个vCPU内存可达13.6GB
    • [CloudCanal] 发布了1.2版本，支持PolarDB-X
    • [GCP] Cloud SQL for PostgreSQL开始支持13.4和12.8等版本
    • [GCP] BigQuery Omin正式GA
    • [其他]Yugabyte完成1.88亿美金融资，公司估值13亿美金
    • [其他]DataStax（Apache Cassandra）正式进入中国
    • [其他]SQL Server发布2022预览版：继续提供多环境的部署能力，更好地让用户数据在云端Azure上发挥价值，更加完整的支持数据分析/可视化等功能。支持向Azure SQL双向复制与容灾

    4. 其他

    • 中华人民共和国个人信息保护法正式实施
    • HashiCorp准备IPO，估值预计超100亿美元

  • 你一定要了解的Terraform

    ·

    admin

    HashiCorp正在筹备IPO，预计市值超100亿美金（参考）。创始人(参考)2011年大学毕业，2012年创建HashiCorp，2021年上市，又将是一个科技传奇。HashiCorp在Github上最受欢迎的项目就是Terraform，已经可以断定，Terraform会是未来资源编排服务的事实标准。

    Terraform在国内的使用还不是很多，讨论也不太多。这里就聊一下为什么开发者会选择Terraform，为什么企业应该选择Terraform作为资源编排的标准：

    1. Terraform目前已经支持了众多云厂商及其其他资源厂商，也可以反过来说，各个厂商都已经支持了terraform，对于各类云资源的管理，Terraform已经成为了IaC的事实标准。广泛的支持，让开发者不需要重复去学习和编写各个云厂商的API脚本，而是通过开源的方式，大家共用共建的Terraform内核能力，然后直接使用Terraform的描述性语言完成工作，直接复用了由开源社区构建的底层能力。

    2. 虽然各个云产生也都有自己的资源管理服务，例如AWS的CloudFormation、Azure的Azure Resource Manager、阿里云的ROS等。但对一家中/大型企业来说，通常都是使用了多云的资源，那么选择第三方的服务才是最简洁、效率最高的方式。无需重复适配各家厂商自己定义的规范和API。

    3. Terraform让基于云环境的Devops理念渗透到了底层资源上。通过tf脚本定义资源，创建资源后，后续流程可以根据tfstate状态文件，自动化的开始后续应用部署流程，无需人为介入，可以实现自动化的环境与资源部署，自动化与下游系统通信与衔接。

    4. 对于开发者来说，即便是在一家小企业，使用Terraform也是最合理的选择，一方面为未来的多云扩展做好了准备。另一方面，对于开发者自己，掌握了Terraform，应该是在市场上更加有竞争力的一种技能，可以应对更大规模、更复杂环境下的资源管理。

    5. 通过脚本语言定义资源，更加清晰，如果一个应用要在多个环境，部署很多的不同资源，还需要跨团队的协作，使用Terraform，就实现了用”代码描述资源”，也就是大家常说的IaC（Infrastuctur as Code），更加清晰，更加容易保障多环境部署资源的一致性，也有很好的传承性，新人进来也不需要用文档或者口口相传去解释环境应该如何部署。在传统架构下是这样，在多云时代，这个优势又被放大了。

    最后，关于HashiCorp和云厂商的关系，大家可以结合前两天Bluedavy那篇《国内云计算市场格局将走向何方》中的”惊悚建议”一起来看，应该更有意思。在开源厂商与云厂商的”竞合”中，可以说，开源厂商再下一城，未来更多的PaaS层会以各种方式去重塑云计算的市场格局。

    下面是一个简单的例子，可以简单直观的理解一下什么是Terrafrom。

    这时官方文档中国一个关于定义一个AWS EC2实例的代码（参考），这里省略了前面的安装和配置过程（注：需要配置一个Access Key用以授权）

    provider "aws" {
  profile = "default"
  region  = "us-west-2"
}
resource "aws_instance" "app_server" {
  ami           = "ami-830c94e3"
  instance_type = "t2.micro"
  tags = {
    Name = "ExampleAppServerInstance"
  }
}

    当然，实际的过程中，”resource”中通常还会提供更多的参数来自定义你需要的实例，例如VPC网络配置、安全组等。

    之后，只需要使用如下执行命令，就可以完成资源的创建和创建后资源信息的查询：

    terraform init    // 初始化环境与版本
terraform apply   // 实际创建资源
terraform show    // 查看资源创建状态

  • 云数据库行业动态@20211025

    ·

    admin

    云数据库产品能力更新

    • [Azure] MySQL Flexible Server开始支持跨区域的备份能力：参考。
    • [AWS] Aurora 发布 2.10.1版本（注：2.x.x是指兼容MySQL 5.7的版本）：参考。
    • [AWS] Aurora 发布新版本支持PostgreSQL 12.7版本，PostgreSQL社区该版本发布时间为5月13日（参考），Aurora大概在5个月时间完成小版本跟进：参考。
    • [AWS] RDS Proxy开始支持MySQL 8.0版本：参考。使用RDS Proxy支持”连接池”(具备更好的扩展性，参考)、切换更加平滑等。
    • [AWS] RDS PostgreSQL支持13.4、12.8等版本。13.4和12.8社区版本发布时间是08月12日。
    • [AWS] MemoryDB for Redis新增11个区域支持：参考。
    • [GCP] Cloud SQL的优化建议开始支持闲置实例、规格过大、磁盘不足等建议：参考。
    • [GCP] Cloud Spanner开始支持PostgreSQL兼容的接口：参考。
    • [GCP] Cloud Spanner支持通过对Query打标而进行性能数据统计：参考。
    • [阿里云] AnalyticDB PostgreSQL版开始支持”基础版”实例，大幅降低小规格建仓成本：参考。
    • [阿里云] 开始支持MongoDB 5.0版本，在所有云厂商的一方产品中率先支持该版本：参考。
    • [阿里云] 杭州、深圳地区金融云RDS开始支持云盘加密功能：参考。
    • [腾讯云] TDSQL-C（原CynosDB）开始支持MySQL 8.0：参考。
    • [腾讯云] 数据传输的订阅功能开始支持TDSQL MySQL版：参考。
    • [华为云] GaussDB(for Redis)开始慢日志、公网SSL加密、Lua脚本等功能：参考。
    • PostgreSQL 14正式发布：参考，Percona上的相关解读：参考。
    • [OceanBase​] 发布3.2版本；开源发布3.1.1版本

    云产品其他重要更新

    • 阿里云计划在2020年新开韩国和泰国区域：参考。
    • Percona再AWS上用Sysbench分别测试了EC2上AMD、Intel、Graviton(ARM)的实例性能情况：参考。
    • [AWS] EC2的Mac实例新增更多区域支持：参考。AWS EC2竟然支持MacOS的实例…。
    • [AWS] EC2控制台开始支持从全球视角展示所有相关资源：参考。就问你爽不爽！！
    (more…)

  • 云数据库行业动态@2021-10-21

    ·

    admin

    云数据库产品能力更新

    • [Azure] Flexible Server开始支持跨区域的备份能力
    • [AWS] Aurora 发布新版本支持PostgreSQL 12.7
    • [AWS] RDS Proxy开始支持MySQL 8.0版本
    • [GCP] Cloud SQL的优化建议开始支持闲置实例、规格过大、磁盘不足等建议
    • [GCP] Cloud Spanner开始兼容PostgreSQL
    • [阿里云] AnalyticDB PostgreSQL开始支持”基础版”
    • [阿里云] 开始支持MongoDB 5.0版本
    • [腾讯云] TDSQL-C（原CynosDB）支持MySQL 8.0
    • [华为云] GaussDB(Redis)支持慢日志、SSL加密等功能
    • [社区] PostgreSQL 14正式发布
    • [OceanBase] 发布3.2版本；开源发布3.1.1版本

    云产品其他重要更新

    • [阿里云] 阿里云计划在2020年新开韩国和泰国区域
    • [AWS] EC2的Mac实例新增更多区域支持
    • [AWS] EC2控制台开始支持从全球视角展示所有相关资源(就问你爽不爽！！)
    • 中国数据库技术大会DTCC在北京举行：“DTCC 2021在北京国际会议中心隆重召开。大会以“数造未来”为主题，国内各个数据库相关厂商悉数亮相” 。

    阿里云PolarDB-X正式开源

    “我们将阿里最核心的云原生数据库技术进行开源，希望开发者和客户通过开源版本快速使用阿里云数据库产品技术，并参与到技术产品的迭代过程中来，共建云原生分布式数据库生态。”阿里云数据库负责人李飞飞表示。

    阿里云发布首个一站式敏捷数据仓库解决方案

    “该方案结合一站式数据管理平台DMS及云原生数据仓库AnalyticDB（以下简称ADB），真正实现了库仓一体的技术架构，提供在线数据实时入仓、T+1周期性快照、按需建仓等能力，数据延时低至秒级，持续赋能业务在线化，令企业在线数据释放最大价值。“

    OceanBase 发布3.2版本；开源版本3.1.1发布

    “杨传辉透露：OceanBase 3.2 是今年 6 月 1 日产品发布会宣布进入 3.0 时代后的首个重大版本。3.2 版围绕兼容性、HTAP 混合负载、小规格性价比等几大核心能力，在 Oracle/MySQL 兼容、易用性、稳定性、性能和功能等诸多方面做了迭代增强与优化升级。“

    “2021年10月18日，在第十二届中国数据库技术大会（DTCC2021）上，OceanBase CTO杨传辉分享了“一体化架构的原生分布式数据库”主题演讲，并公布了 OceanBase开源项目的进展以及开源版3.1.1的正式发布。“

    “腾讯云TDSQL X 昆山农商银行”新一代核心系统上线

    “昆山农商行新一代核心系统采用长亮V8技术，无缝衔接国产分布式数据库TDSQL，并融入微服务、读写分离、多源同步等技术…所有集群运行在一套TDSQL集群中。架构上，昆山农商行采用“两地三中心”部署，数据库“一主三备”，中心间数据强同步，实现中心级别灾难快速自动恢复，且数据零丢失。“

    阿里云数据库 X 中电金信发布“实时数仓系统”和“智慧水务”解决方案

    “共同推动阿里云云原生数据库的技术与生态构建，赋能行业数字化转型。其中，“智慧水务”解决方案在数据库层依托阿里云数据库PolarDB、AnalyticDB等系列产品首次实现了完整的全国产化方案。“实时数仓系统”基于AnalyticDB产品，从采集、治理到服务整个流程，实现数据的高效流转…“

    GaussDB数据库培训服务上线

    “本次上线的数据库培训服务主要包括华为openGauss数据库工程师培训（HCIA-openGauss)、华为GaussDB数据库工程师培训（HCIA-GaussDB)、华为GaussDB数据库高级工程师培训(HCIP-GaussDB-OLTP)等3项课程，涵盖数据库基础知识、GaussDB数据库产品介绍及SQL语法、性能调优、数据库关键特性解析等内容，全方位解锁数据库知识，让您轻松Get数据库专业技能。“

    TiDB 登陆亚马逊云科技 Marketplace（中国区）

    “企业级开源分布式数据库 TiDB 登陆亚马逊云科技 Marketplace（中国区），通过亚马逊云科技 Marketplace（中国区）网站 ，用户可以快速部署和使用 TiDB，获得更顺滑的 TiDB 分布式数据库云端体验。” 

    巨杉数据库入选”2021信创产业独角兽100强”

    “由中科院旗下权威媒体《互联网周刊》联合eNet研究院、德本咨询调研评选的“2021信创产业独角兽100强”名单揭晓公布，巨杉数据库作为国产数据库，凭借在基础软件领域的产品技术优势入选榜单” 。以数据库为主的企业入选的还有：达梦、人大金仓、南大通用、神舟通用、巨杉数据库、PingCAP、易鲸捷、爱可生等。

    3306π-上海站：GreatSQL && Databend 

    “2021年3306π上海站-开源数据库技术交流，于10.23日在上海虹口逸仙路宝丰联酒店圆满举办。”

    “万里数据库开源生态负责人叶金荣老师现场带来《面向金融级 MGR 应用场景优化》的技术主题分享，分别从GreatSQL新增金融级应用场景特性、稳定性和性能提升工作及万里数据库研发团队修复的严重MGR bug等方面展开阐述“

    “BohuTang在3306π介绍了云原生开源数仓系统Databend架构及展望，BohuTang2021年3月从青云离职和朋友们组建了：Datafuse Labs， 使用 Rust 研发一款开源的、完全面向云架构的新式数仓，用于提供极速的弹性扩展能力，致力于打造一个按需、按量计费的数据分析云平台。“

    长沙·中国1024程序员节举行，围绕国产基础软件展开

    “长沙·中国1024程序员节是CSDN和长沙市政府相关机构联合主办的年度大会。主要围绕中国核心基础软件和先进计算技术，首聚十大中国数据库掌门人…”

    小编”离散”的点评

    • 最近一周是云栖大会，所以阿里云数据库的相关发布也会比较多。
    • 什么？AWS EC2竟然支持MacOS的实例…
    • Azure云的MySQL托管形态Flexible Server一直在快速更新，虽然当前依旧处于Preview。
    • AWS Aurora支持了PostgreSQL 12.7版本，该社区版本发布时间为5月13日，Aurora的PostgreSQL研发团队需要5个月的时间完成一个小版本的改造支持。再比如，Aurora的12.6版本支持时间为6月，社区该版本发布时间为2月。考虑到，Aurora需要做的改造，这个速度应该是比较快的。
    • AWS RDS在10月初支持了13.4和12.8版本，该社区版本发布时间为08月12日，可以看到AWS RDS团队对于对PostgreSQL社区最新社区版本支持大概延迟2个月，考虑到需要适配AWS RDS后端系统，2个月也还是比较快的。
    • 近几年，开源、分布式数据库和分析型数据库是创业的热点之一，整个领域都非常活跃。
    • 上周末，OB的”礼物求赞”的事情发酵的有些厉害，不过，希望OB继续加油，中国开源继续加油。话说，其实技术运营并不好做，需要比预想的更大的投入，这点PingCAP是做得非常成功的，值得学习。

    最后，文中原本很多的参考链接，由于微信公众号的限制都删除了，如需延伸阅读，大家可以点击左下角”阅读原文”后查看。另外，如有错误或者投稿可以通过orczhou@gmail.com联系本文作者。

  • 云栖大会主要的产品技术发布

    ·

    admin

    今天云栖大会第二天，主要以产品技术为主。相比第一天，要更加面向开发者。主要的产品技术发布也都是放在这一天，阿里云数据库的很多重磅发布也是放在今天。

    百花齐放的开源

    这次大会上，阿里云数据库负责人李飞飞正式宣布“PolarDB-X开源“。随之，对应的代码也已经在Github（参考）上放出。PolarDB-X的前身是阿里集团去IOE核心产品DRDS，经过了面向云的改进，提供了原生的一体化的分布式能力，全面升级为现在的PolarDB-X，这次开源，应该是这个产品面向未来发展跨出的一大步。

    最近两天，除了云栖大会之外，数据库的年度盛会DTCC也在同步进行。在DTCC上，OceanBase也正式发布了开源版本3.1.1，提供了更强的MySQL兼容能力、开放了更多底层API、对第三方生态也提供更友好的支持等。

    此外，在主会场的计算巢平台发布中，PingCAP也是其重要的生态伙伴。阿里云计算巢（参考）是一个面向云端第三方服务商的平台，通过用户主动授权可以更加简单让第三方服务商在用户环境中构建相应的应用。

    • PolarDB-X正式开源
    • PolarDB-X产品架构
    • OceanBase开源发布3.1.1版本
    • 计算巢集成PingCAP

    在全球来看，开源已经是非常成熟的模式了，无论是运作还是商业化，都是非常成熟的。但是，在中国开源模式还有很多内容去探索，非常期待后续的发展。

    进击的“PolarDB”：将云原生进行到底

    这次李飞飞还对外重磅发布了PolarDB的“计算、内存、存储全解耦“的云原生架构。PolarDB产品技术在云原生的道路上再向前跨进一步，也是国内外领先的一步，首次实现了计算、内存、存储的三层解耦，提供内存池化、多主架构、HTAP实时分析等产品能力。自PolarDB产品上市以来，这应该是又一次大的技术跨越，相比Aurora等友商有一定的技术代差。后续，非常期待这个能力，进一步完成标准的产品化与规模化。

    面向政企市场

    多次被提及的“政企市场”

    这次数据库的产品发布中，听到了多次“政企市场”。一个是PolarDB-X的开源中，标题为“助理政企构建原生MySQL分布式数据库”。另外，在DBStack的发布过程中也提到，“将云原生能力轻量化输出到政企行业“。可以看到，目前阿里云已经在公共云市场全面领先，但是大量的政企线下市场还待开发，这次重磅发布很多产品能力建设都聚焦于此，可以看到未来，这这部分市场还将有着非常激烈的竞争。

    • 面向政企的轻量化产品DBStack
    • 使用开源策略进入超大型政企

    其他

    这次还发布了提供离在线一体、MPP架构、具备Serverless云原生能力的AnalyticDB，轻量级的混合云方案DBStack（链接），企业级智能化的RDS，企业级一站式在线数据库管理平台DMS，书籍《云原生数据库原理与实践》，data in use的加密技术等，就不一一详述了。

  • 8月7日 游西湖

    ·

    admin

    早上七点，苏堤集合。绕道曲院风荷，经过玉带晴虹，回到苏堤，经过压堤桥、苏堤春晓、望山桥、锁澜桥，到达花港观鱼，再到西湖国宾馆。

    夏天，太阳起得很早，起得早的人却不多。一行5人，全程总计约4公里，不紧不慢，先到G20展馆二楼喝茶叙旧，之后到紫微厅午餐。

    次日，一家人再到湖畔茶居，饮茶一杯，贪享半日湖光美景。

    (more…)