orczhou.com

  • 首页
  • 云数据库性能/架构与选型
    • 云数据库性能综述
    • AWS RDS架构与选型
    • 阿里云RDS架构与选型
    • 阿里云ARM/x86 RDS对比
    • 华为云鲲鹏/x86 RDS对比
    • AWS Graviton/x86 RDS对比
  • 关于MySQL
    • 读《高性能MySQL》
    • 如何学习MySQL
    • MySQL版本现状与选择
    • MySQL的历史版本
  • 其他
    • 云数据库行业动态
    • 关于生活
    • 归档页面
    • 管理页面
    • 关于orczhou
  • 2024 DTCC:企业级数据库DevOps最佳实践

    2024-09-03

    数据库DevOps这个话题我讲过很多次了,在阿里的数据库环境,已经是成熟的实践经验。现在离开阿里,以独立数据库工具厂商的身份去讲这个话题,还是有一些不一样的思考。

    09年,刚加入淘宝DBA团队的前几年,其实是很痛苦的。最早还没有工具和平台的思维,很多事情都是”手挑肩扛”。不过生产环境的数据库数量增长很快就远超团队人员增长速度。最早,淘宝内部将DBA分为”系统DBA”,负责数据库的安装/部署、监控、备份、性能监控报警、故障诊断等工作;还有一部分是”产品DBA”,负责面向上层业务的数据库支持,包括数据库的设计与发布、架构选型、业务优化、容量规划等。

    当时我在”系统DBA”团队,为了解决人员与系统增长不匹配的问题,当时也在前辈建立的”北斗”数据库管理基础上进行改进,并构建了淘宝数据库环境内首个MySQL数据库管理平台”天机“,取名字也是来自”北斗”七星中的”天玑”,不过取自”天机不可泄露”便取”天机”。而后,这个平台也几经改造与重构,发展为内部一套完整、健壮的DBaaS系统。

    而”产品DBA”也面临着同样的问题,表现上略有不同。主要问题包括:业务/研发爆发式增长,”数据库的设计与发布、架构选型、业务优化(性能管理)、容量规划”这些原本DBA的工作,已经不可能再靠有限的DBA人力完成了。于是,内部的开始尝试通过一些简单的工具尝试解决这个矛盾。最早,先是使用WebSQLPlus解决数据查询的问题、而后是dbtask解决了数据库DDL发布的问题。再之后,对于研发、DBA如何一起共同支撑起业务发展,从而构建出了全新的iDB平台,并且在iDB从3.0升级到4.0版本时候,重新对平台做了定位,由一个面向DBA的工具,转变为面向研发使用数据库的产品,也是在这个时候,正式提出了数据库DevOps的理念。

    在2017年,这套产品也在阿里云上正式商业化发布,开始从一个服务阿里内部的系统正式的以商业化的形式服务云上的更多企业。

    2021年,离开了阿里,一方面是很冲动,另一个很重要的原因是认为,这套系统应该是一个独立于某个云厂商的、第三方的系统,这样可以更好的服务当前企业用户,无论企业用户的数据库是在阿里云、还是在华为云、腾讯云、AWS、百度云,亦或者是在自己筹建的IDC之内,都可以很好的使用这个产品,用这个理念去管理数据库,去解决研发、DBA与数据库的问题。

    记得特别清楚,有一年端午节,在内部p8->p9的晋升答辩上,有一个评委问我:“DMS/DTS”等这些工具产品,交由第三方厂商去做是不是更好?当时回答得很凌乱…,现在可以给评委一个简单的回答了:“是的”。

    关于这次分享的详细内容可以参考,这篇文章:《企业级数据库 DevOps 最佳实践,通过 NineData 实现高效安全的数据库开发》。分享的片子如下:

    orczhou-database-devops-best-practice-dtcc-2024
  • 云数据库行业动态@2024-08-30

    2024-08-30


    标题:达梦上半年收入超3.5亿;腾讯开源TXSQL;VLDB广州举办;阿里云RDS支持蓝绿部署

    重要更新

    腾讯云宣布将开源TXSQL。TXSQL 是腾讯云数据库团队维护的 MySQL 内核分支,新增了企业级透明数据加密、审计、动态线程池、加密函数、备份恢复、并行查询等功能 [2] 

    达梦发布上半年财报,营收3.52亿(22%同比增长),软件授权收入3.34亿元,净利润1.03亿  [1] 

    VLDB 2024在广州举行,国内主要数据库厂商悉数参加,包括阿里云、腾讯云、华为云、蚂蚁(OB)、PingCAP(TiDB) [3] 

    更新详情

    火山云(字节)
    • 托管MySQL数据库代理支持空闲连接回收 [12]
    • 托管MySQL提供了 SQL 限流能力,用户可通过此能力对数据库的请求访问量和 SQL 并发量进行控制,从而保障服务的可用性。[14]
    • 托管MySQL 对于变更实例配置、切换可用区和恢复到新实例的任务,可以在任务详情页查看到任务的进度,如任务进展的阶段和阶段的进展(百分比)。[18]
    华为云
    • RDS MySQL集群版(公测)上线并新增更多区域 [7] 
    • FlexusRDS实例支持升级为云数据库RDS实例  [9] 
    Azure(微软云)
    • Azure Cache for Redis新增超大规格(240 vCPUs/数百GB内存) [13] 
    阿里云
    • RDS PostgreSQL新增新增本地升级和蓝绿部署模式:本地升级是指大版本升级任务将在原实例上进行,不会创建新版本实例。蓝绿部署是指大版本升级会保留原实例,并创建一个新版本的实例。[4]
    • RDS SQL Server支持通过控制台修改参数配置,以满足您个性化调整实例参数来适应业务的需求。[5]
    GCP(谷歌云)
    • AlloyDB for PostgreSQL新增扩展支持 temporal_tables1.2.2版本 [6] 
    Oracle云
    • Autonomous Recovery Service 支持了多云数据库备份,包括Oracle Cloud和Azure [8]
    • HeatWave支持了自动存储扩展功能[11]
    AWS(亚马逊云)
    • 亚太地区(马来西亚)区域支持了 Aurora、RDS等服务 [22] [23] 
    • Amazon DocumentDB(与 MongoDB 兼容)全局集群支持了故障切换(Failover)、手动切换(Switchover) [27] [29] 
    腾讯云
    • 云数据库 MySQL 、TDSQL-C MySQL 发布数据库代理版本1.3.13。[30] [31]
    参考链接
    • [1] https://www.sse.com.cn/disclosure/listedinfo/announcement/c/new/2024-08-29/688692_20240829_WM26.pdf
    • [2] https://mp.weixin.qq.com/s/ZybF6e3f-8Rl8MzBkDAybA
    • [3] https://vldb.org/2024/
    • [4] https://help.aliyun.com/zh/rds/apsaradb-rds-for-postgresql/upgrade-the-major-engine-version-of-an-apsaradb-rds-for-postgresql-instance
    • [5] https://help.aliyun.com/zh/rds/apsaradb-rds-for-sql-server/manage-instance-parameters-in-the-apsaradb-rds-console
    • [6] https://cloud.google.com/alloydb/docs/reference/extensions
    • [7] https://support.huaweicloud.com/productdesc-rds/rds_01_0064.html
    • [8] https://docs.oracle.com/iaas/releasenotes/recovery-service/azure-backups-support.htm
    • [9] https://support.huaweicloud.com/usermanual-flexusrds/rds_05_0038.html
    • [11] https://docs.oracle.com/iaas/releasenotes/mysql-database/heatwave-auto-storage-expansion.htm
    • [12] https://www.volcengine.com/docs/6313/133044
    • [13] https://azure.microsoft.com/en-us/updates/v2/Larger-Enterprise-tier-cache-instances-for-Azure-Cache-for-Redis
    • [14] https://www.volcengine.com/docs/6313/74503
    • [18] https://www.volcengine.com/docs/6313/79851
    • [22] https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Concepts.RegionsAndAvailabilityZones.html
    • [23] https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
    • [27] https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-documentdb-mongodb-compatibility-global-clusters-failover
    • [29] https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-document-mongodb-compatibility-global-clusters-switchover
    • [30] https://cloud.tencent.com/document/product/236/89741
    • [31] https://cloud.tencent.com/document/product/1003/89751
  • Protected: 不一样的上学

    2024-08-30

    This content is password protected. To view it please enter your password below:

  • 云数据库行业动态@2024-08-23

    2024-08-23

    标题:火山veDB MySQL发布透明HTAP支持;DTCC北京举行;AWS Neptune增强对GraphRAG应用程序支持

    重要更新

    字节火山云veDB MySQL发布透明HTAP支持,当前处于邀测阶段。采用了MySQL plugin 架构方式,在内核侧自动分流AP 和 TP 请求,如需手动分流,可以使用Proxy  [1] 

    2024中国数据库技术大会盛大召开(本周四/五/六),中国主要数据库厂商悉数参加,感兴趣的可以在北京现场参加  [2] 

    TiDB竞争对手CockroachDB宣布开源协议重大变更(小企业免费,大企业强制收费),企业版分为2种类型,年收入1000万美金以下企业可以免费使用,年收入超过1000万美金的企业可以试用30天,后面需要付费 [3] 

    更新详情

    火山云(字节)
    • veDB MySQL 支持了自定义账号权限、支持设置连接地址前缀和端口号、支持连接保持等功能 [6] [7] 
    • veDB MySQL(邀测)发布并优化了冷热分离功能  [5] 

    阿里云
    • RDS PostgreSQL 内核小版本发布,PostgreSQL 11、12的tds_fdw插件升级至2.0.3,修复部分缺陷。[4]
    • 云数据库 MongoDB 版云盘版实例新增了迁移可用区功能,可用区迁移后,实例的所有属性、规格配置和连接地址都不会改变 [8]

    GCP(谷歌云)
    • AlloyDB Omni Kubernetes Operator 发布版本 1.1.0 [9] 
    • Cloud SQL for MySQL/PostgreSQL 老版本提供收费的 Extended support 支持 [12] [17] 

    Oracle云
    • 数据库管理新增 SQL Watch 功能 ,该功能可以发现各种系统变更导致的SQL性能变化问题 [23]

    AWS(亚马逊云)
    • Amazon Neptune 引入对 PropertyGraphStore 的支持,以构建更可靠的 GraphRAG 应用程序 [28]

    参考链接
    • [1] https://www.volcengine.com/docs/6357/1314096
    • [2] https://mp.weixin.qq.com/s/myDOXPXKbEpbH1UOYtUwKA
    • [3] https://mp.weixin.qq.com/s/dJXZVZPx2GVWmQ0VSHr-SA
    • [4] https://help.aliyun.com/zh/rds/apsaradb-rds-for-postgresql/release-notes-for-alipg
    • [5] https://www.volcengine.com/docs/6357/1273550
    • [6] https://www.volcengine.com/docs/6357/1330611
    • [7] https://www.volcengine.com/docs/6357/1330575
    • [8] https://help.aliyun.comhttps://help.aliyun.com/zh/mongodb/user-guide/migrate-an-apsaradb-for-mongodb-instance-to-different-zones-in-the-same-region
    • [9] https://cloud.google.com/alloydb/docs/omni/configure-load-balancer-k8s
    • [12] https://cloud.google.com/sql/pricing#extended-support-pricing
    • [17] https://cloud.google.com/sql/pricing#extended-support-pricing
    • [23] https://docs.oracle.com/iaas/releasenotes/database-management/database-management-sql-watch.htm
    • [28] https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-neptune-propertygraphstore-graphrag-applications
  • 使用计算图进行微分/求导运算

    2024-08-18

    在使用梯度下降法进行回归时,需要频繁的进行偏导数的计算。在很多的相关介绍中会展示使用计算图进行偏导数的计算。这里简述对该方法的一些理解。

    目录

    • 1 概述
    • 2 链式法则的典型形式
      • 2.1 法则1:

    概述

    • 计算图求导,可以理解为是对求导的链式法则的图表示
    • 在计算图中,在一个单向路径上的算子,求导时,将各个导数相乘即可
    • 在计算图中,在一个单向路径上,上一个节点的输出,是下一个节点的输入;函数关系上,就是 \( f(g(x)) \),即\( g(x) \)的输出是,\( f(x) \)的输入
    • 一个节点的两个入度(分支),求导时,将各个导数相乘即可
    • 多元函数求偏导时,只需要关注其偏导的变量即可

    链式法则的典型形式

    这里对求导的链式法则的典型形式做一个简单的回顾。

    在对复杂的表达式求导/微分时,有时候看起来会很复杂。如果能够灵活的使用链式法则可以巧妙将复杂函数的求导转换为简单函数的求导。

    法则1:

    $$
    f(x) = g(h(x))
    \\
    f'(x) = \frac{\partial f}{\partial x} = \frac{\partial g}{\partial h} \frac{\partial h}{\partial x}
    $$

    例如,使用该法则可以很简单对如下函数求导:

    $$
    f(x) = e^{(x^2)}
    \\
    g(h) = e^h \, h(x) = x^2
    \\
    f'(x) = \frac{\partial g}{\partial h} \frac{\partial h}{\partial x} = e^h * 2 * x = 2x*e^h = 2xe^{x^2}
    $$

    如果使用计算图的方式表达如上的求导,如下:

    $$
    f(x) = f(g(x))
    \\
    \frac{\partial f}{\partial x} = \frac{\partial f}{\partial g}\frac{\partial g}{\partial h}
    $$

    所以:在计算图中,在一个单向路径上的算子,求导时,将各个导数相乘即可。

    (more…)
  • 云数据库行业动态@2024-08-16

    2024-08-16

    标题:PolarDB发布全新Orca接口兼容Redis协议;GitHub因数据库配置故障致全球服务故障

    重要更新

    PolarDB发布全新Orca接口协议,在原来MySQL版的基础上新增兼容Redis协议,以简化开发流程,使您能够使用兼容Redis协议访问PolarDB数据库中的数据,以达到更高的性能,同时简化应用架构 [1] 

    GitHub因数据库配置故障,导致全球服务故障,持续约60分钟,影响的服务包括Copilot、Actions、Pages、Pull Requests、Issues等(”We suspect the impact is due to a database infrastructure related change that we are working on rolling back.”)。  [2] 

    更新详情

    阿里云
    • RDS MySQL数据库代理逐步发布,新增了对故障切换场景下的连接保持功能。降低了数据库连接中断的风险 [27]
    • PolarDB 支持AnalyticDB for MySQL的无感集成(Zero-ETL)功能 [3] 
    • PolarDB MySQL版支持只读节点创建临时表功能  [4] 
    • PolarDB MySQL企业版各计算节点规格的最大存储容量变更 [7]
    • 托管SQL Server 2017/2019/2022企业集群版上线基础系列  [28] 

    火山云(字节)
    • 托管Redis服务开放修改最大连接数 API、实例会话支持筛选 Proxy 节点、支持了更多监控指标[29] [30]
    • DBW 支持通过一键诊断、空间分析和锁分析运维和管理云数据库 veDB MySQL 版实例。  [31] 
    • 您可以通过数据库工作台 DBW,帮助您快速远程连接和在线管理 SQL Server 数据库。[9]

    腾讯云
    • 云数据库 MySQL、TDSQL-C MySQL 发布新版本审计功能,优化了多项数据展示 [25] [26] 

    GCP(谷歌云)
    • 数据库迁移服务现在支持迁移到 MySQL 8.0.37 [5] 
    • 增强的查询洞察功能支持了只读池的实例(预览) [6] 

    Oracle云
    • 托管PostgreSQL数据库先支持了垂直弹性伸缩能力 [8]

    AWS(亚马逊云)
    • RDS 支持最新小版本 MySQL 8.0.39 [10]
    • Amazon Neptune Analytics 现在支持使用 openCypher 查询 RDF 图 [13]
    • 托管 SQL Server 支持小版本 2016 GDR、2017 CU31 GDR、2019 GDR、2022 GDR等 [14]
    • RDS for Db2 支持从S3 加载数据 [18]
    • Aurora 支持 PostgreSQL 16.3、15.7、14.12、13.15 和 12.19 [19]
    • RDS for PostgreSQL 支持小版本 16.4、15.8、14.13、13.16 和 12.20 [23]
    • Aurora PostgreSQL 支持 pgvector 0.7.0 [20]
    • RDS 在数据库预览环境中支持PostgreSQL 17 Beta 3 [22]

    参考链接

    • [1] https://help.aliyun.com/zh/polardb/polardb-for-mysql/user-guide/orca-overview
    • [2] https://www.githubstatus.com/incidents/kz4khcgdsfdv
    • [3] https://help.aliyun.com/zh/polardb/polardb-for-mysql/user-guide/synchronize-data-through-non-sense-integration
    • [4] https://help.aliyun.com/zh/polardb/polardb-for-mysql/user-guide/read-only-nodes-support-temporary-table-creation
    • [5] https://cloud.google.com/database-migration/docs/mysql/migration-src-and-dest
    • [6] https://cloud.google.com/products#product-launch-stages
    • [7] https://help.aliyun.com/zh/polardb/polardb-for-mysql/specifications-of-compute-nodes
    • [8] https://docs.oracle.com/iaas/releasenotes/postgresql/update-db-system-shape.htm
    • [9] https://www.volcengine.com/docs/6899/1323762
    • [10] https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/MySQL.Concepts.VersionMgmt.html
    • [12] https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-q-quicksight-additional-regions
    • [13] https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-neptune-analytics-opencypher-queries-graphs/
    • [14] https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-rds-sql-server-minor-versions-gdr/
    • [18] https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-rds-db2-loading-data-s3
    • [19] https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-aurora-postgresql-new-version-support/
    • [20] https://aws.amazon.com/about-aws/whats-new/2024/08/pgvector-0-7-0-aurora-postgresql/
    • [22] https://aws.amazon.com/about-aws/whats-new/2024/08/postgresql-17-beta-3-rds-database-preview-environment/
    • [23] https://aws.amazon.com/about-aws/whats-new/2024/08/amazon-rds-for-postgresql-supports-minor-versions/
    • [24] https://aws.amazon.com/about-aws/whats-new/2024/08/aws-marketplace-seller-data-feed-customer-enhancements
    • [25] https://cloud.tencent.com/document/product/236/81406
    • [26] https://cloud.tencent.com/document/product/1003/61568
    • [27] https://help.aliyun.com/zh/rds/apsaradb-rds-for-mysql/the-dedicated-database-proxy-supports-persistent-connections-during-a-passive-primary-secondary-switchover
    • [28] https://help.aliyun.com/zh/rds/apsaradb-rds-for-sql-server/rds-basic-edition-is-supported-for-rds-instances-that-run-specific-sql-server-versions-from-20240815?spm=a2c4g.11186623.0.0.695428c2M2ER7y
    • [29] https://www.volcengine.com/docs/6293/70393
    • [30] https://www.volcengine.com/docs/6293/1113731
    • [31] https://www.volcengine.com/docs/6956/1327390
←Previous Page Next Page→
  • “众鸟高飞尽 孤云独去闲”
  • —唐 李白

关于我

© 2022

orczhou.com

·

Theme by Brian Gardner

本作品采用知识共享许可协议 许可协议进行许可。