简单生活

云数据库行业动态@2024-10-11

2024-10-11

·

admin
标题：Zilliz获Forrester报告全球第一;OB支持向量能力;Azure发布DiskANN,吊打pg_vector;阿里云PG发布内置分析引擎;AWS发布托管Valkey服务

重要更新

Azure发布 PostgreSQL 向量索引扩展DiskANN，声称在构建HNSW/IVFFlat索引上，速度、精准度都超越pg_vector，并解决了pg_vector长期存在的偶发性返回错误结果的问题^[1]。

阿里云 RDS PostgreSQL 发布AP加速引擎（rds_duckdb）。该引擎提供了列存表和向量化执行能力，显著提升复杂查询的执行速度，且无需修改原始查询语句，从而确保您能够方便且高效地获取结果。当前白名单开放中^[7]

OceanBase发布4.3.3版本，支持了向量数据存储与索引功能，这也是4.3版本第一个GA版本^[3]。

Forrester发布第一份Vector Database的报告（Forrester Wave），Zilliz（产品名：milvus）凭借完整、高效的向量数据处理能力获的第一。后续厂商分别有：DataStax、Microsoft、Amazon、Oracle、Pinecone等^[2]。

The Forrester Wave™_ Vector Databases, Q3 2024 _ 0013n00001ylAuOAAU _ 6e412d8a Download

更新详情

阿里云

RDS MySQL支持定价详情功能，可以查看各计费项的定价说明和价格。^[4]

RDS PostgreSQL新增支持PostgreSQL 17大版本。^[5]

RDS PostgreSQL高可用系列标准版新增pg.x8.16xlarge.2c（128核 1024GB）独享规格。^[6]

RDS PostgreSQL发布AP加速引擎（rds_duckdb）。该引擎提供了列存表和向量化执行能力，显著提升复杂查询的执行速度^[7]

RDS PostgreSQL 内核版本发布小版本20240830 ^[8]

PolarDB Serverless集群支持IMCI列存索引（IMCI）功能 ^[9]

GCP(谷歌云)

创建Cloud SQL支持了证书颁发机构 (CA) 配置功能 ^[11]

pg_ivm 扩展版本 1.9 现已正式发布。此扩展可让您更新物化视图，其中仅计算增量更改并将其应用于视图，而不是从头开始重新计算内容 ^{[12] [13]}

“alloydb_scann”扩展程序（以前称为“postgres_scann”）已正式发布（GA），如需详细了解如何存储向量嵌入、创建索引以及调整索引以实现更快的查询性能和更好的召回率，请参阅使用向量。^[17]

现在，您可以在创建实例后使用“gcloud sql instance patch”命令更新 Cloud SQL for SQL Server 实例的时区。以前，您只能在首次创建实例时为 SQL Server 实例设置自定义时区.^[19]

Cloud SQL for MySQL 8.4 现已正式发布 ^[24]

AlloyDB 主实例和备实例上支持公网IP ^[26]

火山云(字节)

DBW 数据库审计日志的默认保留时长变更为 30 天，同时新增支持选择保留 180 天、1 年和 3 年。^[30]

在操作审计页面 DBW 管理员支持查看所有操作行为，DBW 普通用户和非 DBW 系统角色仅支持查看自己的操作行为。^[33]

AWS(亚马逊云)

Aurora Serverless v2 新增支持 256 个 ACU ^[35]

Amazon Aurora/RDS 支持控制台到代码 ^[36]

Amazon 新增 ElastiCache for Valkey /MemoryDB for Valkey ^{[38] [39]}

Aurora 支持 PostgreSQL 16.4、15.8、14.13、13.16 和 12.20 ^[50]

Aurora MySQL 现已支持 RDS 数据 API ^[51]

腾讯云

TDSQL-C MySQL 版“只读分析引擎”内核版本更新到1.2404.10.0，主要优化了产品使用的体验和稳定性。支持了 date_sub 函数 ^[53]

Azure（微软云）

托管 PostgreSQL 支持了更多数据库参数的修改^[54]

托管 Redis 7.2（ Azure Cache for Redis Enterprise）正式发布^[55]

托管 PostgreSQL 支持postgresql_anonymizer插件，更好的保护隐私数据^[56]

参考链接

[1] https://azure.microsoft.com/en-us/updates/v2/DiskANN-indexing-on-Azure-Database-for-PostgreSQL

[2] https://mp.weixin.qq.com/s/Sq1GUOTP02QWBOqS0N3A9A

[3] https://www.oceanbase.com/product/oceanbase-database-rn/releaseNote#V4.3.3

[4] https://help.aliyun.com/zh/rds/apsaradb-rds-for-mysql/new-features-new-specifications-apsaradb-rds-releases-the-pricing-details-feature

[5] https://help.aliyun.com/zh/rds/apsaradb-rds-for-postgresql/features-of-apsaradb-rds-for-postgresql

[6] https://help.aliyun.com/zh/rds/apsaradb-rds-for-postgresql/primary-apsaradb-rds-for-postgresql-instance-types

[7] https://help.aliyun.com/zh/rds/apsaradb-rds-for-postgresql/use-the-rds-duckdb-extension

[8] https://help.aliyun.com/zh/rds/apsaradb-rds-for-postgresql/release-notes-for-alipg

[9] https://help.aliyun.comhttps://help.aliyun.com/zh/polardb/polardb-for-mysql/user-guide/set-the-scale-up-strategy-of-serverless-cluster

[11] https://cloud.google.com/products#product-launch-stages

[12] https://cloud.google.com/sql/docs/postgres/extensions

[13] https://cloud.google.com/sql/docs/postgres/set-maintenance-window

[17] https://cloud.google.com/alloydb/docs/ai/store-embeddings

[19] https://cloud.google.com/sql/docs/sqlserver/instance-settings#timezone

[24] https://cloud.google.com/sql/docs/mysql/create-instance

[26] https://cloud.google.com/products#product-launch-stages))

[30] https://www.volcengine.com/docs/6956/155353

[33] https://www.volcengine.com/docs/6956/1333447

[35] https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/aurora-serverless-v2.how-it-works.html#aurora-serverless-v2.how-it-works.capacity

[36] https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Using_C2C.html

[38] https://aws.amazon.com/about-aws/whats-new/2024/10/amazon-elasticache-valkey

[39] https://aws.amazon.com/about-aws/whats-new/2024/10/amazon-memorydb-valkey

[50] https://aws.amazon.com/about-aws/whats-new/2024/09/amazon-aurora-supports-postgresql-new-versions/

[51] https://aws.amazon.com/about-aws/whats-new/2024/09/amazon-aurora-mysql-rds-data-api/

[52] https://aws.amazon.com/about-aws/whats-new/2024/09/amazon-timestream-for-influxdb-jakarta-milan-uae-zaragoza/

[53] https://cloud.tencent.com/document/product/1003/109576

[54] https://azure.microsoft.com/en-us/updates/v2/performance-management-server-parameters-now-modifiable-on-Azure-Database-for-PostgreSQL

[55] https://azure.microsoft.com/en-us/updates/v2/Redis-7-2-on-Azure-Cache-for-Redis-Enterprise

[56] https://azure.microsoft.com/en-us/updates/v2/Azure-Database-for-PostgreSQL-support-for-postgresql-anonymizer

云数据库RDS MySQL性能测试与对比@2024年09月

2024-09-26

admin

这是一个系列文章的一部分，该系列较为完整的对各个云厂商的RDS MySQL进行了测试，包括了阿里云、腾讯云、华为云、百度云、AWS、Azure、GCP、Oracle Cloud等，更多参考：云数据库RDS MySQL的性能。

在不同的云厂商，购买相同规格的MySQL实例(如4vCPU-16GB)，获得的性能相同吗？

threads/qps	aliyun_202409_hangzhou->stdbench	tencent_202409_beijing_exclusive->stdbench	hwcloud_202409_beijing_x86->stdbench	baiducloud_202409_beijing->stdbench	aws_202409_tokyo_m6i->stdbench	azure_202409_east_asia_4c16g->stdbench	gcp_202409_tokyo_80_enterprise->stdbench	oci_202409_tokyo_8039->mysql_on_4_ecpu
4	7102	5592	2557	2206	1639	2025	723	3551
8	9702	9936	4674	4101	3313	3654	1341	5936
16	14660	16141	8229	7298	6427	6548	2502	8054
32	22155	22336	13520	12022	12157	10363	4857	8317
48	27905	24770	17849	16448	16516	11973	6745	8130
64	32704	26495	20114	18187	18118	12761	8071	7838
96	36846	29077	20883	21007	20782	13300	9675	8504
128	39697	29918	20128	21029	22446	13388	10620	8198
192	38999	30610	20521	22091	22590	13478	11507	8043
256	38356	31052	21187	21665	22323	12985	11872	7907
384	39679	31224	21729	21167	21902	12904	12131	8209
512	40333	31805	22647	21627	21591	12930	12106	8386
have_ssl	DISABLED	DISABLED	DISABLED	DISABLED	YES	YES	YES	YES
innodb_buffer_pool_size	9.75GB	12GB	9GB	12GB	11GB	12GB	11GB	17GB
innodb_doublewrite	ON	ON	ON	ON	OFF	OFF	ON	ON
innodb_flush_log_at_trx_commit	1	1	1	1	1	1	1	1
innodb_flush_method	O_DIRECT	O_DIRECT	O_DIRECT	fsync	O_DIRECT	fsync	O_DIRECT	O_DIRECT
innodb_io_capacity	20000	20000	12000	2000	200	200	5000	1250
innodb_read_io_threads	4	4	4	8	4	NA	4	2
innodb_write_io_threads	4	4	4	8	4	NA	4	4
log_bin	ON	ON	ON	ON	OFF	ON	ON	ON
performance_schema	OFF	OFF	OFF	OFF	OFF	ON	ON	ON
rpl_semi_sync_master_enabled	ON	ON	ON	ON	NA	NA	NA	NA
rpl_semi_sync_master_timeout	1000	10000	10000	10000	NA	NA	NA	NA
sync_binlog	1	1	1	1000	1	1	1	1
thread_pool_size	8	4	NA	NA	NA	4	NA	16
version	8.0.36	8.0.30-txsql	8.0.28-231003	8.0.32-2.0.0.2	8.0.35	8.0.37-azure	8.0.31-google	8.0.39-cloud
cpu_capacity	80.4	93.3	163.6	73.9	110.9	56.3	49.9	114.7

测试结果概述

在本次测试中：阿里云RDS MySQL性能表现最好，极限的QPS达到了4万；其次是腾讯云，达到了3.2万；第二梯队是华为云、百度云和AWS，极限的QPS约2.2万；之后是Azure、Google云，极限QPS约1.2万；最后是Oracle云，极限QPS约8500。详细的数据和趋势图，可以参考以上的图、表，这里不再详述。

(more…)

2024 DTCC：企业级数据库DevOps最佳实践

2024-09-03

·

admin

数据库DevOps这个话题我讲过很多次了，在阿里的数据库环境，已经是成熟的实践经验。现在离开阿里，以独立数据库工具厂商的身份去讲这个话题，还是有一些不一样的思考。

09年，刚加入淘宝DBA团队的前几年，其实是很痛苦的。最早还没有工具和平台的思维，很多事情都是”手挑肩扛”。不过生产环境的数据库数量增长很快就远超团队人员增长速度。最早，淘宝内部将DBA分为”系统DBA”，负责数据库的安装/部署、监控、备份、性能监控报警、故障诊断等工作；还有一部分是”产品DBA”，负责面向上层业务的数据库支持，包括数据库的设计与发布、架构选型、业务优化、容量规划等。

当时我在”系统DBA”团队，为了解决人员与系统增长不匹配的问题，当时也在前辈建立的”北斗”数据库管理基础上进行改进，并构建了淘宝数据库环境内首个MySQL数据库管理平台”天机“，取名字也是来自”北斗”七星中的”天玑”，不过取自”天机不可泄露”便取”天机”。而后，这个平台也几经改造与重构，发展为内部一套完整、健壮的DBaaS系统。

而”产品DBA”也面临着同样的问题，表现上略有不同。主要问题包括：业务/研发爆发式增长，”数据库的设计与发布、架构选型、业务优化（性能管理）、容量规划”这些原本DBA的工作，已经不可能再靠有限的DBA人力完成了。于是，内部的开始尝试通过一些简单的工具尝试解决这个矛盾。最早，先是使用WebSQLPlus解决数据查询的问题、而后是dbtask解决了数据库DDL发布的问题。再之后，对于研发、DBA如何一起共同支撑起业务发展，从而构建出了全新的iDB平台，并且在iDB从3.0升级到4.0版本时候，重新对平台做了定位，由一个面向DBA的工具，转变为面向研发使用数据库的产品，也是在这个时候，正式提出了数据库DevOps的理念。

在2017年，这套产品也在阿里云上正式商业化发布，开始从一个服务阿里内部的系统正式的以商业化的形式服务云上的更多企业。

2021年，离开了阿里，一方面是很冲动，另一个很重要的原因是认为，这套系统应该是一个独立于某个云厂商的、第三方的系统，这样可以更好的服务当前企业用户，无论企业用户的数据库是在阿里云、还是在华为云、腾讯云、AWS、百度云，亦或者是在自己筹建的IDC之内，都可以很好的使用这个产品，用这个理念去管理数据库，去解决研发、DBA与数据库的问题。

记得特别清楚，有一年端午节，在内部p8->p9的晋升答辩上，有一个评委问我：“DMS/DTS”等这些工具产品，交由第三方厂商去做是不是更好？当时回答得很凌乱…，现在可以给评委一个简单的回答了：“是的”。

关于这次分享的详细内容可以参考，这篇文章：《企业级数据库 DevOps 最佳实践，通过 NineData 实现高效安全的数据库开发》。分享的片子如下：
orczhou-database-devops-best-practice-dtcc-2024
Protected: 不一样的上学

2024-08-30

·

admin

This content is password protected. To view it please enter your password below:

Password:
Protected: 放纵与克制

2024-07-16

·

admin

This content is password protected. To view it please enter your password below:

Password:
Protected: 布里斯班一周游

2024-07-13

·

admin

This content is password protected. To view it please enter your password below:

Password:

简单生活

云数据库行业动态@2024-10-11

重要更新

更新详情

阿里云

GCP(谷歌云)

火山云(字节)

AWS(亚马逊云)

腾讯云

Azure（微软云）

参考链接

云数据库RDS MySQL性能测试与对比@2024年09月

测试结果概述

2024 DTCC：企业级数据库DevOps最佳实践

Protected: 不一样的上学

Protected: 放纵与克制

Protected: 布里斯班一周游