orczhou.com

  • Sysbench使用不同的数据分布(–rand-type)模型压测MySQL

    概述

    不同的sysbench参数可能对测试结果有一定的影响，如果不注意的话，可能会影响我们对于测试结果的分析，甚至可能会得出错误的测试结论。本文较为详细的介绍sysbench中的--rand-type参数。

    –rand-type 的含义

    --rand-type是sysbench中控制随机数据分布的参数，主要的选项包括了uniform,gaussian,special,pareto，在最新的版本，新增了zipfian。具体的各个随机分布类似介绍如下：

    • uniform 是均匀分布
    • gaussian是正态分布，也叫高斯分布（常见的标准正态分布是其特殊形式）
    • pareto 是帕累托分布，“二八分布”是其特殊形态。该分布在经济学中使用较多，最为常见的例子是认为20%的人拥有80%的财富，即财富在人群中的分布情况。zipfian分布与该分布有一些类似。
    • special 这个是一个奇怪的分布，并不是某个标准分布。应该是Sysbench作者自己定义的某个分布，该分布下取值几乎完全落在中间值附近。

    关于这些分布的讨论可以参考Sysbench在GitHub Issue上的讨论（Use the uniform distribution by default @GitHub Issue），也可以参考Percona相关的讨论文章（Sysbench and the Random Distribution Effect@Percona）。这里使用GitHub Issue中提到的方法，来对这些分布做一个测试，从而大家可以非常好的从可视化的角度去理解这些分布：

    (more…)

  • MySQL 8.4版本发布与历史版本回顾

    版本现状

    终于，在8.0版本发布大概8年后，新的稳定版MySQL 8.4（LTS）终于发布了。按计划，8.0版本将在两年后（2026年04月）终止其生命周期，8.4将成为下一个主流的稳定版本。

    参考

    历史版本更新

    之前的每个大版本都会伴随着一些新的功能发布，参考：MySQL版本历史与主要特性。例如：

    • 5.0支持了存储过程、触发器、视图等功能；
    • 5.1支持了分区、行复制、API架构；
    • 5.6版本支持了半同步（5.5版本）、GTID、online DDL；
    • 5.7支持了Group Replication、原生JSON支持、多源复制；
    • 8.0支持了CTE、Hash Join、角色系统等

    MySQL 8.4（LTS）支持的改进

    包括如下（完整列表参考）：

    • 复制相关的命令、状态，不再兼容master/slave语法，全部更新为source/replica
    • mysql_native_password authentication plugin默认不在启动，如还需要，则需手动配置
    • 删除了工具mysql_ssl_rsa_setup，如果openssl可用，则会再启动时候自动的生成需要的文件
    • 删除了mysqlpump，该场景建议使用mysqldump或者MySQL Shell dump
    • 支持直方图统计信息的自动、手动更新：参考
    • 新增了独立的FLUSH PRIVILEGES权限
    • 对于Group Replication做了较多的改进
    • 改变了大量的InnoDB参数的默认值：参考，以提升MySQL在默认情况下的性能表现

    整体上，当前的版本现状可以参考下图（来自Wikipedia）：

    版本点评：最大的改进大概就是版本迭代模式

    这是一个让人失望的版本，甚至来说，过去的8.1/8.2/8.3版本都是让人失望的。最大的改进，大概就是版本迭代方式本身了。过去几年，MySQL市场发展较为稳定，兼容生态中，没有能够挑战其地位的产品。曾经，MariaDB、Percona版本都曾经试图与之竞争，不过目前情况，都难以撼动MySQL的位置。这也让这个产品失去了一定的活力。

    在全球范围内，云计算已经改变了企业使用基础技术的模式。云计算也在次基础上，开始一定程度的重塑基础软件、甚至基础硬件。开源数据库领域，前两把交椅一直是MySQL与PostgreSQL，从Google Trend和DB-Engines的数据来看，过去十年以来，PostgreSQL一直在缓慢的增长，而MySQL则在巨大领先的空间下，逐步的开始下降。而这让人想起了，浏览器市场的IE和FireFox，以及后来的Chrome。MySQL则很像曾经的IE浏览器，PostgreSQL则很像FireFox，至于Chrome，似乎在开源数据库领域还没有出现这样的产品。

    参考链接

  • 在OCI上，使用Terraform自动化管理基础资源VCN

    这是一个系列，记录了在不同的云厂商中使用Terraform的一些注意事项与常见的问题，以供参考。

    认证

    概述

    Oracle的认证相比其他云要稍微复杂一些，需要的认证信息包括：

    • 租户ID：tenancy_ocid
    • 用户ID：user_ocid
    • API访问需要的秘钥对的私钥
    • API访问需要的秘钥对的指纹（fingerprint）

    这些信息可以参考：API Key Authentication@Configuring the Provider@Oracle Cloud Infrastructure Documentation。也注意到，在Oracle Cloud的文档中，有较为完整的Terraform文档，其目录为：Developer Resouces -> DevOps Tools and Plug-ins -> Terraform Provider。

    在Terraform中的认证

    在Terraform中认证，有两种常见的形式，一种是在provider提供完整的信息，如下：

    provider "oci" {
  tenancy_ocid     = var.tenancy_ocid
  user_ocid        = var.user_ocid
  fingerprint      = var.fingerprint
  private_key_path = var.private_key_path
  region           = var.region
}

    也可以在Bash中使用全局变量：

    export TF_VAR_tenancy_ocid="......"
export TF_VAR_user_ocid="......"
export TF_VAR_fingerprint="......"
export TF_VAR_private_key_path="......"
    (more…)

  • Protected: 了解信创、安可与国产化

    This content is password protected. To view it please enter your password below:

  • 云数据库技术动态@2024-05-17

    标题： PolarDB-X 发布全新列存能力支持HTAP场景; 华为GaussDB泰国峰会在曼谷举行;

    重要更新

    华为云数据库泰国峰会在曼谷举行，峰会以“GaussDB：给世界一个更优选择”为主题。华为在会上与泰国本地客户和合作伙伴，共同展示了GaussDB解决方案，并提出GaussDB先锋计划。小编点评：先不管大模型sleep几秒，GaussDB在华为是一个战略级产品，在与其电信、政府、云业务一起协同服务客户 [1]

    PolarDB-X 发布2.4版本支持列存能力，通过额外的基于列式结构的二级索引（Clustered Columnar Index，CCI，覆盖行存所有列），使用一张表可以同时具备行存和列存，同时满足分布式的OLTP和部分OLAP场景。 [2]

    Oracle云

    • Autonomous Recovery Service服务支了从相关联的Data Guard中备份与恢复Oracle数据库 [10]
    • Oracle Data Safe 现在支持 Oracle Database@Azure [11]

    AWS(亚马逊云)

    • RDS for PostgreSQL 支持最新的插件 pgvector 0.7.0，以实现更完整的向量查询与搜索功能 [12]
    • Amazon RDS宣布将对PostgreSQL 11.22版本提供最多三年的扩展支持（注：PostgreSQL 11最早与2018年发布，11.22是2023年11月发布的该系列最后一个小版本）[13]
    • Performance Insights开始支持RDS for Oracle Multitenant [14]

    腾讯云

    • 云数据库 MySQL 双节点、三节点架构的主实例支持挂载多个灾备实例，帮助提升业务连续服务能力以及数据的可靠性。[15]

    参考链接

  • 在Oracle云上MySQL 8.4的性能测试

    近日，MySQL发布了8.4版本，这是一个新的稳定版。在MySQL版本规划中，在2026年8.0.x生命周期结束后，将成为下一个主流稳定版本。

    目前为止，看到该版本并没有特别大的改进。部分改变包括改进了直方图统计信息更新、并行复制、组复制（GR）等，完整的更新可以参考：Changes in MySQL 8.4.0 (2024-04-30, LTS Release)。

    MySQL 8.4@OCI性能测试（vs MySQL 8.0）

    Oracle Cloud上也第一时间支持了该版本，于是也通过性能测试的方式，第一时间“尝鲜”了一下该版本。性能测试的趋势图如下：

    注意到，在该Sysbench测试模式下：

    • 当前MySQL 8.4在性能上相对于8.0版本，要低21%（以16并发为参考）
    • 并在超高并发时（并发高于192），性能出现了严重的退化

    作为一个稳定版本，期待官方尽快解决。

    (more…)