orczhou.com

admin

  • Sysbench使用不同的数据分布(–rand-type)模型压测MySQL

    ·

    admin

    概述

    不同的sysbench参数可能对测试结果有一定的影响，如果不注意的话，可能会影响我们对于测试结果的分析，甚至可能会得出错误的测试结论。本文较为详细的介绍sysbench中的--rand-type参数。

    –rand-type 的含义

    --rand-type是sysbench中控制随机数据分布的参数，主要的选项包括了uniform,gaussian,special,pareto，在最新的版本，新增了zipfian。具体的各个随机分布类似介绍如下：

    • uniform 是均匀分布
    • gaussian是正态分布，也叫高斯分布（常见的标准正态分布是其特殊形式）
    • pareto 是帕累托分布，“二八分布”是其特殊形态。该分布在经济学中使用较多，最为常见的例子是认为20%的人拥有80%的财富，即财富在人群中的分布情况。zipfian分布与该分布有一些类似。
    • special 这个是一个奇怪的分布，并不是某个标准分布。应该是Sysbench作者自己定义的某个分布，该分布下取值几乎完全落在中间值附近。

    关于这些分布的讨论可以参考Sysbench在GitHub Issue上的讨论（Use the uniform distribution by default @GitHub Issue），也可以参考Percona相关的讨论文章（Sysbench and the Random Distribution Effect@Percona）。这里使用GitHub Issue中提到的方法，来对这些分布做一个测试，从而大家可以非常好的从可视化的角度去理解这些分布：

    (more…)

  • MySQL 8.4版本发布与历史版本回顾

    ·

    admin

    版本现状

    终于，在8.0版本发布大概8年后，新的稳定版MySQL 8.4（LTS）终于发布了。按计划，8.0版本将在两年后（2026年04月）终止其生命周期，8.4将成为下一个主流的稳定版本。

    参考

    历史版本更新

    之前的每个大版本都会伴随着一些新的功能发布，参考：MySQL版本历史与主要特性。例如：

    • 5.0支持了存储过程、触发器、视图等功能；
    • 5.1支持了分区、行复制、API架构；
    • 5.6版本支持了半同步（5.5版本）、GTID、online DDL；
    • 5.7支持了Group Replication、原生JSON支持、多源复制；
    • 8.0支持了CTE、Hash Join、角色系统等

    MySQL 8.4（LTS）支持的改进

    包括如下（完整列表参考）：

    • 复制相关的命令、状态，不再兼容master/slave语法，全部更新为source/replica
    • mysql_native_password authentication plugin默认不在启动，如还需要，则需手动配置
    • 删除了工具mysql_ssl_rsa_setup，如果openssl可用，则会再启动时候自动的生成需要的文件
    • 删除了mysqlpump，该场景建议使用mysqldump或者MySQL Shell dump
    • 支持直方图统计信息的自动、手动更新：参考
    • 新增了独立的FLUSH PRIVILEGES权限
    • 对于Group Replication做了较多的改进
    • 改变了大量的InnoDB参数的默认值：参考，以提升MySQL在默认情况下的性能表现

    整体上，当前的版本现状可以参考下图（来自Wikipedia）：

    版本点评：最大的改进大概就是版本迭代模式

    这是一个让人失望的版本，甚至来说，过去的8.1/8.2/8.3版本都是让人失望的。最大的改进，大概就是版本迭代方式本身了。过去几年，MySQL市场发展较为稳定，兼容生态中，没有能够挑战其地位的产品。曾经，MariaDB、Percona版本都曾经试图与之竞争，不过目前情况，都难以撼动MySQL的位置。这也让这个产品失去了一定的活力。

    在全球范围内，云计算已经改变了企业使用基础技术的模式。云计算也在次基础上，开始一定程度的重塑基础软件、甚至基础硬件。开源数据库领域，前两把交椅一直是MySQL与PostgreSQL，从Google Trend和DB-Engines的数据来看，过去十年以来，PostgreSQL一直在缓慢的增长，而MySQL则在巨大领先的空间下，逐步的开始下降。而这让人想起了，浏览器市场的IE和FireFox，以及后来的Chrome。MySQL则很像曾经的IE浏览器，PostgreSQL则很像FireFox，至于Chrome，似乎在开源数据库领域还没有出现这样的产品。

    参考链接

  • 在OCI上，使用Terraform自动化管理基础资源VCN

    ·

    admin

    这是一个系列，记录了在不同的云厂商中使用Terraform的一些注意事项与常见的问题，以供参考。

    认证

    概述

    Oracle的认证相比其他云要稍微复杂一些，需要的认证信息包括：

    • 租户ID：tenancy_ocid
    • 用户ID：user_ocid
    • API访问需要的秘钥对的私钥
    • API访问需要的秘钥对的指纹（fingerprint）

    这些信息可以参考：API Key Authentication@Configuring the Provider@Oracle Cloud Infrastructure Documentation。也注意到，在Oracle Cloud的文档中，有较为完整的Terraform文档，其目录为：Developer Resouces -> DevOps Tools and Plug-ins -> Terraform Provider。

    在Terraform中的认证

    在Terraform中认证，有两种常见的形式，一种是在provider提供完整的信息，如下：

    provider "oci" {
  tenancy_ocid     = var.tenancy_ocid
  user_ocid        = var.user_ocid
  fingerprint      = var.fingerprint
  private_key_path = var.private_key_path
  region           = var.region
}

    也可以在Bash中使用全局变量：

    export TF_VAR_tenancy_ocid="......"
export TF_VAR_user_ocid="......"
export TF_VAR_fingerprint="......"
export TF_VAR_private_key_path="......"
    (more…)

  • 了解信创、安可与国产化

    ·

    admin

    最近几年，这三个词，一直是政府、央企事业单位的信息部门的关键词。那么这些词到底代表着什么？笼统上来说，是国家的信息技术的安全保障，那么从政策、实践、进展是怎样的，本文在整理了找到一些较为详细的参考，记录如下。

    更新@2025-08

    这次新增了中国移动的海山数据库、深圳的崖山数据库。

    更新@2024-09

    这次目录引入了更多的厂商，而不是原来的限定在比较少的厂商中。

    更新@2024-05

    2024年5月，中国信息安全测评中心发布了最新的测评报告（安全可靠测评结果公告（2024年第1号） ），包含了中央处理器（CPU）、桌面操作系统、服务器操作系统三个类目。

    概述

    安可是安全可靠的简称；信创是信息技术创新的简称；前期叫安可，现在都叫信创。目的是从基础硬件、基础软件、应用软件到信息安全各个方面，通过自主研发和推广自主化、国产化的技术标准，从信息安全角度出发，达到自主可控，解决核心技术“卡脖子”的问题，不受制于外国技术。

    信创关注的主要领域

    从2023年12月，信创的主要领域包括基础设施、基础软件、应用软件和信息安全。中国信息安全测评中心发布的“安全可靠测评结果公告”[6]包括了三个细分类的产品：

    • 中央处理器（CPU）
    • 操作系统
    • 集中式数据库

    数据库总共11家，包括了“老三家”达梦、人大金仓、南大通用；云厂商的PolarDB、TDSQL；其他独立的数据库厂商包括了：瀚高（PostgreSQL系）、虚谷数据库、海盒、海量、万里、优炫等。

    2+8+N

    信创在推进上，也是循序渐进。主要分三类，大家简称2+8+N或者3+8+N，2/3党政部门（或党政军）；8代表国家重要的技术设施单位，包括了：“金融、电信、电力、交通、石油、教育、医疗、航空航天” ，N则是更进一步的消费市场。

    其他

    • 信创一词，最早来源于2016年中国电子工业标准化技术协会[3]成立的“信创工委会”，即信息技术应用创新工作委员会[1]
    • 中国电子工业标准化技术协会，是从事电子信息产业标准化研究、试验检测的单位、组织及个人等自愿组成的全国性、行业性、非营利性社会团体。因为是非盈利性社团，所以组织上，上级主管单位之一是“民政部”，但实际只能上，应该是与“工信部”（国务院下属）更为密切，比如，现在的理事会司长“胡燕”，就是“工业和信息化部科技司原司长”[4]。所以大致的关系是：
      • “信创工委会”–>“中国电子工业标准化技术协会”–>“民政部”/“工信部”–>“国务院”[5]
    • 目前，信创领域参与最核心的企业包括了“三大四小”（这里的小是相对的），中国电子（CEC）、中国电科(CETC)、华为（HW），“四小”是指航天系、中科院系、浪潮系和紫光系。

    参考内容

  • Oracle云第三、四代规格的MySQL性能差异

    ·

    admin

    本问是一个系列文章的一部分，该系列较为完整的对各个云厂商的RDS MySQL进行了测试，包括了阿里云、腾讯云、华为云、百度云、AWS、Azure、GCP、Oracle Cloud等，更多参考：云数据库RDS MySQL的性能。

    在Oracle Cloud Infrastructure（简称OCI，也就是Oracle云）上购买MySQL实例，也会有第三代CPU和第四代CPU规格的选择，分别是：MySQL.VM.Standard.E4.2.32GB和MySQL.VM.Standard.E3.2.32GB。本文对比两个版本规格的价格与性能，以供参考。

    结论概述

    E4（AMD EPYC 7J13）、E3（AMD EPYC 7742）同属于AMD系列的CPU，E4似乎主要是在OCI平台，E3较为通用。从性能测试上，可以看到，E4相比于E3有着较为明显的性能优势，以常见的16并发时数据为参考，则E4（MySQL.VM.Standard.E4.2.32GB）相比于E3（MySQL.VM.Standard.E3.2.32GB）性能要高11%。

    这也与之前的，“新一代CPU总是有着更高的性能”的结论一致。

    (more…)

  • 云数据库技术动态@2024-05-10

    ·

    admin

    标题：华为云 GaussDB 基础版发布;火山云PostgreSQL支持Terraform;MySQL 8.4、Oracle 23ai发布

    重要更新

    华为云 GaussDB 数据库基础版发布，有集中式形态和分布式形态，其中集中式形态单机性能要求高，能处理小至中等规模数据，此次发布的就是集中式形态；分布式形态将于 5 月发布。不过，目前在官网购买页中，还只能看到分布式版和主备版，猜测该版本还在内测中。2

    Oracle数据库最近有两个较大的发布，一个是MySQL发布了8.4版本，这是一个新的LTS版本，8.4.x系列也将是8.0之后的下一个适合生产的版本25；另外，Oracle 23c更名为23ai，并正式GA，表达了Oracle未来将全面支持AI能力；

    火山云(字节)

    • RDS MySQL 新建实例时支持指定默认终端的私网端口；支持展示数据备份和日志备份的空间使用情况；[26][29]
    • RDS PostgreSQL新增对 Terraform 的支持，支持使用配置文件对资源的创建和使用进行编排。[33]
    • RDS PostgreSQL 13 新增 RDKit 插件，该插件可基于机器学习方法生成化合物指纹（fingerprint）[37]
    • RDS SQL Server 版控制台支持修改实例的连接地址前缀。[38]
    • RDS SQL Server 版控制台按库粒度恢复到新实例。[39]
    • 托管 HBase 新增表级监控指标、存储（冷存）使用量、Thrift 请求平均响应时间等监控指标[47]

    阿里云

    • PolarDB 企业版，当集群计算资源的付费类型为包年包月时，其存储资源的付费类型支持在按容量计费（按量付费）和按空间计费（包年包月）之间互转。[4]

    Azure(微软云)

    • Azure托管 PostgreSQL 支持了最新版本的 TimeScaleDB 扩展 [6]；支持了最新 PostgreSQL 小版本 [7]
    • Azure Cosmos DB API for MongoDB RU 正式支持版本 5.0 和 6.0版本[9]

    GCP(谷歌云)

    • Private Service Connect 现已正式发布 (GA)，可以帮助实现跨 VPC 访问 AlloyDB for PostgreSQL数据库 实例 [11] 

    Oracle云

    • Oracle Cloud支持最新的23ai版本[19]
    • Oracle Cloud支持 GoldenGate 23ai [22]
    • Oracle Cloud上支持 MySQL 版本 8.4.0 和 8.0.37[25]

    AWS(亚马逊云)

    • RDS 在预览环境支持了 MySQL 8.3 [48]
    • RDS for Db2 支持了时区配置[49]

    腾讯云

    • 云数据库 SQL Server 支持手动创建最新阻塞及死锁事件 [50]

    参考链接