orczhou.com

Database

  • 使用 Docker 工具安装不同版本的Oracle数据库

    ·

    admin

    Docker 大大简化了数据库的安装，特别是在产品测试阶段的时候，可以让开发者以最快速的方式体验技术产品，尤其是当这个技术产品已经非常复杂的时候。

    Oracle 官方提供了哪些镜像

    Oracle 镜像官方页面

    Oracle 在官方站点中列出了所有支持的产品，以及对应的仓库列表。 Oracle 镜像仓库的官方页面：

    仓库官方页： https://container-registry.oracle.com/

    找到软件对应的子仓库

    这里关注 Oracle Database 相关的仓库，故选择第一个仓库列表页。在这里可以看到有很多的子仓库，可以用于安装不同的 Oracle 数据库版本或组件：

    选择版本与镜像站点

    进入单个子仓库，在页面的最底下可以看到，该仓库有哪些版本的镜像可以使用，例如，这里选择了 express 子仓库，在页面最底端找到支持的版本列表：

    另外，这里还提供了一些可供选择的镜像列表，开发者可以根据自己的地理位置选择合适的镜像站点。

    安装 Oracle 数据库

    拉取镜像

    docker pull container-registry.oracle.com/database/express:latest
  or:  
docker pull container-registry.oracle.com/database/express:21.3.0-xe
  or:
docker pull container-registry.oracle.com/database/express:18.4.0-xe

    这里的测试选择了express:18.4.0-xe版本进行安装。查看本地的镜像：

    docker image ls
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
REPOSITORY                                            TAG         IMAGE ID      CREATED       SIZE
container-registry.oracle.com/mysql/community-server  9.1         f1f889678a73  6 months ago  606 MB
container-registry.oracle.com/database/express        18.4.0-xe   364598d20118  4 years ago   6.03 GB

    创建 Oracle 数据库的容器

    docker container create \
   -it \
   --name oracle-18ex \
   -p 1521:1521 \
   -e ORACLE_PWD=oracledocker \
   container-registry.oracle.com/database/express:18.4.0-xe

    启动容器

    docker start oracle-18ex

    观察启动状态

    docker logs -f oracle-18ex
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
ORACLE PASSWORD FOR SYS AND SYSTEM: oracledocker
Specify a password to be used for database accounts. Oracle recommends that the password entered should be at least 8 characters in length, contain at least 1 uppercase character, 1 lower case character and 1 digit [0-9]. Note that the same password will be used for SYS, SYSTEM and PDBADMIN accounts:
Confirm the password:
Configuring Oracle Listener.
Listener configuration succeeded.
Configuring Oracle Database XE.
Enter SYS user password:
****************
Enter SYSTEM user password:
*************
Enter PDBADMIN User Password:
*************
Prepare for db operation
7% complete
Copying database files
29% complete
Creating and starting Oracle instance
30% complete
31% complete
34% complete
38% complete
41% complete
43% complete
Completing Database Creation
47% complete
50% complete
Creating Pluggable Databases
54% complete
71% complete
Executing Post Configuration Actions
93% complete
Running Custom Scripts
100% complete
Database creation complete. For details check the logfiles at:
 /opt/oracle/cfgtoollogs/dbca/XE.
Database Information:
Global Database Name:XE
System Identifier(SID):XE
Look at the log file "/opt/oracle/cfgtoollogs/dbca/XE/XE.log" for further details.

Connect to Oracle Database using one of the connect strings:
     Pluggable database: bd127ae4faab/XEPDB1
     Multitenant container database: bd127ae4faab
Use https://localhost:5500/em to access Oracle Enterprise Manager for Oracle Database XE
The Oracle base remains unchanged with value /opt/oracle
#########################
DATABASE IS READY TO USE!
#########################
The following output is now a tail of the alert.log:
2025-04-17T03:40:43.663079+00:00
XEPDB1(3):Resize operation completed for file# 10, old size 358400K, new size 368640K
2025-04-17T03:40:44.483587+00:00
XEPDB1(3):CREATE SMALLFILE TABLESPACE "USERS" LOGGING  DATAFILE  '/opt/oracle/oradata/XE/XEPDB1/users01.dbf' SIZE 5M REUSE AUTOEXTEND ON NEXT  1280K MAXSIZE UNLIMITED  EXTENT MANAGEMENT LOCAL  SEGMENT SPACE MANAGEMENT  AUTO
XEPDB1(3):Completed: CREATE SMALLFILE TABLESPACE "USERS" LOGGING  DATAFILE  '/opt/oracle/oradata/XE/XEPDB1/users01.dbf' SIZE 5M REUSE AUTOEXTEND ON NEXT  1280K MAXSIZE UNLIMITED  EXTENT MANAGEMENT LOCAL  SEGMENT SPACE MANAGEMENT  AUTO
XEPDB1(3):ALTER DATABASE DEFAULT TABLESPACE "USERS"
XEPDB1(3):Completed: ALTER DATABASE DEFAULT TABLESPACE "USERS"
2025-04-17T03:40:44.930766+00:00
ALTER PLUGGABLE DATABASE XEPDB1 SAVE STATE
Completed: ALTER PLUGGABLE DATABASE XEPDB1 SAVE STATE

    登录容器中的 Oracle 数据库

    在上面的输出中可以看到，安装时会默认创建如下数据库：

    Database Information:
Global Database Name:XE
System Identifier(SID):XE

    根据在上述 docker 命令中指定的密码，则可以使用如下的命令登录数据数据库：

    docker exec -it oracle-18ex sqlplus sys/oracledocker@XE as sysdba
  or:
docker exec -it oracle-18ex sqlplus system/oracledocker@XE

    登录后，会有如下提示输入：

    Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.

SQL*Plus: Release 18.0.0.0.0 - Production on Thu Apr 17 03:56:27 2025
Version 18.4.0.0.0

Copyright (c) 1982, 2018, Oracle.  All rights reserved.

Last Successful login time: Thu Apr 17 2025 03:49:37 +00:00

Connected to:
Oracle Database 18c Express Edition Release 18.0.0.0.0 - Production
Version 18.4.0.0.0

SQL>

    授权协议与认证

    如果你要使用 Oracle 数据库的企业版的话，在拉取镜像前则需要先登录官网“同意”相关的协议，并使用docker login的方式进行认证，然后才可以拉取镜像。

    requested access to the resource is denied

    如果没有认证或提前在官网统一协议，则可能遇到如下报错：requested access to the resource is denied：

    docker pull container-registry.oracle.com/database/enterprise:12.2.0.1
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
Trying to pull container-registry.oracle.com/database/enterprise:12.2.0.1...
Error: initializing source docker://container-registry.oracle.com/database/enterprise:12.2.0.1: reading manifest 12.2.0.1 in container-registry.oracle.com/database/enterprise: requested access to the resource is denied

    或者：invalid username/password: authentication required

    docker pull container-registry-tokyo.oracle.com/database/enterprise:12.2.0.1
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
Trying to pull container-registry-tokyo.oracle.com/database/enterprise:12.2.0.1...
Error: initializing source docker://container-registry-tokyo.oracle.com/database/enterprise:12.2.0.1: unable to retrieve auth token: invalid username/password: authentication required

    解决上述问题，首先需要登录Oracle镜像的官方站点，并同意相关协议，然后使用docker login完成认证，后即可下载。

    登录Oracle仓库站点并同意协议

    例如，如果需要下载“Oracle Database Enterprise Edition”，则需要先进入对应仓库站点：链接，并在页面的右侧栏点击协议并同意协议：

    docker login

    同意协议后，就可以使用docker login登录账号并进行镜像的下载了。

    Enterprise Edition的Docker安装

    在参考 Oracle 企业版官方文档（参考）进行安装部署的时候，在 AlmaLinux 部署时会遇到如下的问题：

    docker exec -it oracle-1202ee sqlplus / as sysdba
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
Error: crun: executable file `sqlplus` not found in $PATH: No such file or directory: OCI runtime attempted to invoke a command that was not found

    当前的绕过方案是，进入容器的bash，然后再执行即可：

    [root@oracle-docker-test ~]# docker exec -it oracle-1202ee bash
Emulate Docker CLI using podman. Create /etc/containers/nodocker to quiet msg.
[oracle@8bb1ec09ec5e /]$ sqlplus / as sysdba

SQL*Plus: Release 12.2.0.1.0 Production on Fri Apr 18 02:37:30 2025

Copyright (c) 1982, 2016, Oracle.  All rights reserved.


Connected to:
Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production

SQL>

    创建容器时的参数

    在创建容器的时候，可以使用命令行进行部分启动参数的配置。例如，默认启动时，是没有开启归档日志的（Archive Logs）的，则可以通过添加如下容器构建参数：

    -e ENABLE_ARCHIVELOG=true

    完整的命令：

    docker container create \
   -it \
   --name oracle-1202ee \
   -p 1521:1521 \
   -e ENABLE_ARCHIVELOG=true \
   -e ORACLE_PWD=oracledocker \
   container-registry.oracle.com/database/enterprise:12.2.0.1

    相关资源

  • 使用 Terraform 自动化获取 Oracle Cloud上支持的 MySQL 版本

    ·

    admin

    Terraform 可以自动化的创建云端的资源，但是要想实现更高的灵活度，则需要更为灵活的使用Terraform的“Data Sources”能力。例如，在自动化的创建数据库时，云厂商允许创建的版本号是在动态变化的，例如，当前最新的允许的创建的MySQL版本通常是 8.0.40，但通常过了一个季度之后，就变成了 8.0.41。这时，对应的 Terraform 的脚本就需要调整或者传递参数就需要发生变化。而 Terraform 提供的 “Data Sources” 能力则可以很好的解决这个问题。

    在 Oracle 的 Terraform 中可以使用 “Data Source: oci_mysql_mysql_versions” 实现该能力。

    示例

    首先使用 data 命令定义该对象：

    data "oci_mysql_mysql_versions" "gmv" {
    compartment_id = oci_identity_compartment.oic.id
}

    这里会获取该租户环境下支持的所有MySQL版本。

    然后，再使用 output 命令就可以获取并输出这些版本信息。详细的output命令如下：

    output "mysql_version" {
  value       = data.oci_mysql_mysql_versions.gmv.versions
}

    详细的输出示例如下：

    mysql_version = tolist([
  {
    "version_family" = "8.0"
    "versions" = tolist([
      {
        "description" = "8.0.36"
        "version" = "8.0.36"
      },
      {
        "description" = "8.0.37"
        "version" = "8.0.37"
      },
      {
        "description" = "8.0.38"
        "version" = "8.0.38"
      },
      {
        "description" = "8.0.39"
        "version" = "8.0.39"
      },
      {
        "description" = "8.0.40"
        "version" = "8.0.40"
      },
      {
        "description" = "8.0.41"
        "version" = "8.0.41"
      },
    ])
  },
  {
    "version_family" = "8.4 - LTS"
    "versions" = tolist([
      {
        "description" = "8.4.0"
        "version" = "8.4.0"
      },
      {
        "description" = "8.4.1"
        "version" = "8.4.1"
      },
      {
        "description" = "8.4.2"
        "version" = "8.4.2"
      },
      {
        "description" = "8.4.3"
        "version" = "8.4.3"
      },
      {
        "description" = "8.4.4"
        "version" = "8.4.4"
      },
    ])
  },
  {
    "version_family" = "9 - Innovation"
    "versions" = tolist([
      {
        "description" = "9.1.0"
        "version" = "9.1.0"
      },
      {
        "description" = "9.1.1"
        "version" = "9.1.1"
      },
      {
        "description" = "9.1.2"
        "version" = "9.1.2"
      },
      {
        "description" = "9.2.0"
        "version" = "9.2.0"
      },
    ])
  },
])

    获取特定大版本的各小版本

    可以通过 data资源中新增filter模块以过滤出需要的对象。

    在 Terraform 中，关于 data 资源是否可以使用 filter，以及filter支持的完整度视乎并没有明确的说明。这需要更具不同的供应商的实现。常见的，在data resource中filter可以支持“列表匹配”、“通配符匹配”或者“正则匹配”。具体的匹配方式，则需要通过文档、或者测试区验证。

    添加带正则匹配的 filter 
    data "oci_mysql_mysql_versions" "gmv" {
    #Required
    compartment_id = oci_identity_compartment.oic.id
    filter {
        name = "version_family"
        values = ["8.0.*"]
        regex  = true
    }
}

    通过 HCL 语言获取最新的版本
    output "latest_versions" {
  value = {
    for db_version in data.oci_mysql_mysql_versions.gmv.versions : db_version.version_family => sort([
      for v in db_version.versions : v.version
    ])[length(db_version.versions) - 1] // 取排序后的最后一个版本
  }
}

    最后的输出如下：

    latest_versions = {
  "8.0" = "8.0.41"
  "8.4 - LTS" = "8.4.4"
  "9 - Innovation" = "9.2.0"
}

    参考链接

  • 快速了解 Aurora DSQL

    ·

    admin

    上周在 AWS re:Invent大会（类似于阿里云的云栖大会）上推出了新的产品 Aurora DSQL[1] ，在数据库层面提供了多区域、多点一致性写入的能力，兼容 PostgreSQL。并声称，在多语句跨区域的场景下，延迟只有Google Spanner的1/4。

    Aurora DSQL 提供了多可用区、多区域的多点一致性写入的内容。在技术层面，Aurora DSQL 通过把数据库的 log 模块和 block （或者说是cache）模块做了分离，从而更好的实现多点/多区域分布式能力，这与 Google AlloyDB 是比较类似的；此外，在跨区域强一致性实现上，则使用“Amazon Time Sync Service” [3] 来保障多个区域之间事务顺序的一致性。

    在产品层面，分为两个场景，一个是 Aurora DSQL（region内模式）和一个 Aurora DSQL Global 模式（多 region 内模式）。在 Region 内场景下，相比于普通 Aurora PostgreSQL ，Aurora DSQL 在多个可用区内都可以提供强一致的读写接入点，而Aurora PostgreSQL只在一个可用区提供写，其他可用区仅提供只读节点。

    在跨 Region 的场景下，Aurora DSQL 则提供了同步的、跨区域的多点写入能力。这对于业务在全球分布的客户，则可以进一步的降低业务的复杂度。而原来的 Aurora Global Database 仅提供单个 Region 的写入能力，并且，在其他 Region 的读节点需要承受一定的数据访问延迟，这对于很多的在线业务场景可能是无法接受的，或者需要在应用层面做针对性的改造。

    这是 Aurora 发布的10周年，AWS 依旧是创新、技术能力非常强的一家公司。此外，产品是在内测阶段，普通用户还无法体验。

    参考文档

  • 2024 DTCC：企业级数据库DevOps最佳实践

    ·

    admin

    数据库DevOps这个话题我讲过很多次了，在阿里的数据库环境，已经是成熟的实践经验。现在离开阿里，以独立数据库工具厂商的身份去讲这个话题，还是有一些不一样的思考。

    09年，刚加入淘宝DBA团队的前几年，其实是很痛苦的。最早还没有工具和平台的思维，很多事情都是”手挑肩扛”。不过生产环境的数据库数量增长很快就远超团队人员增长速度。最早，淘宝内部将DBA分为”系统DBA”，负责数据库的安装/部署、监控、备份、性能监控报警、故障诊断等工作；还有一部分是”产品DBA”，负责面向上层业务的数据库支持，包括数据库的设计与发布、架构选型、业务优化、容量规划等。

    当时我在”系统DBA”团队，为了解决人员与系统增长不匹配的问题，当时也在前辈建立的”北斗”数据库管理基础上进行改进，并构建了淘宝数据库环境内首个MySQL数据库管理平台”天机“，取名字也是来自”北斗”七星中的”天玑”，不过取自”天机不可泄露”便取”天机”。而后，这个平台也几经改造与重构，发展为内部一套完整、健壮的DBaaS系统。

    而”产品DBA”也面临着同样的问题，表现上略有不同。主要问题包括：业务/研发爆发式增长，”数据库的设计与发布、架构选型、业务优化（性能管理）、容量规划”这些原本DBA的工作，已经不可能再靠有限的DBA人力完成了。于是，内部的开始尝试通过一些简单的工具尝试解决这个矛盾。最早，先是使用WebSQLPlus解决数据查询的问题、而后是dbtask解决了数据库DDL发布的问题。再之后，对于研发、DBA如何一起共同支撑起业务发展，从而构建出了全新的iDB平台，并且在iDB从3.0升级到4.0版本时候，重新对平台做了定位，由一个面向DBA的工具，转变为面向研发使用数据库的产品，也是在这个时候，正式提出了数据库DevOps的理念。

    在2017年，这套产品也在阿里云上正式商业化发布，开始从一个服务阿里内部的系统正式的以商业化的形式服务云上的更多企业。

    2021年，离开了阿里，一方面是很冲动，另一个很重要的原因是认为，这套系统应该是一个独立于某个云厂商的、第三方的系统，这样可以更好的服务当前企业用户，无论企业用户的数据库是在阿里云、还是在华为云、腾讯云、AWS、百度云，亦或者是在自己筹建的IDC之内，都可以很好的使用这个产品，用这个理念去管理数据库，去解决研发、DBA与数据库的问题。

    记得特别清楚，有一年端午节，在内部p8->p9的晋升答辩上，有一个评委问我：“DMS/DTS”等这些工具产品，交由第三方厂商去做是不是更好？当时回答得很凌乱…，现在可以给评委一个简单的回答了：“是的”。

    关于这次分享的详细内容可以参考，这篇文章：《企业级数据库 DevOps 最佳实践，通过 NineData 实现高效安全的数据库开发》。分享的片子如下：

    orczhou-database-devops-best-practice-dtcc-2024

  • 云数据库技术动态@2024-06-21

    ·

    admin

    标题：openGauss开发者大会、华为云HDC大会举行; PostgreSQL中国技术大会7月杭州开启

    重要更新

    openGauss Developer Day本周五于北京举行，大会聚集了相关行业专家、用户、伙伴和开发者，分享给予openGauss的联合创新成果和实践案例。[2]  ； 华为云 HDC 2024本周五于东莞松山湖举行，主题演讲主要覆盖鸿蒙、AI [3] [29] 

    PostgreSQL中国技术大会重启，将在7月12日于杭州举办；大会以”聚焦云端创新，汇聚智慧共享”为主题，共同探讨数据库领域的发展趋势、技术创新和实践经验。

    更新详情

    阿里云
    • RDS PostgreSQL 发布新内核版本，兼容社区16.2版本。支持插件pg_proctab(0.0.10); pgvector(0.7.0) [6]
    • RDS SQL Server新增支持更多性能监控项，您可以通过RDS管理控制台查看实例的标准监控数据。[7]
    • RDS SQL Server 新版售卖页面支持设置系统字符集排序规则 [8]
    GCP(谷歌云)
    • 数据库迁移服务支持从Oracle迁移到AlloyDB [11] 
    火山云(字节)
    AWS(亚马逊云)
    • RDS 支持最新的MySQL版本 8.0.37[26]
    • RDS 最新的 MariaDB版本 10.11.8, 10.6.18, 10.5.25, 10.4.34[27]
    腾讯云
    • 云数据库 MySQL、TDSQL-C 发布数据库代理版本1.3.12。[28]
    参考链接

  • Oracle Cloud上的ECPU

    ·

    admin

    什么是Oracle Cloud上的ECPU

    总得来说，海外的云是更加追求“个性”的，几乎每家云厂商都会有一堆自己不一样的概念，而实际上底层相差并不是很大。在刚刚熟悉了Oracle OCPU概念之后，在去年OCI（Oracle Cloud Infrastructure，也就是Oracle云）又推出了ECPU。最近，OCI上的MySQL也支持了ECPU。

    ECPU代表的计算或存储服务器上CPU计算核心的一定的计算能力，ECPU会逐步取代OCPU的规格模型。一个猜测是：单位ECPU就是对应某个型号CPU的core的计算能力，关于这一点，还没有找到详细的文档对这一点进行描述。

    从当前的性能与价格上来看（性能数据后续会发布），2个ECPU与1 OCPU的性能是接近的，所以，可以简单的理解ECPU就是对应于其他云厂商的vCPU。

    (more…)