• 不可见索引(Invisible Indexes)MySQL 8.0之后引入的一个重要特性。也可以帮助DBA或者开发者更好的管理和维护数据库的索引。本文将介绍不可见索引的一些常见使用场景和注意事项。

    更加安全的删除没用的索引

    通常,线上运行时间较长的系统,可以通过索引使用统计信息知道哪些索引是从来不被使用的,但依旧会占用磁盘空间,并且会影响系统的写入/更新/删除操作的性能。但是删除索引的操作,有时候也会带来意想不到的系统性能下降,所以,在正式删除之前,可以先将索引修改为不可用,待观察数日后再进行删除,会更加安全。

    性能分析

    有时候在对线上系统进行SQL性能分析时,有时候为了排除某些索引对查询性能影响时,可以暂时的将某些索引暂时标记为不可用,再统计此时的SQL执行时长与性能。然后,再将索引置为可见,再次执行SQL,并统计执行时长与性能。

    通过这样对比,可以非常简单直观、量化的观察到索引对对于具体SQL性能的提升。

    不可见索引依旧会有维护成本

    虽然不可见索引不会被查询优化器使用,但在对数据进行DML操作(如:插入、更新、删除)时仍会被维护。这意味着不可见索引可能会对数据库性能产生一定影响。在使用不可见索引进行性能测试或分析时,请务必权衡这一点。

    不建议长期保留不可见索引

    如果确定某个不可见索引对查询性能没有帮助,建议尽早删除该索引,以节省存储空间和减小维护成本。否则,该索引对系统性能没有起到任何正面作用,反而会占用空间,并影响DML的性能。

    优化器选项可以让不可见索引生效

    在优化器选项(optimizer_switch)中,可以通过打开标记位(use_invisible_indexes),来强制优化器忽略索引的不可见属性,这在增加了SQL性能调试时的灵活性。

    可以通过SELECT/SHOW命令查询优化器选项,也可用通过SET命令变更该选项:

    SET [GLOBAL|SESSION] optimizer_switch='command[,command]...';
    
    SET SESSION optimizer_switch = 'use_invisible_indexes=ON';
  • 重要更新

    根据建行龙集采平台信息,国产数据库-小机下移项目有腾讯云、PingCAP、中兴支持,金额为3436万:参考;国产数据库-贷记卡场景由华为云支持,金额为578万。过去几年和未来很长时间,国产数据库都将在国家基础设施中起着越来越大作用:参考

    云数据库技术社区组织的第一次线下沙龙在杭州成功举行:参考。本次沙龙由玖章算术(NineData)、菜根发展、良仓太炎、ITPub联合主办与支持,以MySQL x ClickHouse为主题,汇聚了字节跳动、阿里云、玖章算术、华为云、腾讯云、百度的6位数据库领域专家,分享了MySQL x ClickHouse 的实践经验和技术趋势。

    更新详情

    阿里云
    • 托管RDS优化了恢复流程,提升用户体验。link
    • PolarDB MySQL 发布条件下推(某些情况下下推到生成表/Derived Table)以提升性能:参考、支持通过并行DDL创建全局二级索引:参考,等数十项优化。
    腾讯云
    • 托管MySQL、MariaDB更多区域支持了外网:参考;备份空间商业化生效:参考
    • 托管SQL Server优化了回档功能:参考
    AWS & Azure
    • AWS 托管RDS的读优化实例在中国地区发布上线。该类型实例在本地提供了高性能的NVMe磁盘,可以让需要使用本地盘读写性能的SQL(例如,大排序、大分组等)运行得更快 link
    • Azure Cosmos DB for PG支持用户自定义密钥的数据加密:参考

    推荐阅读

    • 从 MySQL 到 Oracle 再到全面 TiDB ,云盛海宏的数据库架构实践:参考
    • 国际顶会 ICDE入选|OceanBase死锁检测实现了哪些技术突破:参考
    • 亚马逊云科技与字节跳动 ByteHouse 强强联合,新一代云数仓服务重磅登场!:参考
    • 中国联通数据库实践:CUDB for OceanBase 分布式数据库产品规模应用:参考
  • 重要更新

    最近两篇争锋相对的文章,又在数据库圈子里面引起了一阵涟漪:正方为:《分布式数据库是伪需求吗?》,反方为《2023年了,还有人在谈分布式数据库是不是伪需求》感兴趣的可以看看。正方观点看起来虽然有一些偏激,但是笔者还是支持正方的,也认为狭义的分布式数据库受众是非常有限的,并确实在受到硬件快速发展的挤压,例如,2009年淘宝业务使用的x86数据库服务器内存是16GB+HDD硬盘,而现在云数据库很容易买到500GB内存的实例(如阿里云RDS最大内存可达768G),比较极限的还可以买到4TB内存的实例(可以看看Amazon的”db.x2iedn.32xlarge”规格3)。另外,分布式数据库场景虽然有限,依旧有部分场景,最典型的就是写入密集型,并且是非常关键的一些场景,例如交易事务,需要使用分布式数据库。你站哪边?可以留下你的评论。

    华为云GaussDB荣获中国电子学会“科技进步一等奖”(参考),这代表该数据库一定程度获得了中国官方非常高的认可与评价。

    据悉,MySQL版本管理将会做出重大改变,原来模式下每3年左右发布一个大版本,例如5.1/5.5/5.6/5.7/8.0等,但是事实上,距离8.0在2018年4月GA到现在已经有5年没有大版本了,据悉,新的模式下,将会使用LTS版本和Innovation Release结合形式,LTS版本两年发布一次,并提供5年(Premier)+3年(Extended)支持的方式;Innovation Release则每个季度一个小版本持续迭代,会不断融入更多新功能与特性:参考1、参考25

    MariaDB再遇艰难时刻,现金可能会难以支撑长期运营:参考14。自去年12月,MariaDB以SPAC模式在美上市后,股价也一直走低。这次,MariaDB发出警告说,虽然已经裁员26人,但现金依旧可能不足以支撑公司,并在寻求新的一轮融资。只能说当初Monty自己构建的MySQL太强大了。

    云数据库技术社区的第一次沙龙将在周六下午于杭州海智中心举行,主题为MySQLx ClickHouse,很久没有线下聚会了,感兴趣的可以来现场交流:参考

    更新详情

    阿里云
    • RDS MySQL支持从本地SSD升级到ESSD:参考6
    • RDS MySQL集群版支持存储自动扩容:参考7
    • PolarDB普通集群上新增开启Serverless功能:参考8
    • DTS支持专属集群:参考9
    AWS
    • RDS的事件通知功能新增了实例Tag信息,帮助用户更好的处理实例事件1
    • DynamoDB支持最多可以同时并发恢复50个表2
    • AWS Backup现在支持在EC2上HANA的备份与恢复4
    腾讯云
    • RDS支持PostgreSQL 15
    火山引擎
    • RDS MySQL新增对Terraform的支持:参考11
    • 托管Redis支持多可用区同城容灾:参考10
    其他
    • 号称MongoDB平替的FerretDB发布 1.0:参考12
    • 开源向量数据库Qdrant获750万美元融资,这是在其去年获得220万美元融资之后的再次融资:参考13
    • MariaDB再遇艰难时刻,现金可能会难以支撑长期运营:参考14

    推荐阅读

    引用链接

    关于引用链接的说明:还是偶尔会收到一些认真的开发者来咨询,某某特性有没有更详细的说明链接,于是还是打算尽量给更新的出处。但因为微信公众号不支持任何外链,所以就通过引用链接的方式给出相关内容的引用。另外,有很多链接都非常长,既不美观也不便于复制,于是使用bitly的短链接服务,让操作更简单一些。但是,也注意到bitly服务在国内有时候并不稳定,请看客自己科学跳转。

  • 疫情来到之初,因为对于病毒和传播了解较少,难以感受到疫情在过去的三年如此巨大的改变了大家的生活。而这次ChatGPT变革则是处在自己所在的互联网/基础科技领域,已经感受到了ChatGPT将较为深刻的改变很多内容。

    (more…)
  • 重要更新

    “云数据库技术”第一次线下meetup正式开启,计划于下周六(4月22日)下午在杭州举办,主题为“MySQL x ClickHouse”,邀请了国内云厂商和技术专家,与开发者共同讨论云数据库技术。欢迎现场参加,感谢朋友们的转发与扩散:参考

    注意到,原“阿里云数据库”公众号正式更名为“阿里云瑶池数据库”,“瑶池”应该会是后续阿里云数据库主推的品牌,该品牌可以理解和之前的ApsaraDB类似,是阿里云数据库的整体品牌。另外,上周,阿里云Lindorm通过SQL语句曲线支持AI绘图能力:参考。可以通过简单的SQL语句,加上描述性语言生成对应图片。

    Amazon RDS开始支持Graviton 3(第三代自研ARM芯片)的实例,规格代码为:db.m7g(通用) 和 db.r7g(内存优化型),AWS的Graviton实例(ARM)已经相对比较成熟,在性价比上相比x86架构有明显的优势,如果是降本增效的业务可以考虑使用,能够很轻松的获得30%的成本节约 2

    更新详情

    阿里云
    • RDS PostgreSQL Serverless正式商业化发布:参考
    • RDS MySQL/PostgreSQL部分实例(PL1/2/3类型)支持存储空间缩容:参考
    • RDS PostgreSQL 14/15新增自研插件rds_ccl,支持SQL限流:参考
    字节火山云
    • DTS支持了支持通过专线和 VPN 实现数据上云(邀测):参考
    AWS
    • RDS Custom for SQL Server支持多AZ:参考
    • Aurora支持PostgreSQL 15:参考。另外,AlloyDB、PolarDB当前支持的是均为14:参考。从产品发布节奏,可以看到,Amazon在云基础技术上是一直领先的。
    • RDS控制台新增了创建Elasticache实例功能:参考,详细使用:参考。该功能主要是考虑Elasticache(Redis)系统经常会和关系型数据库在一个环境中,从RDS控制台创建Elasticache,可以继承RDS的安全组、连接访问配置,简化了用户的部分配置操作。
    • RDS MySQL集群版支持15个只读节点: 参考;支持了从RDS MySQL单可用区版本、多可用区版本到RDS MySQL集群版的复制功能:参考。这些功能发布来看,当前Amazon的RDS的团队是在重要发展MySQL集群版。当大家都觉得AWS RDS应该没什么事情可以做的时候,他们还在不断的创新。至于,什么是集群版、单可用区版、多可用区版,可以参考如下文章:
    • RDS PostgreSQL新增提供本地NVMe SSD的实例,可以让需要使用本地存储的场景性能大大提升,包括需要使用临时表的复杂查询、复杂排序、聚合等,具备该能力的实例类型包括db.M5d和db.R5d,这里的规格代码“d”应该就表示使用了本地NVMe SSD的实例:参考
    • RDS开始支持Graviton 3(第三代ARM实例),规格代码:db.m7g 和 db.r7
    • RDS多可用区集群版至此以预留实例方式购买3
    GCP
    • BigQuery 变更数据捕获(CDC)公测上线:参考。相比之前提供的DML语句获取,CDC能够帮助开发者更好的获取变化数据。
    Azure
    • 托管PostgreSQL(FS)的只读副本功能正式GA:参考
    • 托管PostgreSQL(FS)新增指标Database-is-alive可以获得数据库是否正常运行1
    • 托管PostgreSQL(FS)支持新的突发型实例(B4ms, B8ms, B12ms, B16ms, B20ms)4

    参考阅读

    引用

    [1]  https://azure.microsoft.com/en-us/updates/public-preview-databaseisalive-metrics-for-monitoring-azure-postgres-flexible-server-database-availability/

    [2]  https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.DBInstanceClass.html#Concepts.DBInstanceClass.Support

    [3]  https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/USER_WorkingWithReservedDBInstances.html#USER_WorkingWithReservedDBInstances.MultiAZDBClusters

    [4]  https://azure.microsoft.com/en-us/updates/generally-available-new-burstable-skus-for-azure-database-for-postgresql-flexible-server/

  • 故障总是会出现,业务系统面对故障时的容错能力则体现了系统架构师的设计能力。但是,在现实的世界中,系统的容灾建设总是优先级很低的任务,可能长期躺在”to-do“当中。

    在过去的几个月中,国内两大云厂商均出现了可用区级别的故障(链接链接)、B站在3月5日发生过一次大规模不可用(参考 参考)、OpenAI在3月也发生过一次宕机(参考),技术团队如此强大的公司依旧会出现此类大故障,那么几乎是一定的:我们的系统也会出现类似的故障,你的也会。而这类故障,不是第一次,也不会是最后一次。

    本文就从数据库角度,看看构建有效的跨区域容灾有哪些难度和挑战。

    (more…)