简单生活

  • 标题:Zilliz获Forrester报告全球第一;OB支持向量能力;Azure发布DiskANN,吊打pg_vector;阿里云PG发布内置分析引擎;AWS发布托管Valkey服务

    重要更新

    Azure发布 PostgreSQL 向量索引扩展DiskANN,声称在构建HNSW/IVFFlat索引上,速度、精准度都超越pg_vector,并解决了pg_vector长期存在的偶发性返回错误结果的问题 [1] 

    阿里云 RDS PostgreSQL 发布AP加速引擎(rds_duckdb)。该引擎提供了列存表和向量化执行能力,显著提升复杂查询的执行速度,且无需修改原始查询语句,从而确保您能够方便且高效地获取结果。当前白名单开放中[7]

    OceanBase发布4.3.3版本,支持了向量数据存储与索引功能,这也是4.3版本第一个GA版本[3]

    Forrester发布第一份Vector Database的报告(Forrester Wave),Zilliz(产品名:milvus)凭借完整、高效的向量数据处理能力获的第一。后续厂商分别有:DataStax、Microsoft、Amazon、Oracle、Pinecone等[2]

    更新详情

    阿里云
    • RDS MySQL支持定价详情功能,可以查看各计费项的定价说明和价格。[4]
    • RDS PostgreSQL新增支持PostgreSQL 17大版本。[5]
    • RDS PostgreSQL高可用系列标准版新增pg.x8.16xlarge.2c(128核 1024GB)独享规格。[6]
    • RDS PostgreSQL发布AP加速引擎(rds_duckdb)。该引擎提供了列存表和向量化执行能力,显著提升复杂查询的执行速度[7]
    • RDS PostgreSQL 内核版本发布小版本20240830 [8]
    • PolarDB Serverless集群支持IMCI列存索引(IMCI)功能 [9]
    GCP(谷歌云)
    • 创建Cloud SQL支持了证书颁发机构 (CA) 配置功能 [11] 
    • pg_ivm 扩展版本 1.9 现已正式发布。此扩展可让您更新物化视图,其中仅计算增量更改并将其应用于视图,而不是从头开始重新计算内容 [12] [13] 
    • “alloydb_scann”扩展程序(以前称为“postgres_scann”)已正式发布(GA),如需详细了解如何存储向量嵌入、创建索引以及调整索引以实现更快的查询性能和更好的召回率,请参阅使用向量[17] 
    • 现在,您可以在创建实例后使用“gcloud sql instance patch”命令更新 Cloud SQL for SQL Server 实例的时区。以前,您只能在首次创建实例时为 SQL Server 实例设置自定义时区.[19] 
    • Cloud SQL for MySQL 8.4 现已正式发布  [24] 
    • AlloyDB 主实例和备实例上支持公网IP [26] 
    火山云(字节)
    • DBW 数据库审计日志的默认保留时长变更为 30 天,同时新增支持选择保留 180 天、1 年和 3 年。[30]
    • 在操作审计页面 DBW 管理员支持查看所有操作行为,DBW 普通用户和非 DBW 系统角色仅支持查看自己的操作行为。[33]
    AWS(亚马逊云)
    • Aurora Serverless v2 新增支持 256 个 ACU [35]
    • Amazon Aurora/RDS 支持控制台到代码 [36]
    • Amazon 新增 ElastiCache for Valkey /MemoryDB for Valkey [38] [39] 
    • Aurora 支持 PostgreSQL 16.4、15.8、14.13、13.16 和 12.20 [50]
    • Aurora MySQL 现已支持 RDS 数据 API [51]
    腾讯云
    • TDSQL-C MySQL 版“只读分析引擎”内核版本更新到1.2404.10.0,主要优化了产品使用的体验和稳定性。支持了 date_sub 函数 [53]
    Azure(微软云)
    • 托管 PostgreSQL 支持了更多数据库参数的修改 [54]
    • 托管 Redis 7.2( Azure Cache for Redis Enterprise)正式发布 [55] 
    • 托管 PostgreSQL 支持postgresql_anonymizer插件,更好的保护隐私数据 [56] 
  • 在不同的云厂商,购买相同规格的MySQL实例(如4vCPU-16GB),获得的性能相同吗?

    dataaliyun_202409_hangzhou->stdbenchtencent_202409_beijing_exclusive->stdbenchhwcloud_202409_beijing_x86->stdbenchbaiducloud_202409_beijing->stdbenchaws_202409_tokyo_m6i->stdbenchazure_202409_east_asia_4c16g->stdbenchgcp_202409_tokyo_80_enterprise->stdbenchoci_202409_tokyo_8039->mysql_on_4_ecpu
    47102559225572206163920257233551
    897029936467441013313365413415936
    161466016141822972986427654825028054
    3222155223361352012022121571036348578317
    4827905247701784916448165161197367458130
    6432704264952011418187181181276180717838
    9636846290772088321007207821330096758504
    128396972991820128210292244613388106208198
    192389993061020521220912259013478115078043
    256383563105221187216652232312985118727907
    384396793122421729211672190212904121318209
    512403333180522647216272159112930121068386
    cpu_capacity80.493.3163.673.9110.956.349.9114.7

    测试结果概述

    在本次测试中:阿里云RDS MySQL性能表现最好,极限的QPS达到了4万;其次是腾讯云,达到了3.2万;第二梯队是华为云、百度云和AWS,极限的QPS约2.2万;之后是Azure、Google云,极限QPS约1.2万;最后是Oracle云,极限QPS约8500。详细的数据和趋势图,可以参考以上的图、表,这里不再详述。

    (more…)
  • 数据库DevOps这个话题我讲过很多次了,在阿里的数据库环境,已经是成熟的实践经验。现在离开阿里,以独立数据库工具厂商的身份去讲这个话题,还是有一些不一样的思考。

    09年,刚加入淘宝DBA团队的前几年,其实是很痛苦的。最早还没有工具和平台的思维,很多事情都是”手挑肩扛”。不过生产环境的数据库数量增长很快就远超团队人员增长速度。最早,淘宝内部将DBA分为”系统DBA”,负责数据库的安装/部署、监控、备份、性能监控报警、故障诊断等工作;还有一部分是”产品DBA”,负责面向上层业务的数据库支持,包括数据库的设计与发布、架构选型、业务优化、容量规划等。

    当时我在”系统DBA”团队,为了解决人员与系统增长不匹配的问题,当时也在前辈建立的”北斗”数据库管理基础上进行改进,并构建了淘宝数据库环境内首个MySQL数据库管理平台”天机“,取名字也是来自”北斗”七星中的”天玑”,不过取自”天机不可泄露”便取”天机”。而后,这个平台也几经改造与重构,发展为内部一套完整、健壮的DBaaS系统。

    而”产品DBA”也面临着同样的问题,表现上略有不同。主要问题包括:业务/研发爆发式增长,”数据库的设计与发布、架构选型、业务优化(性能管理)、容量规划”这些原本DBA的工作,已经不可能再靠有限的DBA人力完成了。于是,内部的开始尝试通过一些简单的工具尝试解决这个矛盾。最早,先是使用WebSQLPlus解决数据查询的问题、而后是dbtask解决了数据库DDL发布的问题。再之后,对于研发、DBA如何一起共同支撑起业务发展,从而构建出了全新的iDB平台,并且在iDB从3.0升级到4.0版本时候,重新对平台做了定位,由一个面向DBA的工具,转变为面向研发使用数据库的产品,也是在这个时候,正式提出了数据库DevOps的理念。

    在2017年,这套产品也在阿里云上正式商业化发布,开始从一个服务阿里内部的系统正式的以商业化的形式服务云上的更多企业。

    2021年,离开了阿里,一方面是很冲动,另一个很重要的原因是认为,这套系统应该是一个独立于某个云厂商的、第三方的系统,这样可以更好的服务当前企业用户,无论企业用户的数据库是在阿里云、还是在华为云、腾讯云、AWS、百度云,亦或者是在自己筹建的IDC之内,都可以很好的使用这个产品,用这个理念去管理数据库,去解决研发、DBA与数据库的问题。

    记得特别清楚,有一年端午节,在内部p8->p9的晋升答辩上,有一个评委问我:“DMS/DTS”等这些工具产品,交由第三方厂商去做是不是更好?当时回答得很凌乱…,现在可以给评委一个简单的回答了:“是的”。

    关于这次分享的详细内容可以参考,这篇文章:《企业级数据库 DevOps 最佳实践,通过 NineData 实现高效安全的数据库开发》。分享的片子如下:

    orczhou-database-devops-best-practice-dtcc-2024
  • This content is password-protected. To view it, please enter the password below.

  • 八小时的飞机

    ·

    从澳洲回来,飞机路程有八小时,因为是白天,所以也没什么睡意。 于是,做了一些平时想做又不会做的事情,比如将手机中的照片从11000张删除到5000张,此外,还完整的看完了三部电影:《第八个嫌疑人》、《古墓丽影:起源》 、《三少爷的剑》。

    《第八个嫌疑人》

    第八个嫌疑人还是不错的故事片,勉强能够给到四分(满分五分)吧。

    首先,其叙事结构比较引人入胜。开篇以一个莫名其妙的矿山杀人事件切入,然后故事随着一个退休警察的回忆进入故事,回到故事发生的最初。

    这是一个根据真实案件改编的故事,编剧的发挥也是在一定框架下进行,同时能够具备电影的张弛感、悬疑感等。正式故事从主人公“陈”的在筵席上醉酒,而其实却面临着生意失败开始。接着,是一个小规模的银行劫案而后,引出“陈”所精心规划的大劫案。

    在电影中,“大劫案”的过程与真实事件(番禺抢劫运钞车案)比较接近。劫匪们通过内外勾结、精心规划,现场杀死三名工作人员,很快从现场撤离。

    之后公安很快破案,抓住了主要的五个嫌犯,但背后主谋在逃。 而后,开始了数年的最凶。这里有一些非常不符合常理的地方在于,这里是由警官在一个视频中通过一个模糊的背影,最终到另一个城市追凶,再找到嫌犯。这里非常不科学,但这么安排可能是为了更加正能量吧,通过警察不懈的努力最终抓到嫌犯,大概更符合主流价值观。这里也很好奇真实的情况是怎样的? (下飞机有网络后再确认吧) 这里也出现另一个不合理的地方就是,陈的老父亲说,希望警察能够抓到他,这里大概也是“正能量需要”吧,做过父亲的人,大概都能够理解,父亲对于自己孩子的复杂的感情的。这种大义灭亲的桥段,多少有一些累赘,也许是为了过审需要吧,故事中比较让人纠结的一段是,凶手给父亲打了电话,在电话那头,儿子没有说话,给父亲磕了几个头。这还是比较像一个“人”的,无论是谁,对于家人、血亲的情感,总还是相通的,他虽然是坏人,但是并没有必要将其贬低为没有人性。

    此外,故事中,陈与其“表兄”,之间深厚的“江湖义气”是另一个,情感羁绊,两人以一种非常“负面”的形式“不离不弃”、“有福同享有难同当”,最终双双被捕,也算是“江湖义气”的最好“报应”了。 故事中安排了张颂文饰演角色的意外死亡,不知道现实是否真有其事,不过感觉更像是,剧情推进需要,使得,让后面警察多年执着最凶有一定的合理性。 老实说,如果这部电影拍摄更贴近真实拍摄,或者改编:警察最终放弃最凶,最后,由于机缘巧合,最终破案,可能电影的深度会更高一些,只是,这样拍可能会过不了审。

    补充说明:如果是时间充裕的话,电影比短视频还是要更加精彩: 电影的声、光效果,可以带来,是一种精心设计的体验,没有了这种体验,只是听到一个结果,缺乏体验,其实缺乏体验本身,也算是一种损失。当然,也伴随着另一个困境,看电影,比之于看原著,是不是另一种缺失。看原著所获的的各种细节体验。

    真实案件补充(下飞机后)

    如最初所预测,案件中并没有警察被杀,更没有坚持数年的追凶;最终,两名劫匪的落网是由于其中一人自首,根据新闻,其自首原因是患肺结核晚期、且经过20年潜逃想念妻女,最终决定自首,其中之一自首后,很快也就在同一城市抓到另一嫌犯。

    现实案件更具戏剧性的是,现实中,陈恂敏是广州大学,父亲是住建相关的主任。陈恂敏更像一个想证明自己、有一定智商的犯罪,而不是简单的为财抢劫。

    其他

    《三少爷的剑》这个武侠剧与金庸的改编大不相同。 高手都是极端的高手,所以反而更专注于各个武林高手背后的目的。总的来说,感觉是个莫名其妙的电影 。

    《古墓丽影:起源》, 从没看过这个系列,也没有玩过游戏。这个电影大概真的是交代一下“起源”,Himito的起源、奇怪病毒的起源,劳拉的起源,感觉看了个寂寞,有机会再看看其他几部,或者玩玩游戏,看看“起源”后面到底是什么故事。

  • This content is password-protected. To view it, please enter the password below.