• 这个示例可以结合着之前的连接MySQL一起来看:参考

    代码如下。当然,运行之前,你需要

    • 已经完成了基本的工具安装,这个并不容易(参考)
    • 已经有一个可以正常运行的与连接的SQL Server
    • 已经有一个网络上到SQL Server联通的主机的ssh账号
    • 下面的实例中,还需要一个t_1表,表中有三个字段

    import pyodbc
    import pandas as pd
    import logging
    import sshtunnel
    from sshtunnel import SSHTunnelForwarder
    
    ssh_host = 'x.x.x.x'
    ssh_port=22
    ssh_username = 'lilei'
    ssh_password = 'xxxxxx'
    
    
    db_server = 'x.x.x.x'
    db_port= 1433
    database = 'xxx'
    db_username = 'xxx'
    db_password = 'xx'
    
    
    tunnel = SSHTunnelForwarder(
        (ssh_host, ssh_port),
        ssh_username = ssh_username,
        ssh_password = ssh_password,
        remote_bind_address = (db_server, db_port),
    )
    tunnel.start()
    
    
    cnxn = pyodbc.connect('DRIVER={ODBC Driver 17 for SQL Server};SERVER=127.0.0.1,'+str(tunnel.local_bind_port)+';DATABASE='+database+';UID='+db_username+';PWD='+ db_password)
    cursor = cnxn.cursor()
    
    cursor.execute("SELECT * FROM dbo.t_1;")
    row = cursor.fetchone()
    while row:
        print('ID: %(id)03s | nick: %(nick)012s | birthdate: %(bd)010s' %
          {'id':row[0],'nick':row[1],'bd':row[2]})
        row = cursor.fetchone()

  • 最近,Gartner正式发布了2021年云数据库魔力象限。阿里云继续保持在全球领导者象限,华为继续在第三象限,位置也有不错的提升,腾讯竟意外落选。国际厂商,微软凭借强大的云战略,横纵坐标全面超越Oracle,AWS和微软则齐头并进。

    去年,笔者也深度参与阿里云数据库冲击Gartner Leader象限的项目,整体上,Gartner在产品评估上已经是非常专业与细致的,评估的维度也比较立体,涵盖了产品能力、市场理解、技术创新、未来规划、市场份额、客户反馈等多个方面,可以作为企业软件选择的重要参考。

    数据库厂商在魔力象限上的“战争”

    我们一起来回顾一下,自魔力象限发布以来总计九次魔力象限的厂商分布​。

    2020年,Gartner将魔力象限从Operational Database更名为Cloud Database,Amazon和所有的云厂商,也获得了更多的认可。前面十年是微软和Oracle争夺老大的地位,未来,将是Amazon和微软争夺。从2020年MQ来看,Oracle已经在纵坐标上落后于海外的三家云计算厂商Amazon、微软和Google了,在今年,随着Oracle云战略的进展,位置也有了一些进展。整体上,这四家公司,也组成了整个象限的第一“集团”。

    从2013年到2019年,Oracle和微软一直是前两名,并且保持着统治性的领先。Oracle凭借着强大的数据库能力和几十年的积累,在各个行业的头部大型企业中占据了绝对领先的位置,构建了难以超越的数据库能力;微软则凭借SQL Server和强大且封闭的Windows开发生态,在中小企业占据了领先。在云计算逐渐兴起的过去十年,两家厂商都在all-in云计算。微软通过强大的开发者生态以及对大量企业客户的深耕,同时在云计算上坚决的投入,已经在云计算领域已经成为了三分天下的一方霸主。Oracle的云计算战略则比较坎坷(技术与人员上),目前,还在持续迎头赶上的阶段,目前,市场份额还比较小。


    Snowflake和Databricks两个“欢喜冤家”也分别从挑战者、远见者象限进入了领导者象限。前者市值已经接近1000亿美元,后者在最近一次融资中估值达到了380亿美元。数据库领域,已经从存储价值扩展到了通过数据分析与洞察实现了直接的业务价值。另外,两者也分别是多云原生和开源分析产品的典型方向的代表,可以看到后续会有更多厂商加入到这些领域进行创新。

    Amazon凭借云计算领域的绝对优势,改变了企业的软硬件架构,从而也彻底改变企业使用数据库方式,AWS的创新产品DynamoDB、Aurora也给开发者带来非常大的数据存储与处理的便利。Amazon自从2016年进入MQ以来,就一直是在Leader象限,而且位置也在逐年向前。

    阿里云数据库,自2018年首次进入数据库魔力象限,到2020年成功进入全球领导者象限,确实是中国数据库在世界范围内的一次重大突破。阿里巴巴过去的二十年,在数据库方向投入都非常大,每个阶段都有非常强的团队和领导者,包括汪海、陈吉平、冯春培、阳振坤、周宝方、张瑞、周光辉、余锋、曹伟、杨冰、杨传辉,到现在的李飞飞,团队规模之大,人员能力(一个参考是人员级别)之强,是国内公司独一无二的。2018年,李飞飞的加入,也让阿里云数据库的影响力,逐步的扩展到了海外。到现在,已经基本在领导者象限站稳脚跟,继续突破则是要正面与国外厂商在产品能力、市场、战略、人才等多角度​竞争。

    不在乎的Gartner的MongoDB 自2013年其就在MQ当中,2015年进入Leaders象限,2016年跌入Challengers象限,2017年在MQ的“大裁剪”中不再出现。但是,MongoDB在开发者群体中依旧非常受欢迎,在2021年StackOverflow的开发者年度调研中,MongoDB为排名第四的数据库;在资本市场,MongoDB自2017年上市以来,每股30美元增至到现在的超500美元(对应市值约350亿美元),应该是数据库领域非常耀眼的明星了,但似乎一直不怎么受Gartner MQ的“待见”。

    一直默默向前的MariaDB,今年第一次入选MQ。MariaDB凭借在多云部署、混合分析能力、容量评估与性能诊断等综合能力受到​认可。MariaDB这些年一直在苦苦与MySQL竞争,但是MySQL依旧凭借着最近十几年积累的生态与品牌优势,暂时领先。也许,现在是时候考虑,用MariaDB替换部分的MySQL​了。

    ​最后

    Gartner对于市场份额考量非常重,相对来说,对于较小的、垂直的数据库厂商不是那么的友好。另外,市场占有率有时候也比较难评估,各家厂商的最真实的数据,也不会直接透露给Gartner,实际透露给Gartner都会从结果的角度考虑,做一些调整。

    Gartner对于使用场景考虑是有一定缺陷的。比如,SAP、InterSystems等厂商,数据库主要是用于自家的应用系统,收入也都来自这些地方,这就让收入数值调整的空间比较大。另外,这样的评价,对于企业进行数据库架构选型并没有太大的参考意义。而,这应该是Gartner MQ的重要作用之一。

  • 1、云数据库产品能力更新

    • [TiDB] TiDB Hackathon即将开启,主题为「Explore the Sky」
    • [阿里云] 云数据库 Redis 版 – Redis/Tair控制台发布概览页
    • [阿里云] 阿里云表格存储发布支持模糊查询新功能
    • [阿里云] RDS for PostgreSQL控制台上线”一键上云”功能
    • [腾讯云] DTS数据订阅功能支持修改位点
    • [腾讯云] 云数据库 MongoDB支持在控制台对配置参数进行修改
    • [腾讯云] MySQL托管服务优化了参数模板管理、生产购买流程的优化
    • [Azure] 数据库备份数据支持了长达10年的存储保持能力
    • [AWS] DMS服务支持了”Time Travel”功能,可以帮助用户更好的进行数据排查
    • [AWS] DMS提供了新的集成控制台,帮助用户全流程完成上云迁移
    • [GCP] Autoscaling for Cloud Bigtable正式GA
    • [GCP] PostgreSQL 14托管服务正式GA
    • [社区] 3306π 云原生–数据和未来活动在深圳举办
    • [MariaDB] 版本发布策略,诸如10.7、10.8这样较大粒度版本,将以3个月左右为周期来更新版本。在云时代,数据库的分发和使用方式已经被彻底改变,相比之前传统软件的研发周期已经不再能够满足开发者的期望了

    2、其他

    • 字节跳动云服务-火山引擎正式发布,开放的数据库包括:MySQL、Redis托管服务以及数据库传输服务;分析类产品包括:EMR、ByteHouse(ClickHouse)、数据湖分析等
    • 腾讯云开通巴西圣保罗地区
  • 在前段时间微软Ignite前后,Azure的SQL Server托管服务(Azure SQL Managed Instance)发布一个基于”Always On”技术的新的“Link”特性。可以帮助用户在云端实例和其他环境实例建立一条同步链路,将其他环境的数据同步到Azure云端。该功能当前处于邀请测试阶段(limited public preview),支持SQL Server 2019(需要CU13),长期计划支持2016及其以后的版本。

    从感受上来说,国外三家云厂商,Azure应该是更新最快速的,可以说是最努力的那朵云,相比AWS虽然起步晚,但是跑得非常快。从这个功能来看,微软在尝试通过产品化的方式帮助用户将本地的数据,快速、低成本的迁移到Azure。

    这里简单介绍一下该功能。使用该功能,可以实现如下能力:

    • 将本地或者其他云上的SQL Server数据”近实时”地同步到Azure云的SQL Server
    • 可以实现本地环境SQL Server的读扩展,可以将部分可以接受延迟的读服务切换到Azure上
    • 可以利用Azure上的一些分析产品能力,包括Synapse、MI、PBI等
    • 可以通过多个Link通路,将多个实例数据同步一个Azure实例上用于聚合分析
    • 利用Azure在全球众多区域部署,使用Link同步通路,可以让业务快速具备就近访问的能力
    • 可以帮助用户更加无缝的实现,从其他环境迁移到Azure上,使用Link特性是一个很好地过渡
    • 如果需要建设SQL Server数据库的容灾能力,这也是一个非常简单快速的方式

    参考链接:

    • Managed Instance link – connecting SQL Server to Azure reimagined:链接
    • Link feature for Azure SQL Managed Instance (limited preview):链接
    • Distributed availability groups:链接
  • 1、行业头条

    • 2022 IEEE Fellow 新晋名单出炉,阿里云数据库李飞飞入选

    非常了不起!简单来说,叫”李飞飞”大概都非常牛逼,无论男女。不过话说,这次还没有看到阿里云开始宣传,难道还憋了更大的招?

    • Aurora开始支持MySQL 8.0;版本号为3.01.0版本,基于MySQL 8.0.23版本
    • Neptune开始支持Graviton 2实例
    • DocumentDB开始支持Graviton 2实例,性能号称提升30%

    今天是AWS年度大会re:Invent第一天,最近一个月AWS都在密集的发个各种功能。MySQL 8.0于2018年4月正式GA,三年半之后,Aurora正式支持8.0版本,看到,Aurora对于内核改造/定制是非常大的,导致一个大版本发布后的改造量非常大,跟紧社区的成本很高,当然,这大概也和官方8.0版本的代码一直以来变化比较大有一些关系。

    另外,AWS一直在加大Graviton2(ARM-Based)实例的支持与宣传,随着,云原生架构的标准化,IaaS层性价比将是各个云厂商的”基本内功”,在Graviton2上的投入,就相当于AWS在提前的偷偷修炼内功了,这与苹果做M1是一样的道理。

    • 火山引擎成为字节跳动的独立BU,云计算战略呼之欲出

    期望看到更加繁荣的云计算市场,不过云计算是一个技术、资金投入都非常大的方向,字节加油!

    2、云数据库产品能力更新

    • [阿里云] RDS PostgreSQL提供接入自建AD域功能
    • [阿里云] 云数据库专属集群 – MyBase 在美国(硅谷)正式开服
    • [阿里云] 表格存储时序模型公测发布
    • [腾讯云] DTS开始支持MySQL DDL语句和Where语句的过滤功能
    • [腾讯云] 云数据库Redis支持开启外网地址
    • [腾讯云] TDSQL MySQL版本新增TDStore 引擎支持
    • [腾讯云] TDSQL-C上线跨可用区容灾功能,计算与存储都可以跨可用区部署
    • [华为云] 数据管理服务DAS的部分免费功能不再继续发展,这部分功能包括:SQL诊断、数据追踪与回滚、参数智能推荐、Binlog解析等功能
    • [华为云] GaussDB/openGauss新增使用规范建议
    • [达梦] 达梦数据库×浪潮信息达成战略合作,双方将共同打造数据库一体机
    • [巨杉] 华南理工大学巨杉奖学金捐赠仪式举行
    • [TiDB] TiDB发布5.3.0版本,提供持续性能分析以及更强HTAP能力
    • [OceanBase] 入选Forrester报告《Now Tech: Globally Distributed Data Platforms, Q4 2021》
    • [AWS] RDS新增参数选项,使得多可用区部署实例的Standby节点可以提供读服务,该功能还处于内测阶段。对用户来说,资源利用率会更高
    • [AWS] Amazon ElastiCache开始支持Redis 6.2版本
    • [AWS] RDS Proxy开始支持PostgreSQL 12
    • [AWS] Neptune开始支持ARM架构的实例
    • [AWS] DMS服务支持对分区数据并行写入S3
    • [AWS] Glue DataBrew支持通过自定义SQL的方式从Redshift和Snowflake读取数据
    • [AWS] AWS Backup开始支持Neptune
    • [AWS] DocumentDB开始支持Graviton 2实例,性能号称提升30%
    • [AWS] Aurora开始支持MySQL 8.0。AWS上版本号为3.01.0版本,基于MySQL 8.0.23版本
    • [AWS] Athena开始支持较为完整的ACID能力操作S3中Iceberg格式的数据(公测)
    • [AWS] DMS(数据迁移)服务开始支持以Google Cloud、Azure上托管数据库为源数据库
    • [GCP] Bigtable、托管MySQL、PostgreSQL、SQL Server、Redis、Spanner等服务在南美(Santiago)数据中心提供服务
    • [GCP] 托管PostgreSQL服务提供如下扩展:auto_explain、pg_cron、pg_hint_plan、pg_proctab等
    • [Azure] MySQL Flexible Server正式GA,并支持了Terraform
    • [Azure] Hyperscale/Citus开始支持PostgreSQL 14

    3、其他

    • AWS将在加拿大开放第二个Region
    • AWS Cloudfront开始提供1TB/每月免费的外网流量
    • Amazon发布新的Linux版本”Amazon Linux 2022 (AL2022)”,以后会两年发布一个大版本,并为每个版本提供6年的支持周期,该版本是基于Fedora项目。另外,在Linux版本命名上也发生了一些变化,之前都是叫Amazon Linux 1、Amazon Linux 2。现在,越来越多的软件也都开始使用这种基于年份的版本命名方式
    • 火山引擎成为字节跳动的对立BU,云计算战略呼之欲出
  • 1. 行业头条

    • ClickHouse, Inc再次融资2.5亿美元,估值达20亿美金。本轮融资距离公司成立时的5000万美元融资,仅仅只有两个月
    • Informatica正式在纽交所上市公司估值85亿美元左右,2020年营收约13亿美金
    • Yugabyte完成1.88亿美金融资,公司估值13亿美金

    头条点评:数据领域最近非常“热”,Informatica再次在纽交所上市估值为85亿美金;而ClickHouse,Inc两个月内连续两次融资,估值就达到了20亿美金。开源软件的对立面已经不是商业软件,而是在与”已经很强大的”云厂商们争夺最后的客户价值

    • [AWS] Babelfish for Aurora PostgreSQL正式GA发布
    • [Azure] SQL Server托管服务(Azure SQL Managed Instance)发布新的Link特性

    头条点评:近期,AWS发布了开源Babelfish,帮助用户从SQL Server迁移到PostgreSQL;微软的Azure SQL托管数据库则发布了新特性”Link”,帮助用户把本地环境或者其他的云的SQL Server迁移到Azure。数据争夺战,是数字化竞争中的关键环节,各个云厂商都在重兵投入。云厂商都发现,水库已经有一定规模,但是引水的渠道好像还不太够

    2. 重要更新

    • 阿里云重磅发布GanosBase,该引擎是李飞飞带领的达摩院数据库与存储实验室联合阿里云共同研发的新一代位置智能引擎,也是首个云孪生时空数据库
    • 2021年数据技术嘉年华推迟一个月到12月23日;袋鼠云/DDIC2021数智行业峰会峰会推迟(会议推迟大概会是未来比较长时间内的一个常态)
    • 腾讯云数据库”五年6次POC测试,最终拿到农行核心系统项目

    3. 云数据库产品能力更新

    • [阿里云] 阿里云发布GanosBase数据库
    • [阿里云] 云数据库PostgreSQL支持小版本13.1
    • [阿里云] 云数据库OceanBase新增香港地区支持
    • [阿里云] 云数据库 ClickHouse 新增华北2政务云、青岛 、香港、北京等多个可用区
    • [腾讯云] TDSQL-C(原CynosDB)支持数据订阅功能
    • [腾讯云] TDSQL MySQL版新增 TDStore 引擎功能
    • [腾讯云] DTS支持数据库迁移任务进行数据校验
    • [华为云] UGO在DTCC亮相,可以帮助客户更加简单的完成去O迁移
    • [其他]巨杉数据库在华南理工大学设立巨杉奖学金
    • [AWS] Babelfish for Aurora PostgreSQL正式GA发布
    • [AWS] Aurora PostgreSQL支持13.4, 12.8, 11.13等
    • [AWS] Aurora PostgreSQL开始支持PostGIS 3.1 
    • [Azure] Cosmos DB支持索引使用统计信息和索引推荐
    • [Azure] SQL Server托管服务发布新的Link特性
    • [Azure] SQL Server托管服务提供新的内存优化规格,单个vCPU内存可达13.6GB
    • [CloudCanal] 发布了1.2版本,支持PolarDB-X
    • [GCP] Cloud SQL for PostgreSQL开始支持13.4和12.8等版本
    • [GCP] BigQuery Omin正式GA
    • [其他]Yugabyte完成1.88亿美金融资,公司估值13亿美金
    • [其他]DataStax(Apache Cassandra)正式进入中国
    • [其他]SQL Server发布2022预览版:继续提供多环境的部署能力,更好地让用户数据在云端Azure上发挥价值,更加完整的支持数据分析/可视化等功能。支持向Azure SQL双向复制与容灾

    4. 其他

    • 中华人民共和国个人信息保护法正式实施
    • HashiCorp准备IPO,估值预计超100亿美元