简单生活

  • MySQL MHA

    ·

    7月份YOSHINORI MATSUNOBU在Blog上Release了第一个版本的MySQL Master High Availability manager and tools(简称MHA)。

    1. Overview

    用于自动主备切换(Master的Failover),切换时间大约是10-30秒,MHA主要的优势是解决了主备的一致性问题,是第三方脚本的方式,对原来的MySQL没有任何影响,也不需要改变任何原来的架构部署。当然也支持在线的计划切换,切换时间大约也就0.5-2秒【可读,不可写】

    是一种简单、优雅的高可用解决方案,有一些功能:

    1.1 主库监控和Failover

    在一个配好的主从环境中,MHA能够实时的监控MySQL主库,如果探测到主库失败,则会启动自动的切换程序(master failover)。这时,MHA能够保证所有的备库上的数据都一致。MHA会检查所有备库上的relay log,并使用最靠前的relay log,来同步所有其他的备库,保证各个备库的数据一致。MHA一般能够很快完成切换工作:9-12秒来探测主库失败,7-10秒来关闭master来避免脑裂(可选的),然后在各个落后的备库上应用最新的日志(某一个备库上受到的最新的日志)。整个downtime大概是10-30秒。可以设置某一个备库,总是优先成为主库(可以通过在配置文件中设置优先级来实现),因为各个备库会全部同步,所以任何一个备库都可以成为主库。由于不一致导致的备库失败,这里都可以避免。

    1.2 命令行交互式切换(手动切换)

    不监控,直接进行切换操作。

    1.3 直接切换(非交互式)

    1.4 在线切换主库

    有时候,需要更换主库,例如原主库有已知的硬件故障(RAM、RAID control等)或者换上更好的硬件等等。这是一种计划切换,MHA能够非常快速、并且“一致的”的完成切换。所谓“一致的”,即避免在切换时,原主库上还存在存活的Session,在做一些事务,导致数据的不一致。MHA完成这个“一致的”切换,大概会有0.5-2秒的阻塞,一般这都是可以接受的维护时间。

    2. Master Failover的挑战

    主库Failover并没有想象的那么繁琐。我们看看最典型的MySQL部署情况:单个主库拖多个备库。当主库挂了,则需要先找到“最新”的Slave,将其升级为新的主库,并且让其他的备库都指向这个新主库。这并不复杂。当找到“最新”的slave,很容易确定其他备库哪些event还没有收到,如果这些非“最新”的备库不问青红皂白就直接连到新主库上的话,则会导致一些数据不一致。为了避免这种不一致,则需要确定哪些是丢失的events,然后apply到这些备库上,再连新主库。如果手动来做这些事儿的话,那就十分繁琐而且复杂。在这个Slide里面详细描述了这个细节:Automated master failover

    Fig: Master Failover: What makes it difficult?

    “最新”的slave表示:获得最多binlog的备库。

    Currently most MySQL Replication users have no choice but to perform failover manually on master crashes.
    在主库crash的时候,目前还没有什么好办法保证各个备库的一致。所以,很多时候需要手动去做这些操作,虽然主库crash的时候不多,但是一旦出现,那将是“相当”(用宋丹丹的口气说)的痛苦。

    MHA目标就是实现这样的自动恢复。这个恢复包括选定新主库、确定各个备库relay log的差异、在新主库上应用差异的relay log,然后将其他备库指向新主库。一般MHA10-30秒可以完成全部的操作(可能更久如果你的备库延迟了很久的话)。

    MHA有自动和命令行切换工具,自动切换命令”masterha_manager (MHA Manager)”由主库监控和主库Failover两部分组成。masterha_manager一直监控主库是否可用,如果发现无法连接主库,则可以立即执行一个非交互是的切换过程。

    手动切换命令:masterha_master_switch先检查主库是否确实挂了,如果真挂了,masterha_master_switch选一个备库作为新主库(也可以指定一个),然后做恢复和切换。命令行把前面的复杂操作全部都封装起来了。

    当已经有了自己的监控系统时(例如,你可以使用Pacemake之类的监控),无需使用MHA的监控功能时,这个功能可以帮你实现MySQL的切换操作。

    3. MHA使用注意事项

    注意事项:

    1. 检测Master是否挂了,可以通过两个路由来确认。详细参考:secondary_network_script
    2. MHA完成切换后,应用还需要完成切换,可以通过脚本:master_ip_failover_script parameter来帮助你做后续的工作。
    3. 为了避免脑裂,MHA提供了一个关闭原Master的脚本shutdown_script parameter
    4. 另外MHA,还提供了一个发送Email切换报告的功能:report_script parameter
    5. 需要考虑级联的情况
    6. Relay log不能再做自动清除了,否则需要的时候可能就没了。需要手动清理relay log,清理relay log时需要注意,没有应用的relay log千万不要清,否则备库就需要重新指向了。MHA有个脚本可以做这个工作:purge_relay_logs script
    7. 在SBR时不要使用LOAD DATA INFILE

    参考资料

    1. MHA Google code主页
    2. MHA 文档资源
    3. MHA download
    4. MHA 介绍: Announcing MySQL-MHA: “MySQL Master High Availability manager and tools” |
    5. MHA for MySQL 0.52 released
  • 很早从su27那知道《攻壳机动队》,看了第一部后,就一发不可收拾,开始看第二部,看塔奇科马的日常,然后把几个剧场版和O.V.A也都下载下来看了。

    《攻壳》一共有两部TV版,三部剧场版,两部TV特别篇和一部OVA,还有一个小TV系列《塔奇科马的日常》。看到豆瓣上有一些朋友不知道合适的观看顺序,这篇博客就是把银幕上《攻壳》的放映顺序都理一下,如果对科幻、动漫都感兴趣的人都可以看看。

    historyofgis

    大图

    下面是整个《攻壳》的编年史:

    1989年4月22日,士郎正宗的《攻壳机动队》首次连载于讲谈社青年漫画月刊《Young Magazine海贼版》;每三个月一话,总共12话(参考
    (more…)

  • 2011年2月9日

    ·

    今天是春节后的第一天上班,在家过完了农历年才最终感觉2010的结束。

    2010年4月份曾给自己的写了一份要求,刚才简单盘点了一下

    希望中的2011:

    1. 每天下班后,自由工作两个小时,做自己喜欢做的事情。偶尔可以工作到凌晨。

    2. 坚持写博客,看很多电影、书,写影评、书评

    3. 通关一个游戏,偶尔打Dota

    4. 关注网络,关注CCTV;每天叠好被子,保持工牌吊带干净

    5. 有想法,先实现,再迭代,不要想太多

    6. 爱己,爱人;珍惜家人,朋友

    7. 不追求多么灿烂的人生,想清楚自己想要什么,希望找到自己活着的意义(有趣的参考 updated @2011-02-11)

    路

  • idata-Forum分享

    ·

    刚刚完成在idata-forum的主题分享,介绍了一下最近一年在MySQL方面的尝试,包括性能调优,代码优化方面的内容。

    不再紧张了。

  • ·

    DBA是一个高危职业,因为接触的是最底层数据,一个很小很小的失误,足以放大到让整个系统崩溃。从来公司DBA系统组的第一天起,看过很多同事犯错,有犯大错,有犯小错的,有把公司网站搞挂的,也有只影响内部系统的。每次这种时候,我总对自己说,有一天我也是会犯错的,这会一天是哪一天呢?

    同事们都很小心,每次操作如履薄冰,每次变更反复检查,虽偶有懈怠,彼此也通过各种方式会相互提醒。这样我们能够避免多数错误,能够借此追求系统的稳定,追求我们的目标。

    人会犯错,偶尔的懈怠也终究有一天会演变成一次致命的故障。我总对自己说,有一天我也是会犯错的,这会一天是哪一天呢?今天有答案了。

    我想对自己说一句:对不起。

  • Truth Seeker

    ·

    我们生活在同样的蓝天下,脚踏着同样的土地,享受着同样的阳光,我们生活在同样的时间、空间,我们彼此相遇,聚集在一起歌唱、游戏、踢球,我们有很多的爱好、共同的习惯

    有时,我们却又着完全迥异的思维,有着完全不同的行事方式;有时我们相安无事,你吃你的面条,我吃我的大米;但我们也会因这些不同而争论,有时是争吵,有时是街头暴力,有时是军事冲突,有时候是世界混战

    在完全相同的时空中,我们都在追求真理(假设我们都在),即使我们有争论

    参考:

    1. 真理追求者

    2. Agreeing to Disagree

    3. Time Saving Truth from Falsehood and Envy, François Lemoyne, 1737

    Time_Saving_Truth_from_Falsehood_and_Envy