admin

  • 这是我2016年8月,在成都的SDCC大会上分享的关于云时代数据库运维的演变的思考:

    1497925835.03

    –EOF–

  • 加速scp传输速度

    ·

    当需要在机器之间传输400GB文件的时候,你就会非常在意传输的速度了。默认情况下(约125MB带宽,网络延迟17ms,Intel E5-2430,本文后续讨论默认是指该环境),scp的速度约为40MB,传输400GB则需要170分钟,约3小时,如果可以加速,则可以大大节约工程师的时间,让攻城师们有更多时间去看个电影,陪陪家人

    1. 结论:使用如下命令可以让scp速度提升50~150%

    scp -r -c arcfour128 ...
    scp -r -c aes192-cbc ...
    scp -r -c arcfour128 -o "MACs umac-64@openssh.com" ...

    原因概述:

    • 通常,更弱的加密算法,scp传输速度更快。这里的测试看到加密算法-c arcfour128-c aes192-cbc可以大大加速scp传输
    • 用于完整性校验的MAC( message authentication code)算法,对性能约有10%-20%的影响。这里的测试看到-o "MACs umac-64@openssh.com"是不错的选择。
    • 这里测试看到,scp内置的传输压缩并没有什么效果。事实上,合理的使用压缩工具是可以进一步降低传输时间的,具体的参考:使用tar+lz4/pigz+ssh更快的数据传输。你可以通过参数-o "Compression yes"来启用压缩来观察实际案例中的情况。

    声明:测试与数据本身特性有很大关系,本文使用InnoDB的redo log作为测试数据。

    2. 测试数据:加密算法和压缩的影响

    这里对比了12种ssh中实现的加密算法和是否使用压缩的传输效率,测试文件使用的是InnoDB的1GB*4的日志文件(注意:不同类型的文件测试结果会很不同),这里纵坐标单位为MB/s,数据分为压缩传输和不压缩传输两组:

    screen-scp-compare-cipher-compression

    原始数据:scp_speed.txt

    (more…)
  • 0. 为什么写这篇博客

    Linux的top或者ps都可以查看进程的cpu利用率,那为什么还需要了解这个细节呢。编写这篇文章呢有如下三个原因:

    * 希望在脚本中,能够以过”非阻塞”的方式获取进程cpu利用率 * ps无法获得进程当前时刻的CPU利用率;top则需要至少1秒才能获得进程当前的利用率 * * 好奇

    (more…)

  • 我的FAQ–东南亚旅游

    ·

    虽说是叫“东南亚旅游”,其实我只是去过马来西亚,希望这篇文章能慢慢丰富。

    如何获得亚航优惠打折信息?

    一般只要提前足够长的时间都可以获得相对便宜的机票。但是,有时候还是会做一些非常大力度的促销获得,例如推出0元机票等,只要在亚航的网站注册用户,用户名是你的邮箱,则亚航会把相关的信息发送到你的电子邮箱(这是我的主要渠道)。还可以关注亚航的微博帐号:亚航之家获得相关信息。

    英文不好能够预订亚航机票吗?

    现在亚航已经有了中文网站,使用中文版本已经可以直接完成预定了。但是,有些预订、管理页面还是会跳转到全英文的页面,高中英语水平足够了,不过只要有了翻译工具,英文水平也就无所谓了。

    亚航网站预订机票的主要流程有哪些?

    整个预订过程包括:

    搜索机票==>选择机票==>填写乘客信息==>选择亚航附加服务(保险、食物、额外托运等)==>付款

    没有完成付款,订单不会生效。

    亚航登机是否需要先做web check-in?

    这不是必须的,但是建议登机前一天做好web check-in。从2011年12月22日开始,亚航的国际航班柜台check-in不再需要额外的费用,但是亚航国内(马来西亚国内)航班仍然需要收取柜台check-in的费用,每人约10MR。(细则参考)

    亚航购买机票是否可以使用支付宝?

    现在(2012年2月)是可以的,这里列举了所有的亚航网站的支付方式:Payment channel。使用支付宝支付,可以帮用户省下一些Master/Visa支付时产生的手续费(有时候会是5或者10美元)。另外支付宝无需你在网站上填写信用卡号和CVV码,支付也更加简单。

    支付过程中如果如何选择支付宝付款?

    在最终进入支付页面后,选择币种为人民币(或者美元),然后点击下图中的apply按钮,就会出现支付宝连接。

    airasia.com payment with alipay

    护照没办好,是否可以购买出境机票?

    可以的。护照号可以在你完成机票预定后再补充上去。

    马来西亚签证如何办理?

    为了省事,我是通过旅行社办理的,400块一个人,小贵但省事。还可以通过淘宝上的商家代为办理,价格会便宜些。

    Lalla说,可以通过邮寄护照的方式办理,大约110块左右就搞定了。

    KLIA LCCT KLCC KL Sentral都是什么地方?

    KLIA是Kuala Lumpur International Airport(吉隆坡国际机场)的缩写(位置)。

    LCCT是Low Cost Carrier Terminal的缩写,是KLIA的一个很大的航站楼(参考)。

    KLCC是Kuala Lumpur City Centre的缩写,是吉隆坡最大的卖场,是双子塔所在的地方。

    KL Sentral是位于吉隆坡的一个交通中转站(也叫”吉隆坡中央车站“),有大巴,地铁,出租车等交通方式,附近也有很多酒店(参考)。

    在LCCT如何找到SkyBus?

    只需随便问一个LCCT工作人员或者商店店员,指指就能找到SkyBus了,你无需一个step-by-step的步骤。另外,SkyBus可以上车再买票,也无需提前买票(价格都是9RM)。

    在马来西亚如何打电话回家?

    出于成本考虑,建议到吉隆坡后重新购买一张本地的电话卡(据悉有Tune Talk、HOTLINK、DIGI等),打到国内一般也就0.25RM/每分钟(参考)。

    当然,也可以开通中国国内电话的国际漫游业务,但是,资费非常贵不说,需要押金1000元不说,即使回国了资费结算完成,1000元押金也要过两个月才能归还(这规定真是霸气啊),所以不推荐这样做。

    去马来西亚,我需要额外带什么行李吗?

    需要带一个”英标”插头转换器,另外看情况带上创可贴、感冒药;如果能有一个带GPS功能的手机地图将会非常方便你的出行(强烈建议)。

    去国外旅游会耽误学业或者工作吗?

    不会的。会享受生活,才更懂得在生活中创造价值。

  • Gmail使用技巧

    ·

    今天心情很郁闷,写篇博客缓解一下吧。

    这是一个自己列举的使用技巧:

    随便用用(低频)
    ** 设置回复为回复全部

    一天一次的使用者(高频)
    ** 搞个主题玩玩
    ** 使用紧凑模式
    ** 知道如何撤销3秒前的误操作
    ** 搞一个签名吧

    重度用户
    ** 设置五颜六色的标签
    ** 设置单页会话数量
    ** 使用Mutex让一些会话安静
    ** 使用一些Gmail插件管理Gmail
    ** 帮你代收邮件
    ** 设置默认的发件地址,这样不用每次写邮件时都需要选择邮件地址
    ** 当你有多个收发地址的时候:选择Reply from the same address the message was sent to
    ** 修改一个页面中显示的会话数量

    Gmail上瘾者
    ** 使用Google Task管理日常
    ** 使用一个Google Task的插件管理
    ** 高级快捷键使用
    ** 设置回复时的默认字体
    ** 尝试新的实验室特性,并且告诉需要的朋友们

    Gmail的缺点:
    从一个技术人员的角度看,真没想到什么缺点

    整理完才发现,Gmail比较符合个人对一个完美产品的定义.

  • 这是早期(2011年底)在淘宝内部做的一次分享,主要是面向内部的研发人员介绍如何进行深度的数据库优化与问题排查。在本次分享中介绍了如下内容:

    • 淘宝的数据库监控系统是如何工作的
    • 如何使用数据库监控系统”天机”发现和诊断MySQL数据库的问题
    • 如何通过慢日志以及相关工具(mk-query-digest)发现数据库的问题
    • 如何使用orzdba (淘宝内部工具)诊断数据库问题
    • 如何使用gdb、tcpdump、oprofiled等Linux工具诊断MySQL问题

    (more…)