使用tar+lz4/pigz+ssh更快的数据传输

2013-11-8 10:41  |  分类:Linux,MySQL

前面一篇介绍了如何最大限度的榨取SCP的传输速度,有了这个基础,就可以进一步的使用压缩来加速传输速度了。只使用scp,传输速率最快约90MB,本文通过压缩将把最快传输速率提升到约250MB/s(包括解压的过程)。

1. 结论

使用tar+lz4+ssh的方式能够获得最大的传输性能:

time tar -c sendlog/|pv|lz4 -B4|ssh -c arcfour128 \ -o"MACs umac-64@openssh.com" 10.xxx.xxx.36 "lz4 -d |tar -xC /u01/backup_supu" 3.91GiB 0:00:16 [ 249MiB/s] real 0m16.067s user 0m15.553s sys 0m16.821s

249MB/s,妥妥的。是最原始scp(40MB/s)的6倍,原来400GB传输需要约3小时,现在只需要27分钟了。

注1:lz4在解压方面的优异表现,使得他在本案例中非常重要。如果无需解压的传输,则可以考虑使用pigz/pbiz2

注2:使用pv观察,网络流量约80MB,所以使用nc替换ssh并不会有明显的性能提升

注3:lz4压缩使用-B4(64KB块大小),解压使用-B7(4MB块大小),是本案例的测试最优值[......]

Read more

加速scp传输速度

2013-11-5 18:53  |  分类:Linux,MySQL

当需要在机器之间传输400GB文件的时候,你就会非常在意传输的速度了。默认情况下(约125MB带宽,网络延迟17ms,Intel E5-2430,本文后续讨论默认是指该环境),scp的速度约为40MB,传输400GB则需要170分钟,约3小时,如果可以加速,则可以大大节约工程师的时间,让攻城师们有更多时间去看个电影,陪陪家人

1. 结论

声明:这里给出的测试数据不具有一般性,仅供参考。测试与数据本身特性有很大关系,本文使用InnoDB的redo log作为测试数据。

* 改变ssh加密算法,可以让速度更快;通常,越弱的加密算法,速度越快

* 通常压缩会降低scp速度,但这与数据类型有很大关系,对压缩率非常高的数据启用压缩,可以加速

* 压缩级别对传输效率影响很小

* 用于完整性校验的不同MAC( message authentication code)算法,对性能约有10%-20%的影响。

所以,简单尝试如下,让你的SCP速度double一下:

scp -r -c arcfour128 ...
scp -r -c aes192-cbc ...
scp -r -c arcfour128 -o "MACs umac-64@openssh.com" ...

注:启用压缩使用参数: -o "Compression yes"

2. 测试数据:加密算法和压缩的影响

这里对比了12种ssh中实现的加密算法和是否使用压缩的传输效率,测试文件使用的是InnoDB的1GB*4的日志文件(注意:不同类型的文件测试结果会很不同),这里纵坐标单位为MB/s,数据分为压缩传输和不压缩传输两组:

screen-scp-compare-cipher-compression

原始数据:scp_speed.txt

[......]

Read more

Linux如何统计进程的CPU利用率

2013-10-30 22:34  |  分类:Linux,MySQL

0. 为什么写这篇博客

Linux的top或者ps都可以查看进程的cpu利用率,那为什么还需要了解这个细节呢。编写这篇文章呢有如下三个原因:

* 希望在脚本中,能够以过”非阻塞”的方式获取进程cpu利用率 * ps无法获得进程当前时刻的CPU利用率;top则需要至少1秒才能获得进程当前的利用率 * * 好奇

[......]

Read more

编译tcprstat

2013-07-11 10:27  |  分类:MySQL

在RHEL6.1(Red Hat Enterprise Linux Server)上静态编译并不容易。tcprstat编译也有这个问题。

源码下载:tcprstat@Launchpad 命令:bzr branch lp:tcprstat

编译命令:./bootstrap && ./configure && make

如果顺利的话,就结束了。不过在我的发行版会报如下错误:[......]

Read more

在上上周给下厨房做过一次数据恢复(故障回顾:故障发生的技术总结 致歉信),恢复使用了开源工具Percona Data Recovery Tool for InnoDB(后面简称PDRTI),这里分享一下期间的注意事项,和遇到MySQL数据丢失的一些应对。

本文主要介绍在使用Percona Data Recovery Tool for InnoDB时候的一些注意事项,并不包括具体的step by step的使用步骤,使用文档可以参考:Reference Manual and Documentation。[......]

Read more

在杭州工作

2013-04-27 14:13  |  分类:简单生活

从那次Z9来杭州,快四年了,最近有两个老同学都问我杭州好不好,去杭州工作怎样之类的,这里说说这四年对杭州的感受吧。都是些主观认识,谨慎参考。

在北京念书七年,因为种种“机缘巧合”,最终来了杭州。之前从不曾想过会因为工作来杭州,不过也没有想到这个城市给了我这么多惊喜。

1. 工作在杭州

先说工作,毕竟是因为这个原因来到这里的。相比北京,杭州的公司是要少很多的,所以工作机会也相对较少。一线的互联网公司,主要就是阿里巴巴和网易杭州研究院,不像北京几乎所有的公司都会在北京有办公地点,阿里在北京也有很大的办公地点。很少有人能够一辈子只在一家公司服务的,所以当打算换工作的时候,这就成为一个劣势了,选择较少,机会也较少。不过如果是电子商务的话,杭州的氛围还是很好的,我所知道的很多人/公司都在做围绕此创业(例如我不喜欢,但是很看好的蘑菇街)。

当然,杭州工作机会少,这是相对而言,如果不跟北上广深,杭州的工作环境应该也算是非常好的。

2. 生活在杭州

hz-1

在生活方面,如果再跟北京比的话,杭州是分分钟就秒杀了北京。杭州城区不算大,周末如果朋友想聚会的话,一般不会超过半小时的车程,打个牌、吃个饭什么的非常方便。记得刚到杭州那会儿,每隔周五晚上都是有小赌怡情的牌局,现在一个个都结婚生小孩了,聚会的时间少了很多。以前在北京,同学聚会还是比较麻烦的,东西三环就很远了,更别说石景山了,所以北京的同学聚会貌似也基本上跟我去北京出差的频率差不太多,所以总能赶上。杭州周末聚会有更多的选择,可以去龙井/梅家坞/青之坞,环境都非常好,而且离城西也非常近,七八个好友玩个三国杀、吃个饭、爬个山都很惬意。

如果你喜欢运动,杭州也不会让你失望。西湖几乎四面环山,山不是很高,不过很长,适合周末慢慢爬。登山的路线也有很多,春秋季都很漂亮,很多杭州久住的人都喜欢爬山。[......]

Read more

Pages: Prev 1 2 3 4 5 6 7 8 ... 32 33 34 Next