Tom在线网络及系统支持中心经理 徐超
我希望跟大家分享我在Tom这几年时间里,通过F5帮助Tom提高应用的稳定性,以及帮助Tom在网络品质提升、用户服务的提升上的帮助、体验,还有我的经验。
我演讲的题目是“用户体验与应用交互网络市场的发展”。
首先回顾一下近几年时间内,服务器负载均衡技术的发展,通常有四种,最早期的,99年或者之前一段时间 是DNS解析。通过DNS的解析实现服务器之间的短平衡。99年的时候DNS技术开始发展,提出智能解析,解析到不同的IP上去,实现动态的解析,以此实 现服务器间的负载均衡。随着DNS技术的发展,到2000年出现了四层交换机,由方瑞提出的,继续发展,现在出现了七层交换机,从内容、应用上实现内容交 换和服务器的负载均衡,这个时候已经称之为应用的负载均衡。
Tom在这几年的时间内,如何利用F5的产品提升网络稳定性、应用稳定性和用户的满意度。
2001年我加入了Tom,当时是Foundry和F5的设备在一起使用。我们需要对很多内容进行过滤 和对安全性进行控制,这样Foundry在功能上有很多不足,就采用了F5的方案,实现对四层到七层的应用进行安全配置,包括负载均衡能力。F5提高了 HA的解决方案,对网站的稳定性有非常大的提升。可以根据服务器负载的情况选择不同的服务器,负载交换机的服务器,响应用户的请求,以此提高单个请求的用 户响应时间。而且F5有特别显著的功能,帮助我们解决了非常多的问题,就是F5的iRules,随着这几年的发展,iRules到了V9这个平台之后,有 更大的性能提升,让我们对F5有更多的信任。2001年,国家对南北电信的划分有一个计划,我们需要对南北电信互联互通的技术有一个准备,F5向我们推荐 了3DNS的产品。
2002年DOS和DDOS攻击出现了,很多互联网站和公司都遭受了攻击,很多公司在网络的稳定性和用 户的体验度上遇到了很多麻烦,而且当年由于这种攻击的出现,很多方法无法阻挡海量的分布式的攻击,导致防火墙有一种反射,很多公司迫不得已只能撤掉防火 墙,增加更多的服务器抵挡攻击,而且这种方式只能治标不治本,无法阻挡DOS的攻击,无法用增加服务器解决问题。我们拿到F5新的技术,很多公司四层交换 机开始使用ASIC芯片,专门对网络的流量的芯片。这个时候我们同样受到了很大的攻击,因为我们是互联网发展中年轻的公司,有些时尚的内容在里面,所以也 成为了攻击的对象。当时受到很强的DDOS攻击,混合了SMP的攻击,互联网有很多服务器同时上网发动攻击,当年我们通过SynFlood实现非常强大的 功能。这个技术在2004年才在OpenBSD上实现了。当年我们使用的时候很多互联网公司还在研究如何阻挡攻击。这对我们以后继续使用F5的技术非常有 信心。
通过对SynFlood的防护能力,充分证明了F5的会话处理能力,用F5阻挡会话,把攻击的会话数截 止到F5设备上,禁止攻击的会话到后端的服务器,保证了服务器处理正常业务,把攻击的流量完全挡在F5之外。在F5的性能基础上调整了网络架构,将防火墙 放在内网中间的架构,调整为F5放在防火墙和内网中间的架构,同时对访问进行过滤,保证有效、安全的用户访问,到达后端的服务器。攻击的和非法的请求,完 全被F5阻挡、过滤掉了。F5在密集型会话和高访问流量的情况下,都显得要比原来的防火墙架构要稳定的多。
2003年,对国内来说是互联网大提速的时候,大家都用ADSL宽带,很多人都享受ADSL快的拨号速 度,用户访问量得到非常大的提升,访问速度也得到很大的提升。用户对网站访问的页面刷新速度和访问感受随之提升,要求页面更快的出现,更快欣赏到质量更高 的图像和视频,我们的网络流量增加了,使用很多低端的设备已经无法提供服务了,很多服务器厂商开始在服务项目上提供千兆网卡接口,F5适时推出了 BIGIPv4.5.8版本,在千兆负载均衡方面,帮助我们完全接受了所有用户的访问流量,同时稳定的处理会话请求。像百兆环境一下,能够在千兆下,为用 户提供相同访问时间。
我们公司在2004年成为全国最大的SP公司,也是与F5的设备和F5提供各种各样的功能和技术的先进性息息相关的。千兆网络的环境之内,很多防火墙更加成为了摆设。我们2002年就已经把整个公司的网络架构变为F5代替防火墙的结构
2003 年运用了F5最新的产品,接纳了F5的建议,选择了3DNS的产品,对CDN和南北电信互联互通做了技术储备,试用ChinaCache服务,通过CDN 加速的短信联盟推广系统,将TOM.COM每月的短信发送量从每月几千条推向每月数千万条。同时由于买入了较多的F5设备,通过F5推出了 iControl API的BIGIP监控系统,采集了所有40多台BIGIP上的运行数据,这套系统甚至连F5都觉得iControl的功能非常完善。
2004年,中国电信和中国网通、中国移动、铁通、联通、卫通正式拆分,互联互通更显得尤为重要,而且 这一年提出了Web2.0的概念。因此,2.0会导致很多请求是小的请求,密集型的,返回的内容是大的,小请求、大内容返回,更对网络压力提出了更严峻的 要求。我们更加进一步提出了与F5紧密配合,通过F5的配合,世界杯期间,用户的加速效果非常明显,由于我们在世界杯之前,在互联网圈内第一家建立CDN 的公司,我们可以通过自己的节点,自由分配用户的访问,当时网站访问效果相当好,很多用户访问到我们网站,观看世界杯的直播或者观看世界杯的新闻,我们在 业内优于新浪和搜狐。
年底流量扩充了,配合公司的新的音乐现场互动活动,TOM玩乐吧,做了万人在线观看直播系统,提供了一万人流媒体在线直播观看,而且反映效果网民非常满意,一万多人在互联网上观看,在全国七八个城市组织了现场校园互动节目,效果非常好,在校园网中也反映非常活跃。
2005年是多媒体年,YouTube这年成立,很多视频分享、富媒体加速,F5推出了v9。7月份,湖南卫视第二届超级女生,召开了网络的视频直播以及新闻媒体宣传。
这时我们采用最新的V9系列,我们将TOM的节点扩充了9个,三年表现出来的效果非常好,对F5的 V4.5以及最新的V9平台产品都有很好的兼容性,配合的非常好。超级女生带动了网络流量大幅飙升。同时CDN缓解压力的作用也非常明显。很多时候在外地 做节目,由于南北互联互通的障碍,导致很多在外采访的文章或者视频上传都遇到了一些问题,我们与F5紧密配合,F5向我们推荐了一个产品叫Fire Pass,通过这个VPN可以将在南方电信工作的同事的笔记本或者电脑,很快穿过南北电信互联互通的线路,很容易把新闻放在网通或者其它各地的机房中去, 非常方便出差人员在外地工作。而且这一年还通过了SSL VPN,保证了公司重要的人员或者领导个人电脑信息安全。举个例子,大家都用SMTP或者POP3使用文件,大多数人不会使用SSL协议,这时有一个风险 存在,如果公司有一台电脑中了病毒,或者安装了有后名的服务器程序,这时可以通过芯片拦截公司指定电脑或者部分电脑的流量,由于SMTP和POP3的密码 都是明文的,他可以拿到邮箱密码,对公司来说,特别是关键人物的文件非常容易泄密,非常危险。如果在公网上收信、发信,到陌生的网络没有控制权,非常危 险。但是SSL VPN很好的解决了这个问题,提供了从用户的电脑到用户公司机房之间一条安全的通道,无论黑客怎么截取,看到的只能是被加密后的内容,无法看到加密之前的 原文,也不能看到密码,什么也看不到,就保证了出差人员和公司主要人员在酒店或出差的情况下,上网仍然有非常好的安全性,收邮件都不会有任何问题
2006年,内容交换技术已经相对成熟,而且出现了开源软件,HAProxy,能实现简单的交换功能。 充分证明基本功能被广大用户接受,提供最基本的交换技术。国内很多视频网站都出现了,开始做自己的短视频,学习优秀的模式。但是富媒体加速,需要提供更高 的网络处理能力,对于四层交换机的压力会更大,这时F5更高的产品,像64系列、68系列、84、88系列,以及最新的新产品,都会对加速做好了准备,都 能扛起更多、更高的流量。我们逐渐采购了F5的最新产品,V9系列产品。同时还考虑到南北电信之间仅靠CPN是满足不了的,内容还需要复制到各个节点去, 所以我们采购了F5最新的产品叫VNAJet,提供的功能是在互联网的公网上可以加速访问速度,把内容压缩或者通过一些算法,通过这个技术加速中国网通和 北京电信两方网络的带宽,把原来很简单的带宽变成可用的、很宽的带宽,对一些业务的开展,例如数据库的同步或者内容的复制都很方便,有更多的业务可以有更 多的服务部署方式,部署起来服务更灵活。同时也把在当年TOMCDN的节点扩张到13个,更多的设备部署到各地去,对整个TOM的压力进行分流。当年 TOM的CDN超过了10个G。
2007年是CDN的服务年。China Cache经过十年的准备,完成地轮融资3150万美元。6月8日Limelight在美国上市,当天股价飙升48%。TOM在这一年将CDN商业化,整 体推向市场。同时将VIACND节点进一步扩容,扩充到15个节点。通过iRules实现了对富媒体的分布式存储。通过FI的iRules,存储到不同的 存储上去,会缓解富媒体的存储压力。采购了68的产品,为Eachent.com上线缓解了环节压力。
之所以这么多年都选择F5作为我们的合作伙伴,为我们提供技术支持和网络的加速,是因为F5有非常好的 友好界面,一上来就会提供给你一个Web界面,非常容易让用户上手。由于四层交换,更贴近的是应用,是应用的交换,应用又与开发人员相关,开发人员更习惯 接受的界面是Unix操作系统界面,更方便开发人员使用F5的平台,开发人员更清楚、更容易利用F5的设计理念,更灵活的运用F5的技术,比如 iRules。传统的做交换机的人员不会理解是怎么回事,但是开发人员去理解iRules过程是怎么回事,程序是怎么执行的,他会很清楚的告诉你很简 单,iRules成为F5的亮点,更多的让开发人员接受,开发人员让原本很难实现的东西几下就搞定了。
F5在V9的技术上实现了FullProxy,节是全代理的模式,好处是能够完整的过滤进来的请求和回 去的请求,还能够提供完全的阻挡外流量,把外部流量和内部流量分开,每一个连接都有检查,非常灵活的API iControl,是Web2.0基本的东西,更多的贴近开发人员使用的东西,被开发人员拿里之后很容易上手,而且写一些应用,配合到应用,做一些流量的 监控,端口的控制,连接数的检查,或者写更多更复杂的功能,都可以来控制,临时关闭一台服务器,会话连接,或者更多更复杂的东西,都可以通过 iControl控制,开发人员来做非常容易。F5有技术前瞻性,每次遇到困难、问题的时候,F5总能给我们提供技术解决方案,总能有好的想法提供给我 们。南北电信互联互通的同步数据有问题,F5就会把这个拿出来,当我们发现外地人员出差的时候不能保证本地网络的安全,F5就会拿出应急解决方案,所有问 题都可以迎刃而解。F5在技术上有前瞻性,总能事先估计到问题,有解决方案对应。再就是高性能、高可靠,这是必须的,在网络里,网络的稳定性是第一,再就 是高性能,对用户的响应速度有提高,比较稳定。F5的产品从百兆低端的服务器架构到以后出现的V4.5内置交换机的架构,到最新的V9的架构,每一个架构 都用过,而且我们都觉得整体架构来说是非常先进,而且非常可靠。整体性能,每个设备都试验过,而且在实际的业务过程中,在满负荷的情况下,F5非常可靠。 更可靠的是F5提供了双A的高可靠性,是非常可靠的平台。所以TOM这些年一直选择F5合作,帮助我们解决网络的稳定性,提高用户的响应速度。
就我个人的看法交流一下负载均衡技术将来的发展方向。首先是更高的性能,网络服务器经历了百兆到千兆, 我相信会出现万兆,也出现了万兆互联的需求。从第四层到第七层的平滑能力,早在几年前推出了全线速交换,而抢掉了思科的市场,我相信将来L4、L7也会提 出平滑的线性交换能力,达到四层交换或者七层交换多少的承诺。还有独立的双向加速处理能力,通常现在看到的情况,做四层交换,一旦进来的请求需要走七层交 换进行处理的时候是走CPU的,回去仍然要走CPU。但是客户说我回去不需要做任何检查、任何处理,直接发给用户就可以了,这个时候就会有一个问题,进来 的处理,需要对用户的请求进行检查,但是服务器确认没有问题,不需要进行检查,为什么七层交换机还要让这个流量通过CPU提供给用户,这不是浪费资源,而 且降低系统的处理能力,或者提升系统交换机的压力,希望将来的技术会出现分别处理,对进来的流量处理了,如果用户不需要处理,通过四层直接给用户,不需要 经过CPU。将来Web2.0、3.0提出的都是小的请求过来,返回的内容是非常大的,这个时候如果对回去的流量进行CPU的参与运算,这是非常不合理 的。
更多的支持面,2000年之前负载均衡交换机是对服务器做负载均衡的,主要是面对终端用户,用户过来请 求,均衡到多台服务器上去,很少量的,比如我对数据库进行负载均衡,服务器、P2P或者ESP访问后端的数据库,对数据库做负载均衡,或者JAVA。但是 随着富媒体的出现,有可能需要对存储、NFS或者CIFS等协议的存储做负载均衡。富媒体出现,每个文件的大小非常大,但是存储的压力又非常大,磁盘的访 问速度是很难提升的,速度提升是很缓慢的,只能采用集群或者负载均衡的方式对存储进行加速,但是目前来说,没有一家公司可以对存储进行负载均衡进行加速的 产品。对存储做负载均衡技术,不单单是把请求分发到各个地方,同时还有存储的数据同步问题。只是分发,用户对存储来说,有写的请求,也有读的请求。如果不 能把写的请求分发到每个存储,有很多就会读到,很多技术是一个挑战。将来可能遇到更多需求的挑战,透明的负载均衡技术,前段时间我们爆发了ARP病毒,存 在在网络里,用户感染病毒,病毒会拦截所有网络的流量,电脑会检查用户访问的页面,会在前面插入一个代码,引入一些更多病毒的链接,凡是经过感染病毒的用 户电脑所有的流量,都被植入了病毒代码,当用户访问所有的网站,都会触发接触病毒,导致这个网站所有的服务器、所有用户都感染病毒。如果ARP病毒出现在 互联网机房里,会产生灾难性的后果,最多只有一个G,机房的流量可能有数个G,结果所有的流量都为了通过这台感染病毒的服务器,都被压缩了,只能通过一个 G,是灾难性的。但是如果把ARP病毒的拦截机制放到负载均衡交换机上,就会出现透明负载均衡交换机,不需要对任何服务器进行设置,放在网络上,只要告诉 这台交换机,需要对哪台IP不加速,配置好之后,交换机可以直接进行工作。配置起来更简单,交换机放进去容易,拿下来也很容易,用户的网络不需要做任何变 动。在负载比较高的迎接突发访问流量的时候,会非常方便用户部署。比如明天有一个大的活动,很大的流量,可以临时增加,而且非常方便,用完之后可以把设备 还回去。当用户受到攻击的时候,这种方式会更加让用户体会到透明负载均衡交换机的好处。
很多用户的流量是2个G、3个G,不可能一下跳到10G,都是一步步来。原来是100兆,后来用200 兆防火墙拼起来。负载均衡交换机,一台不够用两台、三台,越来越多的交换机,是不是会有集群技术,导致负载均衡交换机的负载存储。今天的是HA的一主一备 的方式,将来随着网络的改善和流量的增加,需要通过N+M的方式,或者10台机器,并成5台放在一个集群里,这也是一种新的技术。现在遇到很多多核CPU 出现,已经出到四核CPU,就是16个CPU,很多虚拟的服务器技术,如何做负载均衡,如何通过F5与虚拟的技术进行配合,这也是一个新的挑战。
。