当前位置 博文首页 > 文章内容

    博客园服务器故障发生及处理全过程纪录

    作者:大愚 栏目:服务器 时间:2020-04-30 17:26:14

         2005年4月5日晚18:00左右至4月6日晚22:00左右,博客园服务器因为硬件故障造成博客园无法访问,这是博客园有史以来时间最长的一次停运,希望这个纪录永远不会被打破。这次故障给大家带来了不少麻烦,我们深表歉意! 
         2005年4月5日17:00左右,我进入电信机房处理服务器的远程控制问题,前一天,由于服务器终端服务授权过期,我无法远程控制服务器,需要到机房在本地处理。本来处理这个问题只需要几分种,可是我在操作时,服务器速度突然变得很慢,系统几乎没有响应,然后Intel Application Accelerator软件发出警告,一块硬盘故障,RAID失去冗余,我当时心里想:不会吧,又坏了一块硬盘,刚换了一块新硬盘没多久,迈拓的硬盘质量这么差,看来要换个其他品牌的硬盘(错怪迈拓了,其实硬盘没有坏),坏就坏吧,不影响运行,再换块新的上去就行了。可是,过了一会儿,Intel Application Accelerator软件又发出警告,第二硬盘又坏了,可系统还在运行。靠!真厉害!两块硬盘都坏了,还能运行,神了!可是好景不长,过了一会儿,服务器自已突然重启(我傻眼了,难道两坏硬盘都坏了,我差点晕过去),启动时RAID BIOS提示第一块硬盘故障,第二块硬盘正常(还好,心里有了希望),继续启动,出现错误提示,找不到引导系统(不会吧!系统坏了,硬盘坏了?又傻眼了,进入RAID BIOS看看吧!), 重启进入RAID BIOS, 提示选择一个正常的硬盘,我选择之后,退出RAID BIOS并重启(希望奇迹出现),哈哈!原来出现奇迹也不难,系统正常启动了。启动好了后,访问博客园,一切正常。OK!收工!上次换的硬盘还在电脑公司那,尽快拿过来换上。 
         吃饭了,下午继续写,这次故障一波三则,我去了三次电信机房,打了六次的士。维护个网站真不容易!...... 
         回到家后,一开始访问博客园正常,可是没过多久,又不能访问博客园了,我心里一凉,难道服务器又出故障了?不会吧,不会这么快又出问题吧?是不是电信网络的问题?联系电信的人,得到的回答是网络没问题。看来服务器又出问题了,郁闷!今天服务器怎么了?先让电信的人重启一下服务器吧,联系了他们,过了段时间,电信的工作人员打电话过来,说开不了机。晕! 难道主板出问题了?看来只能自己去机房处理了。可是机房不是我想进去就能进去,联系电信的人,约时间,等他们的通知,好不容易晚上21:00左右进入了机房,果然开不了机,按电源按钮,没反应,电源指示灯不亮,还好,我没有被这个故障吓晕,感觉主板没坏。你不禁要问,感觉有什么用?现在开不了,怎么办?我采取了不合常理的方法,先换电源线试试,换了后,还是开不了机。你想这下完了吧,没办法了吧!别急,我还有一招,将主机搬到另外一个机柜,通上电源,开机,OK,电脑开起来了!哦!你想原来是原先的机柜电源问题。你又错了,我将电脑移回去,再开机,又正常了,这是什么毛病啊?这种病被电脑医学界称为“电脑神经病”。
         可是开机之后,我傻了,RAID BIOS说两块硬盘全坏了!我晕了,还好没倒下来,我定了定神,先让自己冷静冷静,我想,人会骗人,也许电脑也会骗人,进入RAID BIOS瞧一瞧,又让我选择一块正常的硬盘,可两块都坏了,我怎么选?什么事情都不能轻易放弃,我还是选择上次运行的那块硬盘,退出重启计算机。哈哈!系统正常启动了!爽!原来电脑骗我!你奇怪了:电脑骗你,你还爽啊!不是,我是说电脑正常启动了,我高兴!我突然明白了,原来我早就被电脑骗了,上次的硬盘没坏,难怪硬盘送去更换时,电脑公司说他们检测的结果是硬盘没坏,原来是RAID控制器自以为是,以为硬盘坏了,实际上没坏。过分!让我白买了一坏新硬盘。如果是这样,那机子上的另外一块硬盘也没坏,我在Intel Application Accelerator中将那块硬盘标识正常,Intel Application Accelerator立即自动建立冗余卷,建立时没有出现异常,果然是RAID控制器的问题。问题的真正原因是主板RAID控制器误认为硬盘故障。那为什么以前正常运行了那么长时间没问题,现在将硬盘标识为正常又能正常运行?我也不知道。要问主板厂家了。目前的情况应该是主板RAID控制器不稳定,有时误认为硬盘故障。现在系统能正常运行,并且正在建立RAID 1卷,大约要1个小时,电信的人早就催我了,放在这让服务器自己建立RAID 1卷吧,我只能先回去了,由于建立RAID 1很耗资源,网站根本无法运行,只能暂时停运网站,远程控制估计也无法控制,本地试了一下远程控制,可以控制。回去再试试。 
         回到家,立即远程连接服务器,想看看服务器的状况!事与愿违,连不上,是服务器太忙,远程控制无法运行,还是服务器又发生故障了?真想再去机房看看,可是电信的人肯定不愿意了。没办法,等一小时之后,再看看吧,如果服务器没有故障,那时RAID 1卷已经建立好了,如果还是不能连接,那就是服务器又出故障了。时间21:30了,只能等到22:30再看看情况了。这一小时的等待,真不好受,心急如焚,却也无可奈何,服务器的情况一无所知,我什么也不想做,坐在那发呆,以后有钱,一定要买两台服务器,这样的日子太痛苦了!这一个小时是数着时间过的,我已经作好准备,如果到时还是不能访问,那说明服务器老毛病又范,误认为硬盘坏了后重启,却启动不起来。我只能更改博客园DNS解析,发布服务器故障的消息。漫长的等待之后,奇迹没有出现,我一次次连接服务器,心里在祈祷:连上!连上!哎!多次的连接失败后,我只能承认这样的事实:服务器又出问题了。怀着沉痛的心情,对外发布服务器故障的消息。怎么办?现在进不了机房,明天还要上班,今天刚请了假,明天请假,领导不会批,要处理只能晚上处理。服务器要停运这么长时间?我怎么对得起大家?大家的心里怎么想?影响太大了!真恨不得飞到电信机房去,今天晚上和明天白天怎么过?这种等待的日子太难受了!一个人最无奈的选择就是:面对现实!没办法只能等到明天晚上处理了!只能忍受今夜的无眠与明天的煎熬。(向大家老实交代:我还是睡着了,不睡会儿,第二天晚上哪有精力处理服务器故障)。在发布消息之后,令我感动的是,收到了一封邮件:“听到cnblogs的服务器出现了故障,我感到了一种担心。我是cnblogs的忠实读者,虽然我没有怎么发过文章,但是我希望在这里祈祷它快点恢复。我不知道我能做什么,只是想发封email支持你。”,收到这样的邮件,我真的很感动,我想肯定有很多人在为博客园祈祷,在默默地支持博客园,同时我也感到了很大的压力:服务器一定要尽快恢复!后来,又收到了支持与鼓励的邮件,MSN上的朋友都没有责怪我,都在安慰我、鼓励我!一般第一句都是“dudu辛苦了!”。谢谢大家!博客园发展到今天都是来自大家的热心与支持! 
         第二天早上很早醒来,真想打电话给电信的人,叫他一大早带我去机房,在上班之前处理好。可是电信的人怎么会愿意呢?以前早上起来第一件事就是打开电脑,访问博客园,今天看不到熟悉的页面,有种伤感,博客园已经成为我生活的一部分, 我心想一定要为博客园买台好的服务器,不能再出现这样的情况了。我带着沉重的心情去上班,以前到办公室第一件事就是访问博客园,今天触景生情,心里更难过了。上班的时候,我什么也不想做,不时地发呆,别人看了也许会误以为我失恋了呢。
         为了让大家了解博客园的情况,我赶紧开通了一个博客园的QQ群!很快QQ群人就满了。大家都非常关心博客园:安慰、鼓励、加油、出谋划策.....。让我感到一种温暖,增加了恢复服务器的信心! 
         终于,熬到下班了。一到家,我立即打电话给电信,问什么时候能进机房(早上我就和他们联系过了)?得到的回答是30分钟后打电话给我,为了能及时赶到机房,我晚饭也没吃,等他们的电话,没想到30分钟竟然变成了近3小时,我到21:00多才进了机房,又让我熬了一个痛苦的等待过程。好事多磨!  我只能耐心地等待。进机房之前,我已经想好了两种解决方案:1、由于主板的RAID控制器肯定有问题,只能关闭RAID功能,单硬盘运行 2、如果单硬盘运行有问题,那就将数据迁移到一台临时的服务器运行。进了机房,接上显示器一看,意料之中的故障 ,屏幕显示启动找不到系统。重启时,RAID BIOS显示一块硬盘坏,更改一下设置,系统正常启动。将另外一块误认为坏的硬盘设置为正常硬盘,也能正常启动。只能采取第一种解决方案。让服务器单硬盘运行。晚上22:00点左右,服务器恢复正常。心里的那种激动与兴奋难以用语言来表达! 


     文章来源:博客园

     原文链接:https://www.cnblogs.com/dudu/archive/2005/04/07/133041.html

     如有侵权,请联系删除!