一次 DNS 缓存引发的惨案

发布日期 2017-06-19 13:46:18

  时间2015年的某个周六凌晨5点,公司的QQ群有用户反馈官网打不开了,但有的用户反馈能够打开,客服爬起来本人用电脑试了一下没有问题,就给客户反馈说,可能是本人收集的问题,请过会正在尝尝。早点8点,越来越多的用户反馈官网无法打开,而且有部门用户开辟反馈app也打不开了,客服打德律风叫起了还正在梦境中的我。

  被客服叫起来之后,一脸懵逼,不晓得什么环境,给客服答复,晓得了,立即排查,待会有动静及时沟通。用凉水洗了一把脸了一下,立即按照经验回忆这两生成产投产的环境:上线了模块,不影响、修复了bug,该当也不影响、刚给办事器设置装备摆设了https,看起来仿佛有点关系,可是app临时没有投产https,怎样也呈现问题,解除之。打开电脑核查了比来的投产记实该当都不至于发生这么严沉的问题,随思疑是不是收集方面有问题,立即打德律风叫起来运维司理以及相关人等一路排查。

  一边让收集和运维解除问题,一边再次核查了web办事器、数据库办事器、营业日记、数据库日记,以及其它的一些数据,各项皆一般。试着正在本机ping了一下域名确实欠亨,愈加思疑是收集问题,测验考试这间接利用外网拜候官,能够打开没有问题,能够根基确认办事没有问题,但运维部反馈收集设备什么都一般,必定是你们投产代码出问题了,各方硬着头皮继续正在排查。

  9点,群里起头有大规模的用户反馈官网和app都打不开了,更有部门用户,X公司跑出了(15年良多p2p公司跑,导致用户都成了草木惊心,稍微有问题便害怕公司跑,个个都锻了高手,天天看,及时刷,凌晨起来尿尿也都趁便看一下app上的今日收益),客服400热线根基被打爆了。一边继续排题,一边此问题给总监、公司各高管,给客服,给用户注释,IDC机房收集发抖,手艺正正在告急处理,资金和数据都没有任何影响,稍安勿躁。

  10点,开辟和运维频频的查抄后,起头思疑dns解析有问题,但具体是什么问题还不清晰,CTO决定:1、大师都打车往公司走,来公司集体处理 2、正在各QQ群、微信群给用户群发注释问题,安抚客户。正在车上的时候从头梳理了一下用户的整个拜候流程,如下图:

  到公司后,按照这个思大师正在一路验证了一下,通过外网IP和内网IP拜候公司所有办事都一般,可是通过域名拜候不可,别的办事器、防火墙、收集设备日记都一般,因而断定是DNS解析呈现问题。

  既然确实是DNS解析问题,那么问题又来了?为什么DNS解析会呈现问题?若何去处理这个问题?一边给万网提工单,建商城网站!我们也本人测试一下电信、挪动、联通正在分歧的收集运营商下面的拜候环境,发觉只要正在联通收集的下DNS解析不了。按照客服获得的反馈也验证了这个环境,电信和移户反馈很少,联通用户反馈最多。于是我们又起头给联通打德律风,刚起头联通不受理我们的这个请求,于是又起头以用户的身份打德律风给联通公司让立即处理不克不及上彀的问题。

  于是就起头了万网和联通的扯皮大和,万网说从他们何处查看DNS解析都一般,一路目标都一般,我们又给联通打德律风联通说我们曾经晓得了,待会由专业的人给我们答复,过了一会联通的收集工程师答复说,像这种环境一般都是域名解析的问题。早上10:30到公司起头短短的6各小时内,我们几个轮番给联通公司合计供打了近50、60通德律风,给万网提了N个工单,接了N个德律风。

  期间带领也起头各类关系,联通内部的伴侣、收集运维界的大拿帮手来定位处理,我们也测验考试了良多的法子,好比,利用ipconfig/flushdns号令断根本机的DNS缓存、正在万网的官网把DNS解析从头更新一边、删除正在从头添加等等,也不是完全没有收成。我们一曲想找一个能够测试各个处所、运营商收集的法子,终究正在各方保举和搜刮的环境下找了17ce 和 360奇云测两个网坐,感受很是适用,正在当前的收集定位中,成了我必备利用的东西,能够很是便利的各个运营商、各个地域网坐的拜候能否通欠亨、拜候的速度快不快等问题,截图如下:

  我们也发觉,公司的其它域名也都拜候一般,就是官网的这个域名和相关的子域名欠亨。期间良多人都问了一个问题就是你们的域名有没有忘了缴费,刚起头大师也都问了运维这边说是没有这个问题,曲到半夜12:30的时候正在我们再三的诘问下才说8点多的时候登录上万网的时候显示这个域名是欠费形态,可是他曾经立即把费用补了上去了。哎呀差点把我们气死,问了不是域名到期有提醒的吗?才晓得由于上一个运维司理走后,他们没有及时的更新万网的德律风和邮箱导致提醒邮件和短信也没有收到。

  通过和万网、联通公司、带领的相关伴侣沟通以及我们的测试察看,初步大白了这个工作的缘由:域名健忘缴费导致万网的DNS解析被遏制,用户本机或者DNS办事器有缓存,所以部门用户能够拜候部门用户不克不及拜候;缴费事后万网的DNS曾经进行了更新和推送,可是DNS解析有良多的层级需要一级一级的往下面发送更新,有的层级并没有更新到,导致部门没有更新到的DNS办事商下面的用户不克不及拜候官网。

  和万网进行了沟通,问最延迟的环境所有的DNS更新到最新的时间,回覆是48小时内必定城市好的,可是我们等不起呀,跟着时间的推移越来越多的用户发觉问题,QQ群、微信群曾经沸腾,董事长也起头关心次问题,有的客户间接正在群里面说,你们的手艺太不给力了(像这种仍是委婉的,有的间接打德律风骂人)…

  不竭的通过17ce测试发觉,大部门地域的收集都曾经恢复,就剩联通和部门地域联通收集下欠亨,也申明了这几个地域下的DNS解析记实没有被更新。那么既然我们正在曾经定位出了问题,又领会是什么缘由,就想着试着换个DNS解析办事器会不会好一点呢,于是我们把当地的DNS地址换成8.8.8.8(谷歌的DNS办事解析)发觉好了!于是赶紧先写处理手册发给焦急的客户来利用。

  官网的用户能够通过更改DNS来处理拜候的问题,APP怎样办呢?没有法子我们也不克不及等,间接找开辟人员把办事端挪用的地址由域名临时先改为外网的IP地址打一个版本供用户姑且利用。还比力好办,间接让用户下载安拆利用还好,可是IOS那时候的审核起码都需要一周黄花菜都凉了。其实iPhone手机能够零丁设置DNS的,我们进行了设置和测试后发觉也能够实现,于是顿时更新到手册中发送给客服发送到群里面给用户利用。

  有人说间接让用户利用外网就行了吗,利用外网首页打开到是没有问题,可是各系统之间挪用,相关设置装备摆设文件里面写的也都是域名的地址,若是硬改的话可能会激发别的的问题。第一天搞完就10点多了,两头就4点吃了一顿饭,打了N个德律风大师都很是累,于是当天就先如许了,第二天大师一早到公司继续跟进。

  第二天到公司颠末17ce测试发觉所有的节点都曾经通了就剩联通的两个接点没响应,可是是我们的大本营,绝大部门的用户都是的,继续和万网、联通沟通看怎样能完全的处理这个问题,另一方面做好最坏的筹算,若是一曲欠亨怎样办。正在出产中梳理所有利用域名的设置装备摆设文件,做好随时能够间接更新为外网地址而不克不及影响办事,app完整的从头做一个版本,做好随时能够投产让用户强制升级到外网曲连的版本。

  到第二天晚上10点的时候,联通的这两个节点仍是欠亨,和带领进行了商议若是到周一早上8点来的时候这两个收集仍是不克不及通的话,就上线好的系统和APP强制升级(由于其时周末还没有标的,周内才有发标打算)。第三天早上起来的第一件工作就是拿起手机,查看本人的联通收集是不是能够登录上官网,成果通了!皆大欢喜。

  DNS( Domain Name System)是“域名系统”的英文缩写,是一种组织成域条理布局的计较机和收集办事定名系统,它用于TCP/IP收集,它所供给的办事是用来将从机名和域名转换为IP地址的工做。俗话说,DNS就是将网址为对外的IP地址。

  第一步:浏览器将会查抄缓存中有没有这个域名对应的解析过的IP地址,若是有该解析过程将会竣事。浏览器缓存域名也是有的,包罗缓存的时间、大小,能够通过TTL属性来设置。

  第二步:若是用户的浏览器中缓存中没有,操做系统会先查抄本人当地的hosts文件能否有这个网址映照关系,若是有,就先挪用这个IP地址映照,完成域名解析。

  第三步:若是hosts里没有这个域名的映照,则查找当地DNS解析器缓存,能否有这个网址映照关系,若是有,间接前往,完成域名解析。

  第四步:若是hosts取当地DNS解析器缓存都没有响应的网址映照关系,起首会找TCP/ip参数中设置的首选DNS办事器,正在此我们叫它当地DNS办事器,此办事器收到查询时,若是要查询的域名,包含正在当地设置装备摆设区域资本中,则前往解析成果给客户机,完成域名解析,此解析具有权势巨子性。

  第五步:若是要查询的域名,不由当地DNS办事器区域解析,但该办事器已缓存了此网址映照关系,则挪用这个IP地址映照,完成域名解析,此解析不具有权势巨子性。

  第六步:若是当地DNS办事器当地域域文件取缓存解析都失效,则按照当地DNS办事器的设置(能否设置转发器)进行查询,若是未用转发模式,当地DNS就把请求发至13台根DNS,根DNS办事器收到请求后会判断这个域名是谁来授权办理,并会前往一个担任该域名办事器的一个IP。当地DNS办事器收到IP消息后,将会联系担任域的这台办事器。这台担任.com域的办事器收到请求后,若是本人无析,它就会找一个办理.com域的下一级DNS办事器地址给当地DNS办事器。当当地DNS办事器收到这个地址后,就会找域名域办事器,反复的动做,进行查询,曲至找到域名对应的从机。

  第七步:若是用的是转发模式,此DNS办事器就会把请求转发至上一级DNS办事器,由上一级办事器进行解析,上一级办事器若是不克不及解析,或找根DNS或把转请求转至上上级,以此轮回。不管是当地DNS办事器用是是转发,仍是根提醒,最初都是把成果前往给当地DNS办事器,由此DNS办事器再前往给客户机。

首页 | 关于我们 | 联系我们 | 客户案例 | 支付方式 | 常见问题 | 有问必答
备案系统认证 我们的支付方式 AAA级信用
亿佰数据 -国内领先的自助建站免费建站智能建站、成品网站、手机网站、微网站服务商
版权所有 ©2006-2016 All Rights Reserved,粤ICP备09171622号   粤公网安备 44010602001071号