最近公司TOMCAT總是出現(xiàn)一些奇葩問(wèn)題,如圖：這種情況大概4-5天一次吧，但是神奇的是，每一次斷崖下跌后，服務(wù)是完完全全正常的！看CDN流量：同樣的時(shí)間段，CDN這邊表現(xiàn)的非常正常。如果服務(wù)真的宕機(jī)的話，CDN這邊也會(huì)跟著斷流。剛開始我的想法是，是不是有人在爬數(shù)據(jù)或者盜鏈？導(dǎo)致日常負(fù)載流量不正常。盜鏈的用戶那邊停止服務(wù)了，我這邊CPU負(fù)載就爆降。但是經(jīng)過(guò)訪問(wèn)請(qǐng)求日志分析，沒(méi)有發(fā)現(xiàn)什么異常請(qǐng)求。我分別對(duì)比了斷崖暴跌前的請(qǐng)求數(shù)據(jù)和暴跌后的請(qǐng)求數(shù)據(jù)，分別統(tǒng)計(jì)前3小時(shí)和后3小時(shí)，基本上請(qǐng)求數(shù)是差不多的，而且斷崖暴跌后請(qǐng)求還會(huì)高出不少！但是負(fù)載量前后相差3-4倍?。∑孑饬?，我整個(gè)人都是懵逼的。請(qǐng)教各位對(duì)JAVA服務(wù)比較熟悉的兄弟，知道有可能是什么原因引起的嗎？再上一張?jiān)敿?xì)圖：看到?jīng)]有，前期CPU波動(dòng)范圍非常寬，忽上忽下的，但是突然斷崖下跌后，就呈現(xiàn)一種穩(wěn)定式波動(dòng)，然后逐漸波動(dòng)會(huì)再變得越來(lái)越大。更新1、GC問(wèn)題考慮過(guò)，用jconsole觀察，基本上是正常范圍波動(dòng)。畢竟當(dāng)時(shí)已經(jīng)優(yōu)化過(guò)了，GC設(shè)定都是按照優(yōu)化文檔定制的。FGC頻率非常低，而且最重要的是，如果是GC出問(wèn)題，應(yīng)用程序會(huì)沒(méi)有響應(yīng)的，TOMCAT會(huì)假死。2、是所有機(jī)器都出現(xiàn)這種變化，所有連接都是從NGINX負(fù)載均衡分流到各個(gè)TOMCAT進(jìn)群中去的，上面截圖是其中一臺(tái)?；旧鲜峭粫r(shí)刻，都出現(xiàn)這種狀況。通過(guò)流量分析，也沒(méi)看出什么特殊的流量，除了memcached流量比較大之外(大概1M/S)，其他流量還算正?！，F(xiàn)在就是進(jìn)了死胡同，想不到思路去判斷這個(gè)問(wèn)題出在哪。唯一可以利用的線索就是CPU會(huì)逐漸變得波動(dòng)范圍越來(lái)越大，那么也就是說(shuō)峰谷和峰頂會(huì)隨著時(shí)間變化而變得波動(dòng)差距越來(lái)越高。有什么可能會(huì)造成這種情況呢？