干貨|單類型監(jiān)控、業(yè)務(wù)交易與基礎(chǔ)資源聚合監(jiān)控的技術(shù)方法解析

一、概述

隨著現(xiàn)代信息系統(tǒng)越來越龐大，機(jī)器數(shù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，信息系統(tǒng)運(yùn)維對(duì)平臺(tái)化服務(wù)能力要求越來越高，建立有效的監(jiān)控體系準(zhǔn)確及時(shí)發(fā)現(xiàn)系統(tǒng)運(yùn)行中出現(xiàn)的問題，對(duì)于保障應(yīng)用系統(tǒng)穩(wěn)定運(yùn)行具有重要意義。為提升生產(chǎn)問題感知及響應(yīng)能力，通常會(huì)配置各種類型的監(jiān)控，本文從單類型監(jiān)控、業(yè)務(wù)交易之間聚合監(jiān)控、業(yè)務(wù)交易與基礎(chǔ)資源聚合監(jiān)控等方面介紹監(jiān)控常用技術(shù)方法，供讀者進(jìn)行參考學(xué)習(xí)。

二、單類型監(jiān)控

單類型監(jiān)控是指使用單一類型技術(shù)進(jìn)行應(yīng)用系統(tǒng)監(jiān)控，常用的監(jiān)控方法包括Ajax請(qǐng)求報(bào)文響應(yīng)報(bào)文監(jiān)控、業(yè)務(wù)日志監(jiān)控、頁(yè)面內(nèi)容監(jiān)控、業(yè)務(wù)數(shù)據(jù)監(jiān)控、基礎(chǔ)資源監(jiān)控。

方面對(duì)幾種監(jiān)控類型詳細(xì)介紹：

1、Ajax監(jiān)控：通過第三方監(jiān)控平臺(tái)定時(shí)發(fā)送業(yè)務(wù)交易請(qǐng)求，并對(duì)響應(yīng)報(bào)文進(jìn)行斷言的方法驗(yàn)證交易的正確性。

方法1：http狀態(tài)碼監(jiān)控。對(duì)http請(qǐng)求的狀態(tài)碼進(jìn)行判斷，是否符合預(yù)期結(jié)果，各類http狀態(tài)碼含義如下，我們僅需要配置狀態(tài)碼斷言即可判斷交易是否正常。

示例：

Request URL:https://msg.csdn.net/v1/web/message/view/unread

Request Method:POST

Status Code:200

方法2：http響應(yīng)報(bào)文監(jiān)控。http狀態(tài)碼監(jiān)控可以監(jiān)控交易報(bào)文是否正常響應(yīng)，但是無法判斷交易邏輯是否正常，對(duì)http報(bào)文響應(yīng)報(bào)文具體內(nèi)容進(jìn)行監(jiān)控，可以彌補(bǔ)該問題。通過判斷http響應(yīng)報(bào)文中具體字段的值對(duì)交易進(jìn)行監(jiān)控。

示例：ajax響應(yīng)報(bào)文中包含如下信息，則可以對(duì)message字段的值進(jìn)行監(jiān)控。

message:"success"

status:true

適用場(chǎng)景：適用于對(duì)http協(xié)議響應(yīng)報(bào)文、響應(yīng)碼進(jìn)行監(jiān)控。

2、日志監(jiān)控：日志監(jiān)控是對(duì)應(yīng)用系統(tǒng)運(yùn)行過程中產(chǎn)生的日志進(jìn)行監(jiān)控。以log4j為例，日志級(jí)別包括ALL、TRACE、DEBUG、INFO、WARN、ERROR、FATAL、OFF，其中ALL是打印所有日志，OFF是所有日志都不打印，為了排查系統(tǒng)運(yùn)行問題，通常開發(fā)人員根據(jù)需要會(huì)打點(diǎn)一定的日志，但是如果loglevel配置的太低，則會(huì)打印過多的日志信息，從而影響系統(tǒng)性能。

日志監(jiān)控通?？梢曰贓RROR、FATAL類日志打印進(jìn)行監(jiān)控。開發(fā)人員在業(yè)務(wù)邏輯中進(jìn)行相應(yīng)的判斷，并打印錯(cuò)誤日志，例如：Log.error(“123456”);監(jiān)控平臺(tái)可以抓取系統(tǒng)中打印的錯(cuò)誤日志，并基于正則表達(dá)式判斷是否符合異常告警條件。符合告警規(guī)則，則進(jìn)行郵件、短信等告警。

日志告警可以精準(zhǔn)獲取異常告警的代碼位置，從而便于進(jìn)行問題分析。

適用場(chǎng)景：適用于系統(tǒng)開發(fā)人員在代碼的關(guān)鍵邏輯中打點(diǎn)了日志信息時(shí)使用。

3、網(wǎng)頁(yè)監(jiān)控：對(duì)于DOC類型的請(qǐng)求，可以通過發(fā)送請(qǐng)求報(bào)文，對(duì)響應(yīng)頁(yè)面html內(nèi)容設(shè)置監(jiān)控，判斷響應(yīng)頁(yè)面內(nèi)容是否包含指定的內(nèi)容，網(wǎng)頁(yè)內(nèi)容監(jiān)控是指監(jiān)控網(wǎng)頁(yè)標(biāo)題、網(wǎng)頁(yè)關(guān)鍵詞、網(wǎng)頁(yè)描述、出站鏈接等內(nèi)容信息進(jìn)行監(jiān)控。

使用方式：通過提取網(wǎng)頁(yè)內(nèi)容做為監(jiān)控的對(duì)象，對(duì)比與上一次監(jiān)測(cè)記錄的變化情況，例如：。

頁(yè)面監(jiān)控配置流程：

適用場(chǎng)景：具有前端頁(yè)面的系統(tǒng)可以采用該方法進(jìn)行頁(yè)面內(nèi)容監(jiān)控。

4、數(shù)據(jù)監(jiān)控：通過定時(shí)執(zhí)行數(shù)據(jù)庫(kù)sql腳本或者數(shù)據(jù)分析，驗(yàn)證具有關(guān)聯(lián)性的表是否出現(xiàn)不受控制的異常數(shù)據(jù)記錄，數(shù)據(jù)內(nèi)容監(jiān)控可以發(fā)現(xiàn)業(yè)務(wù)邏輯異常造成的數(shù)據(jù)問題，并及時(shí)提供給運(yùn)營(yíng)人員進(jìn)行后續(xù)處理，以應(yīng)對(duì)數(shù)據(jù)不一致對(duì)用戶產(chǎn)生的影響。

數(shù)據(jù)監(jiān)控分類如下：

數(shù)據(jù)監(jiān)控配置流程：

適用場(chǎng)景：對(duì)于熟悉數(shù)據(jù)表邏輯關(guān)系及不同表中字段之間邏輯關(guān)系時(shí)可以使用該方法。

5、資源監(jiān)控：對(duì)于CPU、內(nèi)存、硬盤等基礎(chǔ)資源的監(jiān)控，并設(shè)置閾值，對(duì)于分機(jī)房類應(yīng)用系統(tǒng)，可以按照機(jī)房分別配置資源監(jiān)控，可以及時(shí)發(fā)現(xiàn)底層資源故障，提示系統(tǒng)運(yùn)維人員及時(shí)進(jìn)行資源擴(kuò)容或者問題排查，具體重要的意義。

通常當(dāng)CPU、內(nèi)存利用率超過80%時(shí)，系統(tǒng)性能將逐步出現(xiàn)瓶頸，從而會(huì)嚴(yán)重影響用戶使用體現(xiàn)，因此可以設(shè)置CPU、內(nèi)存等使用率超過80%時(shí)進(jìn)行告警；對(duì)于數(shù)據(jù)庫(kù)服務(wù)，可以對(duì)數(shù)據(jù)庫(kù)的連接數(shù)、表空間、系統(tǒng)日志等信息進(jìn)行監(jiān)控；對(duì)于磁盤、網(wǎng)絡(luò)設(shè)置可以監(jiān)控IO速率的參數(shù)以發(fā)現(xiàn)相關(guān)問題。

但基礎(chǔ)資源監(jiān)控?zé)o法具體判斷具體是哪些業(yè)務(wù)造成的資源問題，以及對(duì)哪些業(yè)務(wù)造成的影響比較大，結(jié)合其他監(jiān)控方法可以達(dá)到更好的效果。

幾種監(jiān)控方法對(duì)比：

適用場(chǎng)景：對(duì)于依賴的底層資源的服務(wù)可以采用這種監(jiān)控方法。

三、聚合類型監(jiān)控

1、交易調(diào)用鏈路聚合監(jiān)控

對(duì)于系統(tǒng)之間調(diào)用較為復(fù)雜的業(yè)務(wù)場(chǎng)景，僅僅通過單系統(tǒng)的監(jiān)控難以具體定位到故障節(jié)點(diǎn)。交易接口之間聚合監(jiān)控是指對(duì)已經(jīng)建立的具有調(diào)用關(guān)系的接口監(jiān)控項(xiàng)建立綁定關(guān)系，從而根據(jù)調(diào)用鏈路上各個(gè)節(jié)點(diǎn)的執(zhí)行結(jié)果判斷業(yè)務(wù)系統(tǒng)群的可用性情況及故障節(jié)點(diǎn)。

如下圖所示，A系統(tǒng)的一個(gè)業(yè)務(wù)交易trans1,調(diào)用B系統(tǒng)的交易和C系統(tǒng)的交易，B系統(tǒng)又會(huì)調(diào)用D系統(tǒng)交易。在這種場(chǎng)景下，僅僅對(duì)A系統(tǒng)業(yè)務(wù)交易進(jìn)行監(jiān)控，發(fā)生告警后，無法準(zhǔn)備判斷A、B、C、D 4個(gè)系統(tǒng)中哪個(gè)系統(tǒng)發(fā)生了故障，造成業(yè)務(wù)交易無法執(zhí)行成功，需要開發(fā)人員根據(jù)交易鏈條逐個(gè)判斷分析，大大增加了系統(tǒng)問題分析的難度。

使用交易調(diào)用鏈路聚合監(jiān)控方法，拿A系統(tǒng)trans1交易這個(gè)場(chǎng)景來說，對(duì)A、B、C、D 4個(gè)系統(tǒng)分別配置監(jiān)控案例mA、mB、mC、mD，并建立鏈路綁定關(guān)系（mA->mB、mB->mD、mB->mC）。這樣在系統(tǒng)發(fā)生告警后，可以根據(jù)A、B、C、D 4個(gè)系統(tǒng)監(jiān)控交易執(zhí)行情況，迅速找到故障節(jié)點(diǎn)。

A系統(tǒng)Trans1交易監(jiān)控案例綁定關(guān)系：

優(yōu)勢(shì)：能夠快速找到故障節(jié)點(diǎn)，降低故障分析復(fù)雜程度。因?yàn)榻灰妆O(jiān)控之間建立了綁定關(guān)系:mA->mB->mD、mB->mC，當(dāng)mA、mB、mC、mD4個(gè)監(jiān)控項(xiàng)按照一定頻率執(zhí)行時(shí)并獲取到對(duì)應(yīng)的執(zhí)行結(jié)果后，可以根據(jù)根據(jù)交易之間的綁定關(guān)系判斷故障節(jié)點(diǎn)。例如：

某時(shí)間節(jié)點(diǎn)：mD執(zhí)行成功，mB執(zhí)行失敗，mA執(zhí)行失敗，可以判斷是由于mB交易執(zhí)行失敗造成mA執(zhí)行失敗，從而提升問題處置效率。

缺點(diǎn)：配置復(fù)雜程度高，需要清楚交易調(diào)用鏈路，并分別配置監(jiān)控案例，并建立綁定關(guān)系。

適用場(chǎng)景：對(duì)于交易鏈路比較復(fù)雜，難以判斷問題故障具體出在什么位置的情況下建議增加使用該方法監(jiān)控。

2.業(yè)務(wù)監(jiān)控與資源監(jiān)控聚合

隨著信息系統(tǒng)復(fù)雜程度和可靠性要求的不斷提高，信息系統(tǒng)的部署架構(gòu)也越來越復(fù)雜。信息系統(tǒng)的部署會(huì)采用多地區(qū)多機(jī)房的部署方式，從而根據(jù)用戶所在區(qū)域訪問不同的后臺(tái)服務(wù)，以提升系統(tǒng)響應(yīng)能力。業(yè)務(wù)監(jiān)控與資源監(jiān)控聚合是指將業(yè)務(wù)交易監(jiān)控與資源級(jí)監(jiān)控建立綁定關(guān)系，并根據(jù)各個(gè)監(jiān)控項(xiàng)的執(zhí)行結(jié)果進(jìn)行聚合分析，從而判斷系統(tǒng)故障節(jié)點(diǎn)的監(jiān)控方法。

業(yè)務(wù)交易的可用性與基礎(chǔ)資源是緊耦合的關(guān)系，基礎(chǔ)資源的故障或性能瓶頸會(huì)嚴(yán)重影響業(yè)務(wù)交易的運(yùn)行。通過業(yè)務(wù)交易監(jiān)控?zé)o法準(zhǔn)備定位到具體哪些基礎(chǔ)資源故障引起。例如業(yè)務(wù)交易訪問失敗，可能是因?yàn)榉?wù)器停機(jī)、機(jī)器無法正常響應(yīng)請(qǐng)求等問題造成。具體哪個(gè)資源故障造成業(yè)務(wù)交易無法正常執(zhí)行卻無法判斷。

通過將業(yè)務(wù)交易監(jiān)控和基礎(chǔ)資源監(jiān)控進(jìn)行綁定聚合可以有效解決該問題。例如我們的業(yè)務(wù)系統(tǒng)已經(jīng)配置了業(yè)務(wù)監(jiān)控m1、tomcat服務(wù)器監(jiān)控m2、數(shù)據(jù)庫(kù)服務(wù)器監(jiān)控m3三個(gè)監(jiān)控配置，通過建立監(jiān)控項(xiàng)m1、m2、m3的綁定關(guān)系（如下圖所示），當(dāng)發(fā)生基礎(chǔ)資源造成的業(yè)務(wù)交易報(bào)錯(cuò)后，可以迅速找到問題原因以進(jìn)行問題響應(yīng)。

適用場(chǎng)景：對(duì)于業(yè)務(wù)交易依賴底層資源，底層資源故障會(huì)造成部分業(yè)務(wù)交易報(bào)錯(cuò)的情況下可以使用該種監(jiān)控方法。

四、總結(jié)

本文首先介紹了幾種單應(yīng)用系統(tǒng)環(huán)境監(jiān)控方法及主要技術(shù)，包括ajax請(qǐng)求響應(yīng)報(bào)文監(jiān)控，日志監(jiān)控、基礎(chǔ)資源監(jiān)控、業(yè)務(wù)數(shù)據(jù)監(jiān)控、頁(yè)面內(nèi)容監(jiān)控、高級(jí)腳本監(jiān)控，并分析了這幾種技術(shù)的主要使用場(chǎng)景，之后對(duì)業(yè)務(wù)交易聚合監(jiān)控、業(yè)務(wù)交易與基礎(chǔ)資源監(jiān)控方法進(jìn)行了介紹，希望給測(cè)試人員、應(yīng)用環(huán)境運(yùn)維人員、監(jiān)控平臺(tái)建設(shè)者提供一定的參考，提升信息系統(tǒng)運(yùn)維服務(wù)能力。

最后：在我的V：atstudy-js，可以免費(fèi)領(lǐng)取一份10G軟件測(cè)試工程師面試寶典文檔資料。以及相對(duì)應(yīng)的視頻學(xué)習(xí)教程免費(fèi)分享！其中包括了有基礎(chǔ)知識(shí)、Linux必備、Shell、互聯(lián)網(wǎng)程序原理、Mysql數(shù)據(jù)庫(kù)、抓包工具專題、接口測(cè)試工具、測(cè)試進(jìn)階-Python編程、Web自動(dòng)化測(cè)試、APP自動(dòng)化測(cè)試、接口自動(dòng)化測(cè)試、測(cè)試高級(jí)持續(xù)集成、測(cè)試架構(gòu)開發(fā)測(cè)試框架、性能測(cè)試、安全測(cè)試等。