隨著全球業(yè)務(wù)及3G時(shí)代的到來，電信運(yùn)營商之間的競爭愈加激烈，運(yùn)營商的角色也從簡單的話音業(yè)務(wù)經(jīng)營者擴(kuò)展到包括數(shù)據(jù)、內(nèi)容等的綜合服務(wù)提供商。業(yè)務(wù)的不斷創(chuàng)新對業(yè)務(wù)支撐提出了更高的要求，運(yùn)營工作作為業(yè)務(wù)支撐的重要環(huán)節(jié)來到了改變的十字路口。
浙江省作為全國的經(jīng)濟(jì)大省，移動(dòng)用戶數(shù)量已突破4000萬，網(wǎng)絡(luò)規(guī)模和客戶總數(shù)連續(xù)八年位居全國第二位，形成了全球通、神州行、金卡神州行等品牌系列。為了在競爭中保持領(lǐng)先地位，同時(shí)不斷擴(kuò)展業(yè)務(wù)，中國移動(dòng)浙江公司（以下簡稱浙江移動(dòng)）的IT系統(tǒng)運(yùn)維承受著巨大的壓力。千里之堤，潰于蚊穴，任何一個(gè)小問題都可能降低客戶體驗(yàn)，進(jìn)而造成客戶流失。曾經(jīng)的情況是，IT故障造成業(yè)務(wù)問題往往在客戶投訴之后才發(fā)現(xiàn)是IT的問題，IT處于非常被動(dòng)的位置。IT部門在救火時(shí)，往往需要很長時(shí)間才能確定故障和問題來自哪里。從2002年開始，中國移動(dòng)業(yè)務(wù)支撐系統(tǒng)（BOSS）全面實(shí)施以省為單位的集中化建設(shè)，各省BOSS系統(tǒng)規(guī)模和能力不斷擴(kuò)大，BOSS系統(tǒng)已成為一個(gè)通信運(yùn)營商的核心競爭力之一。傳統(tǒng)的BOSS監(jiān)控僅能簡單的收集主機(jī)、數(shù)據(jù)庫的參數(shù)狀態(tài)，沒有一種好的BOSS系統(tǒng)運(yùn)營評價(jià)機(jī)制；沒有能力提前預(yù)知故障的發(fā)生，未能從業(yè)務(wù)應(yīng)用的整體有機(jī)的進(jìn)行監(jiān)控和管理，導(dǎo)致整個(gè)IT運(yùn)維團(tuán)隊(duì)成了消防隊(duì)，疲于被動(dòng)應(yīng)付各種突發(fā)事件，客戶體驗(yàn)難以從根本上得以改善。
因此，浙江移動(dòng)迫切需要一個(gè)主動(dòng)解決以上問題的方法，主動(dòng)發(fā)現(xiàn)問題，判斷故障源，并第一時(shí)間解決問題。如同名醫(yī)扁鵲看病一樣，防病勝于治病，在疾病尚處于潛伏期或初發(fā)的時(shí)候就予以根治。
惠普軟件解決方案：主動(dòng)出擊，全面監(jiān)控
通過對上述問題的分析以及與浙江移動(dòng)的深入溝通，惠普的專家認(rèn)為，要解決浙江移動(dòng)面臨的業(yè)務(wù)挑戰(zhàn)，必須對業(yè)務(wù)系統(tǒng)等進(jìn)行主動(dòng)監(jiān)控管理，優(yōu)化關(guān)鍵業(yè)務(wù)服務(wù)的可用性和性能，在問題發(fā)生之前及時(shí)應(yīng)對問題并解決問題。同時(shí)通過對業(yè)務(wù)應(yīng)用的監(jiān)控，了解最終用戶的應(yīng)用體驗(yàn)，及時(shí)采取有效的措施，從而提升用戶的滿意度。
惠普的業(yè)務(wù)可用性中心提供了全面業(yè)務(wù)服務(wù)管理：包括端到端應(yīng)用響應(yīng)時(shí)間測量、SLA （服務(wù)水平協(xié)議）監(jiān)控和報(bào)告、基礎(chǔ)架構(gòu)事件管理、IT 服務(wù)依賴性視圖等。尤其值得一提的是惠普終端用戶監(jiān)控器（HP End User Monitor），這是業(yè)界首屈一指的監(jiān)控工具，它可以主動(dòng)監(jiān)控最終用戶的應(yīng)用體驗(yàn)。例如可以逐屏重放問題發(fā)生時(shí)用戶的每次行為，包括用戶看到的任何錯(cuò)誤信息。這有助于應(yīng)用專家利用Web 界面，快速鎖定問題，幫助解決問題。
惠普從業(yè)務(wù)感知角度出發(fā)，以業(yè)務(wù)拓?fù)淠Ｐ蜑楹诵模罁?jù)業(yè)務(wù)建模、數(shù)據(jù)聚集、告警管控和界面展示四個(gè)層次來實(shí)現(xiàn)IT運(yùn)營管理，從而讓浙江移動(dòng)的業(yè)務(wù)、應(yīng)用、各類平臺(tái)資源等IT運(yùn)營管理要素全部覆蓋于BAC系統(tǒng)。這樣，浙江移動(dòng)通過惠普的終端用戶監(jiān)控器監(jiān)控網(wǎng)上營業(yè)廳、BOSS等系統(tǒng)，結(jié)果是不僅得到了綜合業(yè)務(wù)視圖，同時(shí)還可以得到關(guān)鍵性能指標(biāo)（KPI）的趨勢分析、歷史數(shù)據(jù)展現(xiàn)、圖表等，分析出具有代表性的客戶行為報(bào)告，實(shí)現(xiàn)了對業(yè)務(wù)的全面監(jiān)控，當(dāng)然，最重要的是大大提升了客戶體驗(yàn)。
客戶體驗(yàn)：問題消弭于無形
惠普軟件業(yè)務(wù)可用性中心給浙江移動(dòng)帶來的價(jià)值是多方面的，具體而言集中在以下幾個(gè)方面：
解決業(yè)務(wù)監(jiān)控盲點(diǎn)，對業(yè)務(wù)軟故障——漸進(jìn)式的業(yè)務(wù)故障提升趨勢預(yù)警能力，做到及時(shí)發(fā)現(xiàn)、盡早解決，降低對業(yè)務(wù)的影響。比如，某日從0:30分開始，前臺(tái)充值卡、現(xiàn)金和505充值的業(yè)務(wù)探針出現(xiàn)多次超時(shí)，時(shí)長達(dá)35秒（正常應(yīng)小于1秒），平臺(tái)生成趨勢預(yù)警。值班人員據(jù)此檢查這幾個(gè)業(yè)務(wù)共用的充值數(shù)據(jù)庫的性能，發(fā)現(xiàn)某個(gè)定時(shí)任務(wù)出現(xiàn)了掛起，并不斷消耗數(shù)據(jù)庫性能。經(jīng)過緊急處理于凌晨3點(diǎn)50分排除故障隱患，避免了充值業(yè)務(wù)中斷。這一例子充分證明了，趨勢預(yù)警為提前發(fā)現(xiàn)業(yè)務(wù)故障隱患提供了可能，能有效減少甚至避免部分的業(yè)務(wù)中斷。
快速定位故障環(huán)節(jié)，顯著縮短故障處理時(shí)長。平臺(tái)運(yùn)行以來，故障平均處理時(shí)長縮短18%。比如，營業(yè)員投訴積分商城訪問慢且易失敗，通過業(yè)務(wù)探針的耗時(shí)細(xì)分，發(fā)現(xiàn)在非工作時(shí)間業(yè)務(wù)快且穩(wěn)定，而工作時(shí)間的網(wǎng)絡(luò)建立連接時(shí)間很長，隨后深入分析網(wǎng)絡(luò)連接時(shí)長并結(jié)合外網(wǎng)業(yè)務(wù)探針，定位故障根源是內(nèi)網(wǎng)代理服務(wù)器在工作時(shí)間內(nèi)帶寬不足。
業(yè)務(wù)全景展示分析，自動(dòng)生成分析報(bào)告，切實(shí)提升運(yùn)維管理效率。浙江移動(dòng)IT運(yùn)營管理平臺(tái)還包括了一個(gè)基于BAC產(chǎn)品之上的門戶，并且這個(gè)門戶被投射到了監(jiān)控室的超大屏幕上。通過這個(gè)門戶，IT管理人員能從直觀的儀表盤上看到業(yè)務(wù)可用性、健康度以及幾個(gè)最關(guān)鍵指標(biāo)的實(shí)時(shí)信息；監(jiān)控人員能夠通過儀表盤以及業(yè)務(wù)全景視圖功能清晰看出不同的業(yè)務(wù)是如何被IT資源支撐起來的，而且通過一個(gè)統(tǒng)一的視圖能一次看到以往需要在很多個(gè)系統(tǒng)中才能看全的信息，其中甚至包含一些IT運(yùn)營管理平臺(tái)創(chuàng)新提供的指標(biāo)信息，如業(yè)務(wù)處理時(shí)長等。
通過惠普BAC解決方案的實(shí)施，浙江移動(dòng)的IT部門開始主動(dòng)監(jiān)管系統(tǒng)的運(yùn)營狀態(tài)，不再被動(dòng)忙于救火、潛在問題往往在萌芽狀態(tài)就被消除，客戶滿意度大幅提升，從而為浙江移動(dòng)的業(yè)務(wù)發(fā)展和品牌美譽(yù)度的提升，提供了強(qiáng)有力的支持。
項(xiàng)目試運(yùn)行以來，月均成功預(yù)警業(yè)務(wù)問題29次，預(yù)警有效率和覆蓋率均達(dá)到96%以上，預(yù)警時(shí)間點(diǎn)比傳統(tǒng)模式告警和客服報(bào)障平均提前42分鐘，方便維護(hù)人員提前介入，避免了故障的發(fā)生，每月減少BOSS核心系統(tǒng)故障11分鐘。通過業(yè)務(wù)故障快速定位，使業(yè)務(wù)故障處理時(shí)長平均縮短了42%。充分實(shí)現(xiàn)了提前預(yù)警避免故障為主，故障發(fā)生后快速定位修復(fù)為輔的項(xiàng)目目標(biāo)。
對此，浙江移動(dòng)負(fù)責(zé)BAM建設(shè)的項(xiàng)目經(jīng)理唐濤表示：在惠普的幫助下，我們建立了IT運(yùn)營管理平臺(tái)。通過運(yùn)行報(bào)告和數(shù)據(jù)，我們發(fā)現(xiàn)平臺(tái)提供了有效的業(yè)務(wù)預(yù)警和告警，能夠幫助運(yùn)維人員快速發(fā)現(xiàn)并定位故障，并能夠面向各類人員提供不同的分析展示界面，這都使員工效率和客戶滿意度得到了提升。
憑借此項(xiàng)目，浙江移動(dòng)轉(zhuǎn)變了業(yè)務(wù)支撐部門運(yùn)維員工的思路，從基礎(chǔ)平臺(tái)架構(gòu)的監(jiān)控向業(yè)務(wù)運(yùn)營管理轉(zhuǎn)變，提示了員工對于業(yè)務(wù)的了解程度，拓展了業(yè)務(wù)支撐部門員工的發(fā)展規(guī)劃道路，并且該平臺(tái)通過自動(dòng)化監(jiān)控、準(zhǔn)確故障定位診斷功能，能夠有效減輕員工工作量，避免了監(jiān)控運(yùn)維人員陷入疲于奔命，忙于救火，增加了員工的滿意度。
浙江公司在BOSS業(yè)務(wù)監(jiān)控上的研究與實(shí)踐為中國電信運(yùn)營商的業(yè)務(wù)支撐系統(tǒng)維護(hù)做了積極有益的探索，因此在2009年也獲得了中國移動(dòng)通信集團(tuán)授予的科技創(chuàng)新優(yōu)秀獎(jiǎng)。
轉(zhuǎn)型的最終目的 -提質(zhì)降本增效
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。