原創文章

QQ:800087863  電話:022-85190825

引子

传奇霸业翅膀升7需要多少祝福 www.sfgug.icu 645萬,應該是國內熱力企業收費和客服信息化軟硬件最大的一個標了,也是眾齊軟件到目前為止最大的一個項目。

項目部第一時間收到中標的消息,作為此次項目的項目實施經理,喜悅的感覺轉瞬即逝,隨之而來的這份責任讓人感覺沉甸甸的,但一看到研發部的同事們都磨拳擦掌,斗志高昂,信心滿滿的樣子,心里也放下了一大半。

靜下心來,查閱了一下大同熱力的基本資料,了解到大同熱力入網面積為7260萬平米,為國家大型一類企業,下設10個供暖分公司,1個維護搶修分公司,5個客戶服務點。截止2017年,公司共敷設供熱一次管網875公里,熱電聯產集中供熱面積5860萬平米,十多年以來共拆除燃煤供熱鍋爐897臺,拔掉煙囪698根,為實現“大同藍”做出了突出貢獻。

回憶之前銷售的同事也分享過大同熱力的信息化經歷,以及此次投標的相關整個過程。大同熱力之前和北京某公司在合作收費和客服軟件系統,是早期就已經建立了信息化管理平臺,對信息化管理工作認識非常深刻。但伴隨著供熱政策的變化,信息化技術的革新,原有管理系統已經無法滿足熱力企業日益增長的管理需求,加上原有系統多年不升級,系統卡頓僵死嚴重,統計報表不準確等原因,使管理人員工作量大大增加。特別是原有供熱軟件供應商服務不到位、不及時。許多地方需要半自動人工操作,比如每年供熱收費前還需要軟件公司派人到現場花一個多禮拜進行人工的賬務結轉,尤其是統計,每次統計一查詢就是2個小時,而且查出來的東西還不準。有些話可能傳得有些夸張,但從側面也是呈現了業務部門的強烈訴求和不滿,前車之鑒,后事之師呀,想當初我們也是學著同行在往前走的,現在該友商已經無法給自己的軟件做升級,只能完全推翻重來,這是促使大同熱力更換軟件的導火線。

腦子里全面過了一下這個項目,大同熱力經歷了一次信息化洗禮,而且這次項目的軟硬件的預算和標準都較高,想必會對我們提出很高的要求,另外這個項目啟動時間算是比較早,公司往往到9月份10月份的時候都會特別忙,因此需要在3、4個月內力求完成上線,錯開公司的項目高峰期。心中初步有了幾個項目階段和人力資源的規劃藍圖,準備梳理到紙面上跟公司領導申請支持。

前期準備

看招標要求項目是7月底完成,8月底上線。從前期了解到的收費系統的那堆亂賬,還有復雜的業務,客戶要求現場有辦事處是非常合理的。因此第一個目標就是要建設大同辦事處,深入調研客戶需求。現在能做的幾件事情:1. 確定項目成員;2. 建辦事處;3.組織啟動會。

在公司內部確定了幾個重要的項目角色:項目經理、收費實施負責人、數據遷移負責人、客服實施負責人、VMware虛擬化實施負責人、性能測試,以及對應的收費和客服研發團隊。

清楚記得清明節后第一天,第一批成員就帶上生活必需品自駕出發,到大同下午2點多了,下午完成了房屋租賃,晚上完成了生活用品購買,當天就入住了,這一整天簡直就像農村的雙搶一樣,滿滿的收獲呀。這個辦事處還真的特別合適,去大同熱力只需要從地下車庫走過去就行,這為后來的調研、服務工作提供了很大的便利,響應及時多了。

第二批成員第二天也到達大同了,萬事俱備,明天可以安排項目啟動會了。

項目啟動

項目啟動會是必須要開的,而且盡可能大張旗鼓地開,要不然誰知道你項目經理是干什么的,誰認識你誰搭理你。這就像古代戰前任命將軍一樣必須有儀式,只不過項目啟動會的組織、形式、任命差不多都是項目方來推動,也就是說要抓住這個機會,把自己推廣出去,避免在未來項目推進過程中遭遇被動。信息化工作本來就很艱難,要利用每一個環節的細節來積累雙方的信任,非常重要,有了信任,再大的困難也能共同面對,一起解決,若沒有信任,一個小問題都能被揪住不放導致全盤皆輸。因此,在整個項目實施過程中,建立信任始終是我放在第一重要的位置。

2017年4月7日,上午8:10正式舉行供熱收費和客服信息化項目啟動會,我們總共參加10個人,大同熱力參加人數更多,王總帶隊,客服部徐經理,客服部董主任,收費部張主任,網絡信息部張主任,財務總監李總,還有收費和客服的核心管理里人員一并參與。

啟動會內容倒不是最重要的,就是雙方項目小組進行認識和會面,大同熱力領導表達了信息化推動的決心,向項目經理和項目小組成員進行授權,讓大家都積極配合眾齊軟件的需求調研和項目實施工作。我也精心制作了一份PPT,向甲方全體項目組成員宣貫項目相關實施任務、計劃、實施要求,讓大家明確未來要做的工作,作好心理準備。

啟動會還算順利,能感受到甲方領導的重視,也體會到了經營部門對新系統訴求的急迫性,也收到了網絡部門的支持信號,后來開完啟動會就幫我們調好了臨時辦公室的網絡環境,直接就算駐場了。

需求碰撞

開完啟動會,項目調研就算開始了,甲方已經在一樓給我們安排好了辦公座椅、電源、網絡,到那里就可以開始工作了,這效率高的!這個辦事處的對面就是收費主管張主任、客服主管董主任及客服部徐經理的辦公室,簡直就是在一起辦公,我們隨叫隨到,他們也是隨叫隨到,溝通可以輕輕喊一聲人就過來了。

三位主任過來聊了聊,記憶深刻的有三句話,第一句是無論晚上、節假日加班他們都可以隨時積極奉陪,第二句是徐主任反復說合作了就是一家人了,第三句是收費張主任問項目經理你不會離職吧。這第三句話我能明白其中的含義,張主任解釋說之前的軟件公司人過來,他也問這句話,人家說不會,并說把問題帶回公司解決,結果一回北京就再也沒見著過。

需求溝通了用了兩天,由于是第一次溝通,所以要對大同熱力的原有系統做全面的功能分析,張主任真是個敬業的人,不厭其煩的給我們一遍又一遍介紹,生怕我們不理解或者遺漏了,這為后續的開發設計奠定了穩固的基礎。每天結束之后,由于信息量較大,我們都得把當天信息進行歸納匯總,并且針對重點問題進行探討。總體而言,大同熱力客戶配合力度很大,溝通人員責任心、積極性都很強,大家都是秉持著盡早暴露問題、解決問題的思路,積極推動項目進度,不讓問題藏匿到項目上線后再處理。而我,也從客戶那里收獲了不少的用戶故事,非常寶貴。

數據遷移

4月10日,也就是項目實施的第二周開始,負責數據遷移的同事開始駐場。大同熱力的客戶基礎數據有60萬左右,再加上7年的歷史數據,構成了我做項目以來最大量級的數據,所以我們相當重視數據這部分工作。

數據遷移的第一步就是數據分析,這也是最重要的一步。隨著我們對數據分析的不斷深入,發現大同熱力的數據遷移工作比我們想象的要復雜的多,這個復雜性倒不是上面提到的超大的數據量級,而是數據的不規范性。我們了解到,原有收費系統在應用過程中由于部分功能滿足不了業務需求,所以操作軟件的人往往以一種非常規的操作來實現某項業務,比如報停后復熱不了的就直接修改暖費應收、面積結算不對的就直接修改臺賬等等,而且張主任還說,有時系統出現點問題需要找原軟件公司處理,工程師并不是將問題修復而是直接在后臺改數值,這樣根本就是治標不治本。所以導致了很多數據面積和應收對不上、當年跟往年對不上,我們開玩笑說:系統被你們玩壞了。

數據遷移陸陸續續進行著,這個浩大的工程持續了四個多月的時間,我們就像遨游在數據海洋的郵輪,時不時地打撈出一些問題數據供業務部門核驗修改,直到最后把新賬和老賬核對到差1塊多錢,我還記得張主任當時開玩笑說:這1塊多錢不找了,我擔了!實際上在數據遷移的工作范疇中,誤差是很難避免的,何況我們將十幾億的款項核對到差1塊錢,實屬不易!只記得那天我們都很開心,甚至有些激動。

硬件入場

大同熱力的硬件部分也是重頭戲,整個平臺涉及到諸多硬件,并且采用Vmware虛擬化方式部署,包括服務器、防火墻、交換設備、辦公電腦、高拍儀、打印機、一體機、電視機等等,其中一臺核心交換機就價值20萬,真是刷新了我的三觀。

5月18日,核心的服務器硬件到貨,我們的硬件工程師已經早兩天到場等候了,當天下午我們在信息處的帶領下把硬件拉進了機房。大同熱力的機房挺專業的,外屋是監控室,里屋是硬件設備,中間是一塊大玻璃墻,透過玻璃能輕松看到機房的溫度、濕度等情況?;康拿攀侵肝剖侗鸕?,只有信息處的人員能進出。進入機房后,整齊落座著12臺機柜,布線整潔不凌亂,我們和信息處的兄弟一起把服務器上了架,接下來就是走線布線了。

本次項目一共是5臺服務器,每臺服務器有8個千兆口,2個萬兆口,也就是說每臺服務器需要走8根網線2根光纖。好在都是用的成品線,省去了自己做線的時間,并且也保證了線的質量,但是總共40根網線10根光纖,再加上和交換設備的連線,想在機柜里走的規整、看著舒服,也不是件簡單的事情,我們做了將近一天也沒能完成。

第二天繼續工作,加上Vmware虛擬化的部署總共10天時間,看著整齊的機房、飛速運行的服務器,心里還是蠻有成就感的。到目前為止,硬件部分就還差400臺手機移動端沒有到,我想,等到貨后我得拍照留個念,400臺手機鋪在桌子上同時安裝眾齊移動端App也是很壯觀的啦!

安裝部署

硬件都安裝完成后,接下來就是軟件的安裝部署了。

5月24日,我通知我們實施工程師開始進行系統的部署,雖然目前有些虛擬化的工作還沒完成,但是我決定并行進行,因為只有在軟件部署完成之后才能進行功能測試、性能測試、系統調優等工作。

大同熱力的系統部署我們也花過不少心思,整個平臺兼顧速度與安全性考慮,做了一整套部署方案?;肪巢渴鴆捎肰mware虛擬化部署方式,5臺服務器組成了虛擬化私有云平臺,允許任意兩個服務器發生故障而不影響系統使用,每臺服務器配備6塊1.2T的企業級硬盤,其中5塊硬盤又與其它服務器通過萬兆光纖相互連通,組成磁盤存儲池,另外配備兩塊400G高速固態硬盤作為緩存盤,提升數據讀寫效率。軟件部署我們采用tomcat集群與負載均衡的部署模式,不管是收費系統還是客服系統,每個服務都是用Apache作為集群管理器,其下搭建多個Tomcat服務器,這樣即可保證系統運行的穩定性、安全性,也可以在系統更新和升級的時候做到無感切換。

系統部署到6月中旬,我們在虛擬機上搭建了8臺虛擬服務器和100臺虛擬桌面。8臺虛擬服務器其中有4臺是銀行前置機,另外4臺是應用服務器,分別是收費系統應用服務器、客服系統應用服務器、數據庫服務器和一臺備用服務器。接下來是安裝虛擬桌面,在這個環節上我們可費了些體力。對,沒錯,是體力!

大同熱力共有4各營業廳和10個分公司,散落在城市的東南西北,4個營業廳隸屬于總公司管理,分別為西城、南城、北城和花都營業廳,每個營業廳都有6-8臺收費電腦,每一臺電腦都要安裝一個虛擬桌面以登陸系統,而且碰到安裝不了的電腦還需要重做操作系統。再加上每個分公司需要有1-2臺電腦使用系統,電腦科、財務部等等,所以我們需要安裝80個左右遠程桌面,當時我們現場就3個人,想想都頭大。好在大同熱力的信息處的兄弟們幫了我們很多忙,而且徐主任給我們安排車輛,才不至于累死沙場。

對接風波

稅控對接

近兩年由于國家大力推廣企業開具電子發票,大同熱力今年也由紙質發票全面切換為電子發票,從環保角度來講,利國利民,綠色環保。但是由于是頭一年使用,我們所承受的壓力也不小,后來事實也證明了我的擔憂并非多余。

與我們做技術對接的是國內兩大稅控系統提供商之一:航天信息股份有限公司(簡稱:航信),說實話我個人對航信還是挺有信心的,之前我們對接過紙質發票,問題不是很多,所以對此次電子票對接持樂觀的態度。

4月份我們拿到了航信的接口文檔,但是接口的開發需要等收費系統的整體架構搭建起來才能進行,所以稅控接口7月底才完成。后來在調試階段遇到了不少的問題,首先是航天的技術總是說太忙沒時間,遇到問題就讓我們看文檔,溝通了幾次我也有些著急了,如果看文檔能解決的話還找你干嘛?不過后來航信現場的工程師楊工幫忙協調了,這才幫著把開票接口調通。然后調試過程中也出現了各種問題,比如免稅字樣出不來、發票下載沒有返回信息等,這些問題天天都有,我們也是加班加點的忙碌著。

從7月27日接口開發完成到8月17日調試完成,我們測試了幾百張發票,不斷地試錯,不斷的修改,好在大同熱力的發票數量較多,廢點票不是大事。我們也是為了保證項目上線后電子票不要出錯,否則大同熱力每天開票量幾千甚至上萬張,出了錯想補救都難。

銀行對接

4月23日,由大同熱力方組織,我方主持的銀行代收啟動會在四樓會議室召開了,參會的銀行有中國銀行、建設銀行和大同銀行?;嶸銜醫檣芰宋頤譴舜蝸钅康畝越臃絞郊敖燃蘋才?,主要是推動銀行盡早啟動工作,早日完成代收費對接上線。

會上各家銀行都表了態,愿意積極配合這部分工作,不過時間安排上有點緊,畢竟銀行的流程比較慢。實際上后來他們用行動印證了當時的話,因為沒有一家是在預期時間內完成上線的,最好的應該算是大同銀行了,在正式收費前完成了上線。

在銀行對接的過程中,由于后期時間比較緊,所以我們經常加班加點,從網絡調試到服務部署平均2天搞定一家銀行,技術聯調的時候我們張工更是一對三的進行響應。上線測試前,我們通過對大同熱力業務種類的分類,做出了一份詳細的測試用例,總共41種類型,120多個可變參數,這份用例為后面銀行代收的穩定運行提供了重要的技術保障。

性能測試

大同熱力的性能測試工作是必不可少的,以往我們在其他項目上從未如此大動干戈,因為數據量級達不到。這次我們組織了專門的小組來負責大同熱力的性能測試和調優。

測試分為性能排查階段和壓力測試階段。

性能排查階段:按照測試用例測試系統的所有功能,找出導致系統資源增加的功能和響應速度緩慢的功能并記錄下來,針對這一階段暴露出的性能問題進行優化。

壓力測試階段:對常用功能進行并發壓力測試,這一階段我們關注幾個主要性能指標:響應時間、吞吐量、系統資源消耗情況。首先確定了需要進行壓力測試的常用功能并整理測試腳本。根據客戶真實使用情況,確定5,10,15,30,50的測試并發量,模擬50,100,150,300,500人同時使用系統。根據并發測試結果鎖定存在性能問題的功能,同時確定如何分配每個虛擬機資源以及創建多少個集群的Tomcat。

現場培訓

八月初,徐主任把我叫到辦公室商量系統培訓的事宜,想把培訓的事情往前提,擔心大家接受得慢,所以多留出些時間給大家模擬練習,既然領導重視培訓,我們肯定全力配合,我表示培訓隨時能夠開展。

8月5日,按照徐主任的要求,我擬定了一份培訓計劃表:收費系統的培訓分為兩個批次,第一批針對于客服中心和營業廳的業務人員進行培訓,第二批針對于分公司進行培訓。第一批培訓共分8個場次,每半天為一場,參訓人員共105人,主要講解系統9大功能,59個功能???;第二批培訓為4場,也是每半天為一場,參訓人員共56人,主要講解系統9大功能中的32個功能?????頭低車吶嘌狄彩僑綬ㄅ謚?,總起來說,培訓的強度還是蠻大的,尤其對我們工程師更是一種挑戰。

8月10日,培訓正在如火如荼的進行著,我們主講工程師由于嗓子發炎不得不休息一下了,事實證明不是所有的挑戰都那么容易成功,畢竟我們也是凡人,在現場沒有任何擴音器的條件下,面對如此多的人每天不間斷地講,嗓子能不疼嗎?但是培訓不能停止,于是我頂替了兩場培訓,這也是我意料之內的事情。

8月16日,培訓終于落下帷幕,這幾天大同熱力的兄弟姐妹們聽的都很認真,積極性很高。我認為一個企業的員工如果對工作有一股積極的心態,樂于接受新鮮事物,那么這個企業就是一個有活力的企業,我們愿意為他們服務,雖然這幾天有一點辛苦,但是我們內心是很欣慰的。接下來的日子徐主任讓大家進入熟悉系統、模擬練習的階段,同時我們也印制了《用戶手冊》進行發放,幫助大家學習和鞏固系統操作。到了系統上線之時,大家對系統的了解和操作熟練度已經完全達標,有些人甚至超出了我的意料,很棒!

上線運行

項目上線運行的前幾天,就好像是黎明前的黑暗。這個階段系統整體上都已經開發完畢,但是由于時間關系和一些新功能的測試強度不夠,系統總是暴露出一些小BUG,每天忙到很晚來處理問題。那幾天幾乎沒有十二點之前睡過覺,一忙就忙到凌晨一兩點鐘,弟兄們都很辛苦!與此同時,來自大同熱力方面的壓力也不小。聽說上一次信息化建設,軟件到上線前一天還沒調試好,最后工程師忙了個通宵才算勉強把系統推上線,所以這次客服中心的領導們擔心我們重蹈覆轍,不斷地督促我們。其實我心里知道,剩下的這些問題都不是大問題,只要大家一努力就能把問題都搞定。

8月29日一早,研發部的兩位同事趕到了現場,此時距離正式收費還剩3天時間。當天我們開了個會,把項目上剩余的問題都匯總溝通了一下,我給出的時間是到今天晚上處理完!總共還剩13個問題,而現在我們正在跟時間賽跑,能早一點處理完我們的勝算就會更大一些,于是我們各自分工,迅速進入戰斗狀態!

實際上當天晚上我們沒有完成目標,倒不是不可能,主要是不劃算,影響了明天白天的工作效率得不償失,然后我們第二天又用了一上午的時間完成的所有問題的修復,項目隨時可以上線!

8月31日 8:48,一筆2175元的暖費進入了系統并成功開具了電子發票,標志著大同熱力項目正式上線運行了!昨天,我跟徐主任商議,讓系統提前一天上線運行,萬一出現點狀況我們當天還來得及處理,事實證明我們的決定是明智的。

9月1日早上,各營業廳還沒開門營業,門外的老百姓已經排起了隊伍,我真沒想到大同的熱用戶交費這么積極,不過好在我們昨天已經“演習”了一天,所以對今天這種場面滿懷信心?;貢鶿?,昨天試運行了一天發現的問題還真不少,主要表現在打印機兼容問題、操作人員不熟練、電子票頁面偶爾卡死沒反應、高拍儀連續拍照報錯等,針對于昨天出現的問題,今天我們安排了工程師專門到問題多的營業廳進行輔助指導,業務不熟練我們就現場講解,打印機、高拍儀不工作我們就現場示范調試,電子票卡死我們就教會如何重開并且聯系在總公司的航信工程師進行問題排查。總之,真正意義的上線,我們順利完成了任務!付出了半年的努力終于在今天變得熠熠生輝!大同熱力業務部門的領導們也對項目上線的效果表示滿意,當天的對賬、財務報表等都很準確,我們每個人心里都很高興,一種“撥開云霧見天日,守得云開見月明”的感覺慢慢在心中蔓延開來。

現場支持

從8月25日開始,我陸續向公司申請資源派往大同熱力,目的很明確,就是為項目的穩定運行保駕護航。到了8月31日,我們團隊已經各就各位了:研發工程師楊工負責軟件突發問題快速處理,實施工程師韓工負責花都營業廳及收費系統的穩定運行,研發工程師張工負責收費數據及報表的準確,實施工程師楊工負責西、南、北城營業廳的機動巡查,另外還有1人負責客服系統的運行、1人負責電話及呼叫中心的檢測、1人負責服務器及網絡的通常,最后還有我負責資源調度及替補,總共8人在現場全方位的支持。

9月3日,在項目上線穩定運行了兩天后,一些問題漸漸浮出了水面,比較嚴重的有兩點:一是電子票簽章失敗,二是打印機過熱宕機。先說第一點:電子發票的開具由于是國家稅務系統統一管制,所以每一張票都要經過國稅局系統進行簽章,簽章成功后才算成功。大同熱力的電子票開具偶爾就會出現簽章失敗的現象,而且一旦失敗就會持續十多分鐘,雖然也不算很久,但是外面排隊的熱用戶情緒就會變得焦躁。我們經過對系統接口的分析測試,確定不是由于收費系統的原因導致,所以建議徐主任聯系航信公司進行問題排查。航信公司的楊工響應很及時,過了一會就到熱力公司了,經過分析多半是因為網絡擁塞導致的數據上傳失敗,又經過和大同熱力信息處配合進行網絡測試,基本確定是聯通網絡的問題。當天下午結賬后,信息處張處聯系了電信公司,將專線網絡由聯通切換為電信,在此之后,雖然也會出現簽章失敗的情況,但是問題出現的頻率大大的降低了,看來選擇網絡運營商還真得因地制宜。再說說第二點:大同熱力的硬件采購標準很高,為了讓個別老百姓更容易接受電子發票,打印機采購的是惠普彩色激光打印機,不僅價格高而且耗材也貴,我還是頭一回見熱力公司采用彩色打印呢。但是問題來了,彩打的效果固然好,但是它的持續工作能力可就不及普通黑白打印機了,最明顯的問題就是打印機過熱?;?。每天上午11:00左右,打印機就開始接二連三的宕機,這時收費人員會拿著書本或者扇子對打印機進行人工降溫,人多的時候大家排成一排扇扇子,場面有些好笑。徐主任覺得這樣子可不行,后期進入高峰期的話問題會更加嚴重,所以請示了領導之后當機立斷,更換為黑白打印機,如果客戶對黑白票據不認可的話去服務臺換取彩色發票,這樣既滿足了開票效率的問題,也迎合了個別用熱戶的特殊要求,問題得到了完美的解決。

這種現場支持持續了一個月,高峰的時候一天收費和開票2萬多筆,直到國慶節放假我們陸續離場,只留了一人駐場。這一個月的時間我們始終和大同熱力共同奮戰在一線,期間解決過不少的問題,忙的時候我們一個個都頂著月亮回家,閑的時候我們還能到大同的古城墻上逛一逛。這一個月過得很快,和大同熱力的兄弟姐妹們相處得也很融洽,工作上和生活上都相互幫忙,我們都很珍惜這段回憶。

聯系我們

  • 購買咨詢:
  • 咨詢熱線:022-85190825
  • 天津OTC成長版掛牌 001012
微信