Channel 4于1982年成立,旨在向英國(guó)提供電視服務(wù)。它在倫敦設(shè)有兩個(gè)辦公地點(diǎn),擁有1000多名員工。Channel 4由第四電視頻道公司擁有和運(yùn)營(yíng),所有資金以商業(yè)方式自籌。該頻道是英國(guó)政府文化、媒體和體育部的下屬機(jī)構(gòu)。
遭遇挑戰(zhàn)
在廣播電視行業(yè)中,諸如趕進(jìn)度或點(diǎn)播之類的非線性收看正逐漸占據(jù)更重要的位置——視頻網(wǎng)站channel 4.com的成功與否對(duì)該頻道來(lái)說(shuō)至關(guān)重要。channel 4.com的注冊(cè)用戶達(dá)到了一千萬(wàn),每天的點(diǎn)播觀看次數(shù)超過(guò)一百萬(wàn),因此,高效運(yùn)行該網(wǎng)站非常關(guān)鍵。這意味著在網(wǎng)站的任何項(xiàng)目上線之前都需要進(jìn)行嚴(yán)格的測(cè)試。
正如Channel 4的質(zhì)量保證經(jīng)理Mark Smith所說(shuō),性能測(cè)試尤其是負(fù)載測(cè)試是開(kāi)發(fā)過(guò)程中的關(guān)鍵要素:“我們有很多非常小的版本,我們?cè)陂_(kāi)發(fā)團(tuán)隊(duì)中嵌入了性能測(cè)試。我們的敏捷開(kāi)發(fā)團(tuán)隊(duì)有兩個(gè)性能測(cè)試員,測(cè)試具有很強(qiáng)的針對(duì)性。”
除了更長(zhǎng)的通宵測(cè)試和功能測(cè)試之外,Channel 4的測(cè)試團(tuán)隊(duì)還在Bamboo軟件的持續(xù)部署中使用了10到15分鐘的負(fù)載測(cè)試,以便能在新項(xiàng)目投入生產(chǎn)之前發(fā)現(xiàn)有關(guān)每秒處理事務(wù)數(shù)的任何問(wèn)題。
但是,這些傳統(tǒng)測(cè)試工具阻礙了測(cè)試。有些工具無(wú)法提供必要的復(fù)雜報(bào)告,而另一些則難以編寫腳本或定價(jià)模型。測(cè)試團(tuán)隊(duì)如果想要持續(xù)集成和部署模型,需要一個(gè)能夠提供更詳細(xì)的統(tǒng)計(jì)信息和數(shù)據(jù)分析的系統(tǒng)。
尋找對(duì)策
Channel 4的高級(jí)性能分析師Nicholas Godfrey曾在LoadRunner工作。這款符合行業(yè)標(biāo)準(zhǔn)的性能工程軟件可生成實(shí)際負(fù)載數(shù)據(jù),識(shí)別和診斷問(wèn)題,并使開(kāi)發(fā)人員部署的項(xiàng)目從一開(kāi)始就可以高效運(yùn)行。
“我是LoadRunner的忠實(shí)粉絲。我已經(jīng)使用LoadRunner10多年了,它是一流的產(chǎn)品和分析工具,是我的首選。”
由于Nicholas Godfrey的推薦以及LoadRunner有吸引力的定價(jià)模型,第四電視頻道公司聯(lián)系了Micro Focus合作伙伴和測(cè)試專家Infuse咨詢公司。Infuse和LoadRunner開(kāi)發(fā)人員隨后與Channel 4合作進(jìn)行概念驗(yàn)證,為其開(kāi)發(fā)自動(dòng)化解決方案獲得持續(xù)集成插件并運(yùn)行。
Channel 4的測(cè)試團(tuán)隊(duì)不再將數(shù)百萬(wàn)模擬用戶放置到高速緩存的前端,而是隔離應(yīng)用程序,用單獨(dú)的測(cè)試訪問(wèn)后端服務(wù)器。數(shù)量是根據(jù)服務(wù)記錄確定的,這意味著典型測(cè)試僅限于1,000或1,500個(gè)線程以內(nèi)。
LoadRunner每周最多可以發(fā)布13個(gè)應(yīng)用程序編程接口,因此多個(gè)測(cè)試可以同時(shí)運(yùn)行——這對(duì)于僅有兩人的測(cè)試團(tuán)隊(duì)來(lái)說(shuō)是非常大的工作量。而現(xiàn)在有一半的工作是自動(dòng)化的,大大減少了人工工作量。
新增價(jià)值
正如Mark Smith所說(shuō),LoadRunner測(cè)試現(xiàn)在已經(jīng)解決了新服務(wù)的性能問(wèn)題:
“以前,我們約有25%的版本會(huì)出現(xiàn)性能問(wèn)題。有一些問(wèn)題是重復(fù)出現(xiàn)的,我們可以找到它們,但那是在測(cè)試快結(jié)束的時(shí)候,也就是項(xiàng)目上線之前。我們可以避免對(duì)其中的大部分產(chǎn)品投產(chǎn),但有一些投產(chǎn)是無(wú)法避免的,并且后期測(cè)試導(dǎo)致了許多延誤。現(xiàn)在,我們?cè)跍y(cè)試下線之前就發(fā)現(xiàn)了問(wèn)題,這避免了最后一刻的測(cè)試并節(jié)省了時(shí)間和金錢。我們不再有任何前期生產(chǎn)或生產(chǎn)問(wèn)題,我們可以有信心地部署項(xiàng)目。”
“現(xiàn)在,一半的測(cè)試工作已經(jīng)由自動(dòng)化覆蓋完成。這為公司節(jié)省了雇傭另一名測(cè)試人員的費(fèi)用——加上工資和其他開(kāi)銷,每年會(huì)節(jié)省18.6萬(wàn)美元。
另一方面,我估計(jì)生產(chǎn)率的提高將為公司提供價(jià)值為18.6萬(wàn)美元的免費(fèi)測(cè)試服務(wù)。如此算來(lái),公司通過(guò)LoadRunner測(cè)試可獲得的總價(jià)值為37.2萬(wàn)美元,這是保守估計(jì)。”
流線型測(cè)試意味著開(kāi)發(fā)人員現(xiàn)在可以完全投入到測(cè)試過(guò)程中,而LoadRunner是引入自助服務(wù)測(cè)試自動(dòng)化計(jì)劃的一部分。開(kāi)發(fā)人員發(fā)送一條消息,該消息將啟動(dòng)環(huán)境中的應(yīng)用程序,運(yùn)行負(fù)載測(cè)試,然后通過(guò)電子郵件發(fā)回結(jié)果。
這意味著測(cè)試人員將成為主題專家,為性能設(shè)計(jì)提供建議,分析性能問(wèn)題,建模新的場(chǎng)景。