簡潔好用的Allure Test Report

Test Report是整個自動化測試的靈魂

老闆和客戶不會知道你的測試架構設計的有多完美

他們第一眼看到的是你的Test report能提供多少資訊來判斷測試結果和解決問題

---

一個好的測試報告

能讓我們清楚地了解目前軟體的品質狀況
重要資訊包括:

1. 統計Pass，fail，broken rate
2. Error or Failure 資訊
3. 錯誤log或截圖
4. 清楚的分類Test case
5. 清楚的結構，方便瀏覽
6. 記錄執行的步驟與時間

---

Allure Framework

Allure是一個輕量級，靈活，支援多語言與多平台的測試框架
優點:

• 美觀清楚的內容
• 使用Tag,開發方便 (就像便利貼一樣)
• 可以放上不同類型檔案到report
• 連結url link
• 結合BDD語法 (Feature, Story)
• 顯示完整每個case執行Timeline
• 搭配CI/CD工具使用

缺點:

• 無法整合成單一個Test report file
• Test report佔用空間較大

---

運作原理

第一步: 測試執行中會使用adapter library將過程存在xml檔案中
第二部: 測試完成後會用report generator tool將xml轉換成HTML格式report
產生的Test report可以在本地端開啟也能整合到Jenkins上顯示

---

環境安裝設定

1. 安装 pytest-allure-adaptor
   

   pip3 install pytest-allure-adaptor

2. 要產生好看的報告，首先要安裝 formulas
   

   brew tap qatools/formulas

3. 接著安裝Allure Command Tool
   

   brew install allure-commandline

---

使用方式

Pytest目前只能用Allure 1.4.x版本
Allure跟Pytest的搭配很簡單
只要在 程式片段中指定各種tag

1. 在python script import Allure package
   

   import allure

2. 將Test case區細分成多個步驟
   

   with pytest.allure.step('Click Start button'):

   或
   

   @pytest.allure.step
   def make_test_data_foo():

3. 加上Attachment
   

   allure.attach('screenshot', driver.get_screenshot_as_png(), type=AttachmentType.PNG)

4. 加上BDD
   

   @allure.feature('Feature1')
   @allure.story('Story1')

5. 加上Severity
   

   @pytest.allure.severity(pytest.allure.severity_level.CRITICAL)

6. 加上環境參數
   

   allure.environment(Device='Oppo A39', Version='Android 5.1', Type='Sanity')

---

執行並產生report

1. 執行測試時在pytest後面加上這段參數
   

   py.test --alluredir report

這樣我們的測試報告就會生成在report目錄下

2. 測試結束後輸入指令
   

   allure generate report/ -o report/html

會把Test report產生在html目錄下

3. 打開html目錄, 從瀏覽器執行 index.html

---

如何把report帶著走

大家看到這裡應該會有個疑問
如果我想把report帶到其他電腦怎麼打開?
我找到的做法是:

1. 把整個report folder複製起來
   
2. 另外一台電腦要安裝allure command line tool
   
3. Terminal指到report目錄下
   
4. 輸入指令
   

   allure report open --report-dir ./html

   
   
5. 會啟動瀏覽器開啟test report
   

---

Reference:

• Source: Allure Framework官方文件
  
• Source: 移动端自动化测试系列之三——Allure测试报告