派恩科技 Envinex Technology - 專業測試儀器最佳解決方案

IXIA 最新技術

應用層設備性能測試方法:

引言 :

應用層設備的性能測試是一個複雜的任務，需要採用專業的高性能工具構造複雜和真實的有狀態應用層流量驗證設備的深層封包檢測（DPI）能力。特別是新一代應用層設備可以處理上千萬級別的同時TCP 會話，超過百萬級別的TCP新建速度、超過100G的應用層吞吐量和千萬級別的用戶數量。這些高性能設備就需要專業的測試工具同時仿真多重播放流量（Mulitplay Traffic）全面驗證其性能以及分析管理流量的能力，並且可以得到各種應用的用戶體驗品質（Quality of Experience - QoE）指標，這些服務評定指標包括：

HTTP：系統能夠處理同時連接數的數量，系統能夠處理連接數的速率以及頁面訪問的反應時間。
FTP：系統上傳和/或下載檔的最大有效吞吐量（Goodput）。
E-mail (POP3，SMTP，IMAP) ：主要評估網路和系統能夠處理郵件的速率（每秒鐘發送或接收郵件的數量、發送或接收附件的數量等）。
Voice：系統處理的IP電話呼叫的語音品質（MOS）以及呼叫建立時間。
Video：系統所支援的VoD視頻點播的視頻品質（MDI，MOS_V）。
P2P：Peer-to-Peer流量的吞吐量
DNS：系統所處理的DNS查詢速度和反應時間

另外，還必須要考慮進行攻擊流量（Attack Traffic）比如拒絕服務攻擊（DDoS）的測試，以保證這些異常流量對正常業務不會造成影響。

本文以業界最為流行、應用最為廣泛的美國Ixia公司4-7層IxLoad測試工具為例，介紹最為常見的HTTP協議相關測試專案、測試方法和測試結果分析等，這些都是應用層設備最為基本也最為常見的測試項目。需要說明的是，雖然是以Ixia IxLoad為例進行介紹的，但是相應的測試方法和結果分析是通用的。這些測試專案包括：

最大HTTP新建連接速率（Maximum Connection per Second）
最大HTTP同時連接數量（Maximum Concurrent Connection）
最大HTTP 事務交易速率（Maximum Transactions per Second）
最大HTTP吞吐量（Maximum Throughput）
在有DDoS攻擊流量下的性能（Application Forwarding Performance under DoS Attacks）

Ixia IxLoad支援協定以及特性介紹案 :

美國Ixia 公司IxLoad是目前業界最全面的測試應用層業務的可擴展性、高集成度測試方案，最為顯著的技術特點包括：

1.) 一個應用程式仿真超過20種應用層服務，包括資料服務

TCP 協定性能
UDP協定性能
HTTP (1.0/1.1)
SSLv2, SSLv3, TLSv1
FTP
SMTP
POP3
IMAP
RTSP/RTP
Telnet
DNS
DHCP
LDAP
Tracefile Replay
SSH Client
Radius Client
Application Replay
CIFS
P2P

語音服務

SIP
MGCP
H.323
H.248
SGCP (Skinny)

DDoS和漏洞掃描（Vulnerability Attacks）
Web 應用測試
視頻服務

Channel zapping
Broadcast TV and VoD
IGMPv1/v2/v3, MLDv1/v2
RTSP/RTP

高級網路接入方式

PPPoE
L2TP
IPSec
DHCP (including option 82)
VLANs (802.1Q, QinQ, 802.1p)
GTP

2.) 極高的性能，最新推出的Acceleron NP高性能模組在彙聚模式下，一個物理埠可以產生超過80萬的真實完整HTTP新建連接速率，或者一千萬的HTTP同時連接數，並且可方便擴展到幾百萬用戶的仿真，在相同的物理空間下，Ixia 可提供遠超過競爭對手的性能指標。

3.) 和現實網路一樣，仿真真實用戶行為；可以基於每一個用戶進行業服務仿真和QoE品質分析

4.) 對網路架構中的重要組成部分進行性能評估； AAA/RADIUS services, DNS, DHCP, LDAP

5.) 同時可以產生異常或者非法流量對設備的安全性進行評估。

主要測試項目 :

3.1 最大HTTP新建連接速率（Maximum Connection per Second）

由於TCP拆連接有多種方法，所以有多種途徑來測試最大HTTP新建連接速率：

首先TCP連接建立（SYN,SYN-ACK,ACK），然後是一個完整的包括請求和回應的7層交易過程，最後為TCP拆除連接（FIN,ACK）。
首先TCP連接建立（SYN,SYN-ACK,ACK），然後是一個部分或者不完整的7層交易請求，最後為TCP拆除連接（FIN,ACK）。
首先TCP連接建立（SYN,SYN-ACK,ACK），然後是一個部分或者不完整的7層交易請求，最後為TCP連接直接復位（Reset）。

最為理想的方式為上面的第一種，因為其包含了完整的成功7層協議交互過程。但是對於僅關心4層TCP性能的設備來說，第二種方式比較合適。第三種方式常用於強制拆除TCP連接下被測設備的壓力測試。
該類別的測試至少需要用戶端和伺服器端各一個埠，HTTP用戶端流量通過被測設備到達HTTP 伺服器端，圖1是測試連接的示意。

圖1: 應用層設備測試示意圖

表1是進行HTTP新建連接速率測試時通常設置的參數表，這些典型參數設置仿真了網路中典型的HTTP應用情況，可以在實驗室裏面驗證被測設備在網路中的HTTP新建連接速率性能表現。

主要參數設置	描述
HTTP 用戶端	100 IP addresses or more, use sequential or “use all” IP addresses
HTTP 用戶端主要參數設置	HTTP/1.0,無Keep-alive屬性每個用戶20 個TCP 連接每個TCP連接一個交易事務（ Transaction）
TCP 參數	TCP RX 和 TX 緩存設置為 4096 位元組
HTTP 用戶端命令列表	1 GET 命令 – 頁面大小為 1-128 位元組
HTTP 伺服器端	每個Ixia測試埠仿真一個或者多個伺服器
HTTP 伺服器端主要參數設置	隨機反應時延 0 – 20 ms 回應超時時長 300 ms

表1: HTTP新建連接速率測試時建議IxLoad 參數設置

表2總結了一些典型的應用場景，根據被測設備的類型以及不同的工作模式，用上述參數進行設置並進行測試。

設備類型	配置規則	描述
負載均衡設備（SLB）	配置資料封包過濾規則	配置SLB資料包檢測引擎設置為負載均衡演算法為伺服器端設置為橋接或者路由模式
防火牆	配置接入訪問控制規則	配置為NAT模式或者設置為路由模式
防火牆類的通用安全檢測設備	配置為深層資料封包檢測（DPI）功能	配置各種應用檢測與識別功能配置IDS 或者惡意攻擊檢測功能

表2: 被測設備典型的工作模式與建議配置

具體採用IxLoad進行測試設置的步驟，可以聯絡Ixia公司得到操作指導書，測試的目的是能夠得到預期的結果並能夠對出現的各種異常或者問題提供分析和幫助，表3 是HTTP新建連接數測試所關注的關鍵指標。

參數	關鍵性能指標	Ixia IxLoad統計結果
性能參數	HTTP 連接速率 HTTP連接總數, 模擬的用戶數，吞吐量	HTTP Client – Objectives HTTP Client – Throughput
應用層事務交易數應用層業務交易事務失敗監測	Requests 發送的數量, 成功, 失敗，超時，放棄，會話超時，連接時間， 4xx, 5xx 錯誤等	HTTP Client – Transactions HTTP Client – HTTP Failures HTTP Client – Latencies
TCP 連接資訊 TCP 失敗監測	SYNs 報文發送的數量、SYN/SYN-ACKs 收到的數量 RESET發送和接收的數量、重傳、超時	HTTP Client – TCP Connections HTTP Client – TCP Failures
其他關鍵指標	基於每個URL的統計指標、回應代碼	HTTP Client – Per URL HTTP Client – xx Codes

表3: HTTP新建連接數測試所關注的關鍵指標

在測試過程中或者測試結束後，如果觀察到測試結果和預期的不一致，這可能是參數配置的問題，需要能夠通過一些途徑進行分析，表4是該測試任務可能遇到的問題以及建議解決辦法。

問題	診斷以及建議
增加更多測試埠並沒有提高性能	被測設備性能可能達到了最大值，查看用戶端或者伺服器端收到的TCP Reset統計值，在這種情況下可能是被測設備從用戶端終結了TCP連接，另外需要查看被測設備的CPU利用率
在測試的“Ramp-Up”階段用戶端或者伺服器端有大量的TCP resets，在測試運行的穩定階段基本沒有或者有少量的TCP Timeouts和Retries	這種現象可能是被測設備在測試時還沒有“準備好”接收和處理TCP請求；如果該設備使用多處理器，那可能是大量突發的流量在大流量下“打開”了多處理器
從測試開始到結束在用戶端或者伺服器端一直觀察到大量的TCP resets	可能是被測設備已經達到了性能極限，減少測試目標值到TCP失敗為可接受的數值
僅僅有少量的TCP failures (timeout/retry), 這種測試結果是否可以接受?	通常情況下，當設備運行在最大性能極限時，少量的TCP Failure是可以接受的，但是可以根據自己測試目標的需要，可以設定不能有TCP Failure

表4: 可能遇到的問題與建議的解決辦法

3.2 最大HTTP同時連接數量（Maximum Concurrent Connection）

該指標主要用於測試被測設備能夠維持的最大啟動的TCP Session的數量，該過程是首先通過SYN,SYN-ACK,ACK的TCP三次握手建立TCP連接，然後執行7層的資料交互過程，最後拆除TCP連接。一般情況下，設備的最大同時連接數和設備的存儲空間有關，該值越大，能夠維持的連接數就越多。
測試連接見圖1，表5是在進行該項目測試時推薦的參數設置值。根據被測設備的類型以及不同的工作模式，表2中列出來的參數同樣適用於該測試。同樣，表3中列出來的也是同時連接數測試所需要的關鍵指標。

主要參數設置		描述
HTTP 用戶端	設定100 或者更多IP 地址
HTTP 用戶端主要參數設置	HTTP/1.0,無Keep-alive屬性每個用戶20 個或者更多個TCP 連接每個TCP連接一個交易事務（ Transaction）
TCP 參數設置	TCP RX 和 TX 緩存設置為 1024位元組
HTTP 用戶端命令列表	1 GET 命令 – 頁面大小為 1位元組
HTTP 伺服器端	每個Ixia測試埠仿真一個或者多個伺服器
HTTP 伺服器端主要參數設置	隨機反應時延 0 – 20 ms 回應超時時長 300 ms

表5: 最大HTTP同時連接數量建議IxLoad參數設置

為了驗證被測設備是否達到最大HTTP 新建速率的限制，可以在IxLoad 時延的統計結果裡面TTFB（Time To First Byte）參數，在圖2的例子中，TTFB在“Ramp Up”階段能夠處理大量的連接請求，隨後連接時間（Connection Time）和TTFB值的增大反應了被測設備處理速度的減緩。表6是該測試任務可能遇到的問題以及建議解決辦法。

圖2: IxLoad測試結果中TTFB測試示意

問題	診斷以及建議
同時連接數一直不能達到穩定狀態，該數值總上下振盪並且振盪範圍相當的大	如果被測設備一直不能達到穩定狀態，首先需要檢查連接時間、TCP 失敗等指標，如果TCP連接時間持續增加，者說明被測設備不能維持相應數量的連接數。另外需要檢查類比用戶數量，如果該值很高，這說明測試工具嘗試要達到預先設定的目標值，並造成測試埠資源大量消耗，需要檢查測試工具配置以判斷可能存在的問題
如果判斷並確定最大同時連接數的結果已經達到?	最簡單的辦法是增加更多的測試埠看是否同時連接數量有所增加，如果沒有增加，說明已經達到了最大值。如果有TCP failures 存在，並且新的TCP連接不能建立，這說明同時連接數已經達到最大值。另外還要關注TCP連接時間，包括Connect Time, TTFB and TTLB. 最後一點，同時連接數一般和被測設備的系統記憶體有關，查看記憶體空間的佔有情況可以進一步確定同時連接數是否達到了最大值

表6: 可能遇到的問題與建議的解決辦法

3.3 最大HTTP 事務交易速率（Maximum Transactions per Second）

該測試是驗證被測設備能夠支援的最大事務交易速率，一個交易是指一個請求以及相應的回應。比如通過流覽器訪問某網站，首先通過三次TCP握手建立TCP連接，所請求的頁面包括多個物件：網頁、圖像、Flash或者?嵌物件等通過流覽器並行或者串列下載。
對於HTTP 1.0採用Keep-alive特性和HTTP1.1，TCP可以支援多個Transaction。對於大多數作業系統和流覽器來說，一個TCP包括多少個Transaction都是可配置的。在進行該指標測試時，一般情況下盡可能減少TCP連接的數量，這樣可以保證盡可能多的應用層Transaction的數量。IxLoad支援該功能的靈活設置。
該測試項目的測試拓撲見圖1，相應IxLoad的參數設置見表7，被測設備有多種工作模式，表2中列出來的參數同樣適用於該測試。同樣，表3中列出來的也是同時連接數測試所需要的關鍵指標。

主要參數設置	描述
HTTP 用戶端	設定100 或者更多IP 地址
HTTP 用戶端參數設置	HTTP 1.1 每個用戶20 個TCP 連接每個TCP連接盡可能多的交易事務（ Transaction）
HTTP 端所請求的頁面參數設置	1 GET 命令 – 頁面大小為 1位元組
TCP 參數設置	TCP RX 和 TX 緩存設置為4096位元組
HTTP 伺服器端	每個Ixia測試埠仿真一個或者多個伺服器
HTTP 伺服器端參數設置	隨機反應時延 0 – 20 ms 回應超時時長 300 ms

表7: 最大事務交易速率測試建議的IxLoad參數設置

3.4 最大吞吐量（Maximum Throughput）

首先需要明確的是應用層的吞吐量和通常理解的2層吞吐量計算方法是不同的，圖3是相關計算方法的解釋，2層吞吐量是對整個2層資料訊框進行計算的，包括了鏈路上所有的Bits數。應用層吞吐量（Goodput）只對有效資料進行計算，對於重傳的資料包也不考慮在有效資料中。
該測試項目的測試拓撲見圖1，相應IxLoad的參數設置見表8，被測設備有多種工作模式，表2中列出來的參數同樣適用於該測試。同樣，表3中列出來的也是同時連接數測試所需要的關鍵指標。表9是該測試任務可能遇到的問題以及建議解決辦法。

主要參數設置	描述
HTTP 用戶端	設定100 或者更多IP 地址
HTTP 用戶端參數設置	HTTP 1.1 每個用戶20 個TCP 連接每個TCP連接盡可能多的交易事務（ Transaction）
HTTP 端所請求的頁面參數設置	1 GET 命令 – 頁面大小為1MB, 512kB, 1024 bytes, 512 bytes
TCP 參數設置	用戶端 TCP - RX 32768 位元組, TX 4096位元組伺服器端 TCP – RX 4096位元組, TX 32768位元組
MSS	1460, 500, 256, 128 bytes
HTTP 伺服器端	每個Ixia測試埠仿真一個或者多個伺服器
HTTP 伺服器端參數設置	隨機反應時延 0 – 20 ms 回應超時時長 300 ms

表8: 最大事務交易速率測試建議的IxLoad參數設置

圖3: 應用層吞吐量和2層吞吐量解釋

問題	診斷以及建議
所設置的吞吐量目標值不能達到，該值上下振盪	如果被測設備的吞吐量不能達到穩定狀態，查看TCP failures統計結果，大量的TCP timeout 和復位報文可以說明被測設備不能處理相應的壓力流量。另外還可以增加更多測試埠，如果測試結果相同，說明被測設備不能處理更多的資料流程量
模擬用戶數量持續增加，但是測試工具不能達到所設置的吞吐量	這說明測試工具嘗試要達到預先設定的目標值，並造成測試埠資源大量消耗，需要檢查測試工具配置以判斷可能存在的問題。查看 TCP failures 資訊以判斷可能存在的網路問題。檢查被測設備埠發送和接收報文是否有大量丟棄

表9: 可能遇到的問題與建議的解決辦法

3.5 在有DDoS攻擊流量下的性能（Application Forwarding Performance under DoS Attacks）

防火牆和具有DPI功能的設備都具有保護當前正在運行的用戶不受攻擊的能力，該能力增加了系統的處理開銷，會對系統的性能造成一定的下降。該測試專案主要驗證被測設備在有拒絕服務（DDoS）攻擊的情況下被測設備轉發性能所受到的影響。
通常有多種方法測試設備在攻擊情況的性能表現，在這裏以設備受到SYN Flood攻擊為例，同時以多種應用層流量FTP、SMTP、RTSP、SIP做為背景對HTTP流量正常轉發性能的影響。表10是測試工具所需要的參數設置。

主要參數設置	描述
用戶端網路	設定100 或者更多IP 地址
HTTP 用戶端主要參數設置	HTTP 1.1 每個用戶3個TCP 連接每個TCP連接1個交易事務（ Transaction）
TCP 參數設置	TCP RX 和 TX 緩存設置為4096位元組
HTTP client command list	1 GET 命令 – 頁面大小為128k-1024k位元組
HTTP 伺服器端	每個Ixia測試埠仿真一個或者多個伺服器
HTTP 伺服器端參數設置	隨機反應時延 0 – 20 ms 回應超時時長 300 ms
DoS 攻擊類型	ARP flood attack, evasive UDP attack, land attack, ping of death attack, ping sweep attack, reset flood attack, smurf attack, SYN flood attack, TCP scan attack, tear-drop attack, UDP flood attack, UDP scan attack, unreachable host attack and Xmas tree attack
其他背景流量的協議	FTP, SMTP, RTSP, SIP等協議的混合

表10: 最大事務交易速率測試建議的IxLoad參數設置

相應的結果分析、對於HTTP協議，同樣可以參考表3，對於其他類型的業務流量和DoS攻擊流量，可以見表11。

DoS 攻擊	所發送的成功、失敗的資料包	DDoS Client – Successful Packets DDoS Client – Failedl Packets DDoS Client – Bytes Sent
資料包監測	收到的資料包，根據過濾規則或者允許收到的資料包	Packet Monitor Server – Packet Statistics Total

表11: DoS攻擊流量結果統計資訊

Ixia 獨有的資料包監測（Packet Monitor）統計功能，可以即時分類統計合法的服務流量與攻擊流量，這樣就可以在測試工具中即時查看被測設備是否對非法流量進行了有效攔截，並確認是否對合法流量造成性能上的影響。表12是該測試任務可能遇到的問題以及建議解決辦法。

問題	診斷以及建議
從測試開始到結束在用戶端或者伺服器端一直觀察到大量的TCP resets	可能是被測設備在有DoS攻擊流量下達到了性能極限。這在SYN Flood攻擊下非常常見的現象
吞吐量出現上下振盪的現象	設備不能達到穩定狀態，查看TCP Failures參數，大量的TCP timeout 和 RST 資料包說明設備在有DoS攻擊流量下不能再處理更高的性能
模擬用戶數量持續增加，但是測試工具不能達到所設置的吞吐量	這種現象說明測試工具主動搜尋並嘗試達到預期，需要查看DoS 攻擊流量是否造成了大量的TCP Failure

表12: 可能遇到的問題與建議的解決辦法

結束語 :

根據Frost & Sullivan的公開研究報告，Ixia 4-7層IxLoad測試方案在2008年的全球市場地位處於第一位，最新推出的高性能Acceleron 測試模組進一步確保了IxLoad在核心應用層設備的地位。