前言
近年來，隨著市場(chǎng)和技術(shù)的發(fā)展，越來越多的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)開始向基于通用計(jì)算平臺(tái)或模塊化計(jì)算平臺(tái)的架構(gòu)方向融合，用以支持和提供多樣的網(wǎng)絡(luò)單元和豐富的功能，如應(yīng)用處理、控制處理、包處理、信號(hào)處理等。除了節(jié)約成本和縮短產(chǎn)品上市時(shí)間之外，在機(jī)架式系統(tǒng)和不同尺寸的網(wǎng)絡(luò)設(shè)備上，此架構(gòu)還可以提供模塊化架構(gòu)的靈活性以及隨需而定的系統(tǒng)組件獨(dú)立升級(jí)能力。在傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)中，交換模塊處理In-band和out-of-band系統(tǒng)模塊之間的路由交換，處理器模塊提供應(yīng)用層和控制層功能，包處理模塊用于數(shù)據(jù)平面，DSP模塊提供定制化的信號(hào)層功能。通過使用Intel® DPDK（Intel® Data Plane Development Kit，Intel® 數(shù)據(jù)平面開發(fā)套件）,基于Intel® x86架構(gòu)的處理器模塊不僅可以實(shí)現(xiàn)傳統(tǒng)的處理應(yīng)用和控制功能，還可以實(shí)現(xiàn)智能和高效的包處理。 該白皮書以IP轉(zhuǎn)發(fā)作為包處理的一個(gè)典型示例，說明了如何將凌華科技aTCA-6200刀片式服務(wù)器與Intel® DPDK技術(shù)整合為單一平臺(tái)，提供所需的處理性能，并實(shí)現(xiàn)包處理服務(wù)性能的提升。首先，我們來比較在沒有使用Intel® DPDK做任何優(yōu)化時(shí)，采用原生 Linux（Native Linux） IP轉(zhuǎn)發(fā)時(shí)aTCA-6200的第三層轉(zhuǎn)發(fā)性能。然后，我們?cè)俜治霾捎?span id="zq8ommc" class=STYLE3>Intel® DPDK技術(shù)之后所獲得的IP轉(zhuǎn)發(fā)性能提升的原因。最后，我們將介紹凌華科技基于Intel® DPDK技術(shù)的自己的開發(fā)工具包，該工具包可以協(xié)助用戶輕松地開發(fā)自己的基于Intel® DPDK的應(yīng)用程序。
	凌華科技aTCA-6200
凌華科技aTCA-6200是一款高集成度的AdvancedTCA處理器刀片，支持2個(gè)Intel® Xeon® E5-2648L處理器（Sandy Bridge-EP，32nm），每一個(gè)處理器可以最多提供8核20MB的共享緩存。通過使用Intel®超線程技術(shù)（Intel® HT技術(shù)），每個(gè)處理器可以最多支持16個(gè)物理線程。除此之外，aTCA-6200還支持8通道的DDR3-1600 VLP RDIMM內(nèi)存，每個(gè)處理器可以支持最大64GB的系統(tǒng)內(nèi)存。aTCA-6200還包含了豐富的網(wǎng)絡(luò)I/O接口，包含2個(gè)兼容PICMG 3.1 option 1/9的10GbE口（XAUI，10GBase-KX4），以及最多6個(gè)10/100/1000BASE-T千兆以太網(wǎng)端口，可分別連接至前面板，AdvancedTCA Base接口通道和后走線千兆以太網(wǎng)口。 凌華科技aTCA-6200處理器刀片主要針對(duì)運(yùn)營(yíng)商級(jí)別的安全和電信應(yīng)用，同樣在網(wǎng)絡(luò)基礎(chǔ)設(shè)施中也可作為IMS服務(wù)器、媒體網(wǎng)關(guān)、包檢測(cè)服務(wù)器、流量管理服務(wù)器和WLAN接入點(diǎn)控制器等。 下圖1的功能示意圖展示了凌華科技aTCA-6200的詳細(xì)架構(gòu)。 圖1：aTCA-6200功能示意圖
	Intel DPDK
Intel® DPDK（Intel® Data Plane Development Kit，Intel® 數(shù)據(jù)平面開發(fā)套件）是一個(gè)專為Intel®架構(gòu)處理器提供的輕量級(jí)運(yùn)行環(huán)境。它提供了低功耗和Run-to-Completion(RTC，運(yùn)行到完成)模式，以此最大限度的提升數(shù)據(jù)包的處理性能。而且Intel® DPDK還包含了優(yōu)化的和高效的函數(shù)庫，為用戶提供豐富的選擇，例如我們熟知的環(huán)境抽象層（EAL，Environment Abstraction Layer）,它負(fù)責(zé)初始化和分配低級(jí)資源，同時(shí)隱藏來自應(yīng)用和函數(shù)庫的環(huán)境特性，并且獲取低級(jí)資源，如內(nèi)存空間，PCI設(shè)備，定時(shí)器和控制臺(tái)。 環(huán)境抽象層（EAL）提供優(yōu)化的輪詢模式驅(qū)動(dòng)(PMD，Poll Mode Driver)，內(nèi)存和緩存管理，定時(shí)器，調(diào)試和包處理API，其中有些功能也可以由Linux操作系統(tǒng)提供。為使應(yīng)用層間的相互協(xié)作更加便利，環(huán)境抽象層（EAL）與標(biāo)準(zhǔn)的GNU C Library(GLIBC)一起，提供集成了更高級(jí)別應(yīng)用的完整API。 下圖2為軟件層級(jí)結(jié)構(gòu)圖。 圖 2:在Linux應(yīng)用環(huán)境中的EAL和GLIBC
	測(cè)試拓?fù)浣Y(jié)構(gòu)
為了測(cè)量aTCA-6200在第三層進(jìn)行處理和轉(zhuǎn)發(fā)IP包的速度，我們使用圖3中所示的環(huán)境進(jìn)行測(cè)試。 圖3： IP轉(zhuǎn)發(fā)測(cè)試環(huán)境 如圖3所示，兩片凌華科技aTCA-3400交換刀片，通過使用FASTPATH®網(wǎng)絡(luò)軟件，為安裝在凌華科技aTCA-8505機(jī)箱中的3片處理器刀片上自帶的10GbE Fabric和1GbE Base接口通道提供了無阻礙的互連交換，并支持全網(wǎng)（Full-Mesh）拓?fù)浣Y(jié)構(gòu)。因此，每個(gè)aTCA-3400交換刀片可以提供至少一個(gè)Fabric和Base接口，用以連接到每個(gè)處理器刀片，例如安裝在第5槽的aTCA-6200刀片(被測(cè)設(shè)備)。 Lxia XM12測(cè)試系統(tǒng)，兼容RFC 2544吞吐量基準(zhǔn)，通常被用來作為包數(shù)據(jù)的模擬器，用以發(fā)送不同幀大小的IP數(shù)據(jù)包，并收集最終的統(tǒng)計(jì)數(shù)據(jù)，如每秒幀數(shù)和吞吐量。 根據(jù)上圖所示的測(cè)試環(huán)境拓?fù)浣Y(jié)構(gòu)，aTCA-6200作為處理器刀片，包含了四個(gè)千兆以太網(wǎng)口：兩個(gè)來自前面板（Flow 1和Flow 2），另外兩個(gè)是通過aTCA-3400 Base交換實(shí)現(xiàn)的Base接口（Flow 3和Flow 4）。除了這4個(gè)1GbE的接口之外，aTCA-6200還有2個(gè)10GbE的接口通過aTCA-3400交換板連至lxia XM12（Flow 5和Flow 6）。 在這個(gè)測(cè)試配置中，aTCA-6200作為被測(cè)設(shè)備（DUT），負(fù)責(zé)接收來自lxia測(cè)試系統(tǒng)的IPv4數(shù)據(jù)包，并在第三層處理這些數(shù)據(jù)包（例如數(shù)據(jù)包解封裝，IPv4報(bào)頭校驗(yàn)和驗(yàn)證，路由表查找和數(shù)據(jù)包封裝），然后根據(jù)路由表查找結(jié)果將數(shù)據(jù)包返回至lxia XM12。所有的六個(gè)流向都是雙向的：例如，lxia XM12通過1/2/3/4/5/6接口發(fā)送幀數(shù)據(jù)給aTCA-6200，并分別通過1/2/3/4/5/6接口接收幀數(shù)據(jù)。
	測(cè)試方法
為了評(píng)估Intel® DPDK如何在凌華科技aTCA-6200上實(shí)現(xiàn)包轉(zhuǎn)發(fā)服務(wù)的提升，在下面的兩個(gè)測(cè)試案例中我們使用了基于Intel® DPDK的IP包轉(zhuǎn)發(fā)應(yīng)用： 在Native Linux下的性能 在這個(gè)測(cè)試環(huán)境中，aTCA-6200安裝了64位Ubuntu Server 11.10。同目前Linux其他版本一樣，IP轉(zhuǎn)發(fā)功能默認(rèn)是禁用的，需啟用IP轉(zhuǎn)發(fā)功能，同時(shí)使用以下命令禁用ufw服務(wù)。 # sudo ufw disable # sysctl net.ipv4.ip_forward net.ipv4.ip_forward = 0 同上，將net.ipv4.ip_forward設(shè)置為0，當(dāng)前內(nèi)核配置下的IP轉(zhuǎn)發(fā)功能將被禁用。但是通過以下命令可以立即啟用： # sysctl -w net.ipv4.ip_forward = 1 or # echo 1 > /proc/sys/net/ipv4/ip_forward 如果在/etc/sysctl.conf中將net.ipv4.ip_forward設(shè)置為1，并重啟網(wǎng)絡(luò)服務(wù)，IP轉(zhuǎn)發(fā)功能將默認(rèn)啟用，如下所示： #echo "net.ipv4.ip_forward = 1">/etc/sysctl.conf # /etc/init.d/network restart
	使用Intel® DPDK后的性能
Intel® DPDK可以在不同的模式下運(yùn)行，如裸機(jī)（Bare Metal），帶裸機(jī)實(shí)時(shí)（Bare Metal Run-Time）的Linux和Linux 用戶空間（User Space）。在最初的開發(fā)階段，Linux用戶空間（User Space）模式是最容易使用的，請(qǐng)參看Intel Data Plane Development Kit - Getting Started Guide for Linux。中的相關(guān)描述。下圖4描述了Intel® DPDK在Linux用戶空間（User Space）模式下的詳細(xì)功能。 圖4：Intel® DPDK 運(yùn)行在Linux User Space模式下 如需在aTCA-6200處理器刀片中建立Intel® DPDK，請(qǐng)?jiān)谠搩?nèi)核中設(shè)置如下參數(shù)： GLIBC >=2.7 啟用HPET和HPET MMAP配置選項(xiàng) # grep HPET /boot/config-`uname -r` CONFIG_HPET_TIMER=y CONFIG_HPET_EMULATE_RTC=y CONFIG_HPET=y CONFIG_HPET_MMAP=y HUGETLBFS enabled: # mkdir /mnt/huge # mount -t hugetlbfs nodev /mnt/huge # echo 1024 > /sys/kernel/mm/hugepages/hugepages-\ 2048kB/nr_hugepages 內(nèi)核驅(qū)動(dòng)程序加載(UIO)： # sudo /sbin/modprobe uio # needed if uio is built as a module # sudo insmod <$RTE_HOME>/x86_64-default-linuxapp-\ gcc/kmod/igb_uio.ko 在執(zhí)行Intel® DPDK目標(biāo)環(huán)境后，IP轉(zhuǎn)發(fā)應(yīng)用就能夠作為Linux用戶空間（User Space）的應(yīng)用被運(yùn)行。詳細(xì)請(qǐng)參考Intel® Data Plane Development Kit - Getting Started Guide for Linux。   # ./build/l3fwd -c 0x1 -- -p=0xF --config="(0,0,0)" Notes: "-c=0x1" means the CPU mask is 0x1, i.e. only the first CPU thread is used for this Layer 3 forwarding application "-p=0xF" means the port mask is 0xF, i.e. only the first four Gigabit ports are initialized and used for this Layer 3 forwarding application --config="(portid, queueid, coreid)"
	結(jié)果
在原生 Linux（Native Linux）和Intel® DPDK兩種不同的環(huán)境下測(cè)試了aTCA-6200刀片之后，我們比較了4個(gè)1GbE端口（2個(gè)來自前面板，2個(gè)來自Base接口）和2個(gè)10GbE Fabric端口在這兩種不同配置下的IP轉(zhuǎn)發(fā)性能。除此之外，我們還測(cè)試了當(dāng)同時(shí)使用aTCA-6200 6個(gè)網(wǎng)絡(luò)端口（4個(gè)1GbE和2個(gè)10GbE）時(shí)，aTCA-6200的合并IPv4轉(zhuǎn)發(fā)性能。 使用4個(gè)1GbE端口時(shí)的性能比較 圖5： 使用4x 1GbE時(shí)IP轉(zhuǎn)發(fā)能比較 原生 Linux（Native Linux）啟用IP轉(zhuǎn)發(fā)功能，并在aTCA-6200的4個(gè)1GbE接口上運(yùn)行IPv4轉(zhuǎn)發(fā)， 64字節(jié)大小的幀可以以每秒100萬個(gè)的速度被轉(zhuǎn)發(fā)。當(dāng)幀大小增加到1024字節(jié)時(shí)，原生 Linux（Native Linux）的IP轉(zhuǎn)發(fā)可以達(dá)到100%的線率。但是在實(shí)際環(huán)境中，幀大小通常小于1024字節(jié)，因此100%的線率是無法實(shí)現(xiàn)的。但是，在同樣的Linux操作系統(tǒng)下使用Intel® DPDK并運(yùn)行在僅有的兩個(gè)CPU線程上，aTCA-6200能夠以100%的線率轉(zhuǎn)發(fā)幀數(shù)據(jù)，并且無論幀大小如何設(shè)置，都沒有任何的丟幀現(xiàn)象發(fā)生，如上面圖5所示。 相比Native Linux的IP轉(zhuǎn)發(fā)性能，使用了Intel® DPDK之后的aTCA-6200可以將轉(zhuǎn)發(fā)性能提升6倍。 使用2個(gè)10GbE接口時(shí)的性能比較 圖6：使用2x 10GbE時(shí)IP轉(zhuǎn)發(fā)能比較 在2個(gè)10GbE Fabric接口上進(jìn)行IP轉(zhuǎn)發(fā)測(cè)試時(shí)，無論是在原生 Linux（Native Linux）下還是基于Intel® DPDK，IP的轉(zhuǎn)發(fā)性能相比使用4個(gè)1GbE接口時(shí)都有很大的提升。如上圖6所示，相比原生 Linux（Native Linux）使用所有的CPU線程，采用了Intel® DPDK的aTCA-6200只需要兩個(gè)線程就可以獲得10倍性能的提升。 aTCA-6200全部的IPv4轉(zhuǎn)發(fā)性能 圖7: 使用2x 10GbE + 4x 1GbE時(shí)IP轉(zhuǎn)發(fā)能比較 使用aTCA-6200全部的接口（2個(gè)10GbE Fabric接口，2個(gè)1GbE前置面板接口和2個(gè)1GbE Base接口）測(cè)試合并的IP轉(zhuǎn)發(fā)性能時(shí)，使用Intel® DPDK后的aTCA-6200每秒可以傳輸2700萬個(gè)64字節(jié)的數(shù)據(jù)幀。換言之，理論上24Gbps的數(shù)據(jù)吞吐量有18Gbps可以被轉(zhuǎn)發(fā)（即75.3%的線率）。此外，當(dāng)數(shù)據(jù)幀分別為128字節(jié)和256字節(jié)時(shí)，吞吐量的線率可以提升到92.3%，甚至高達(dá)99%。 換言之，理論上24 Gbps的吞吐量高達(dá)18 Gbps的可轉(zhuǎn)發(fā)（即線率 75.3％）。此外，即線率的吞吐量提高到92.3％，甚至高達(dá)99％，當(dāng)幀的大小分別設(shè)置為128字節(jié)，256字節(jié)。
	分析
相比原生 Linux（Native Linux），采用Intel® DPDK技術(shù)后能夠大幅提升IP轉(zhuǎn)性能的主要原因在于Intel® DPDK采用了如下描述的主要特征。 輪詢模式取代中斷 通常當(dāng)數(shù)據(jù)包進(jìn)入的時(shí)候，Native Linux會(huì)從網(wǎng)絡(luò)接口控制器（NIC，Network Interface Controller）接收到中斷，然后調(diào)度軟中斷，對(duì)所得的中斷進(jìn)行上下文切換，并喚醒系統(tǒng)調(diào)用，如read（）和write（）。 相比之下，Intel® DPDK采用了優(yōu)化的輪詢模式驅(qū)動(dòng)（PMD，Poll Mode Driver）代替默認(rèn)的以太網(wǎng)驅(qū)動(dòng)程序，從而可以不斷地接收數(shù)據(jù)包，避免軟件中斷，上下文切換和喚醒系統(tǒng)調(diào)用，從而大大的節(jié)省重要的CPU資源，并且降低了延遲。 HugePage取代傳統(tǒng)頁 相比Native Linux的4kB 頁，采用更大的頁尺寸意味著可以節(jié)省頁的查詢時(shí)間，并減少轉(zhuǎn)譯查找緩存（TLB，Translation Lookaside Buffer）丟失的可能。 Intel® DPDK作為用戶空間（User-space）應(yīng)用運(yùn)行時(shí)，在自己的內(nèi)存空間中分配HugePage至存儲(chǔ)幀緩沖區(qū)，環(huán)形和其他相關(guān)緩沖區(qū)，這些緩沖區(qū)是由其他應(yīng)用程序控制，甚至是Linux內(nèi)核。本白皮書描述的測(cè)試中，總計(jì)1024@2MB的HugePage被保留用于運(yùn)行IP轉(zhuǎn)發(fā)應(yīng)用。 零拷貝緩沖區(qū) 在傳統(tǒng)的數(shù)據(jù)包處理過程中，原生 Linux（Native Linux）解封包的報(bào)頭，然后根據(jù)Socket ID將數(shù)據(jù)復(fù)制到用戶空間（User Space）緩沖區(qū)。一旦用戶空間（User Space）應(yīng)用程序完成了數(shù)據(jù)的處理，一個(gè)write（）系統(tǒng)調(diào)用將被喚醒并把數(shù)據(jù)送至內(nèi)核，負(fù)責(zé)將數(shù)據(jù)從用戶空間（User Space）拷貝至內(nèi)核緩沖區(qū)，封裝包的報(bào)頭，最后借助相關(guān)的物理端口將數(shù)據(jù)發(fā)出去。顯然，原生 Linux（Native Linux）在內(nèi)核緩沖區(qū)和用戶空間（User Space）緩沖區(qū)之間進(jìn)行拷貝動(dòng)作，犧牲了很多的時(shí)間和資源。 相比之下，Intel® DPDK在自己保留的內(nèi)存區(qū)域接收數(shù)據(jù)包，這個(gè)區(qū)域位于用戶空間（User Space）緩沖區(qū)，之后根據(jù)配置規(guī)則將這些數(shù)據(jù)包分類到每一個(gè)Flow中。在處理完解封包之后，在相同的用戶空間（User Space）緩沖區(qū)中使用正確的報(bào)頭進(jìn)行包封裝，最后通過相關(guān)的物理端口發(fā)送這些數(shù)據(jù)。 Run-to-Completion(RTC，運(yùn)行到完成)和Core Affinity 在執(zhí)行應(yīng)用之前，Intel® DPDK會(huì)進(jìn)行初始化，分配所有的低級(jí)資源，如內(nèi)存空間，PCI設(shè)備，定時(shí)器，控制臺(tái)，這些資源將被保留且僅用于那些基于Intel® DPDK的應(yīng)用。初始化完成之后，每一個(gè)核（或線程，當(dāng)BIOS設(shè)置中啟用了Intel®超線程技術(shù)時(shí)）將被啟用來負(fù)責(zé)每一個(gè)執(zhí)行單元，并根據(jù)實(shí)際應(yīng)用的需求，運(yùn)行相同的或不同的工作負(fù)載。 此外，Intel® DPDK還提供了一種方法，即可以設(shè)置每個(gè)執(zhí)行單元運(yùn)行在每一個(gè)核心上，以維持更多的Core Affinity，從而避免緩存丟失。在此白皮書描述的測(cè)試中，aTCA-6200處理器刀片的物理端口根據(jù)Affinity被綁定在兩個(gè)不同的CPU線程上。 無鎖執(zhí)行和緩存校準(zhǔn) Intel® DPDK提供的庫和API，被優(yōu)化成無鎖，以防止多線程應(yīng)用程序死鎖現(xiàn)象的發(fā)生。對(duì)于緩沖區(qū)、環(huán)形和其他數(shù)據(jù)結(jié)構(gòu)，Intel® DPDK也進(jìn)行了優(yōu)化，執(zhí)行了緩存校準(zhǔn)，以達(dá)到緩存行（Cache-Line）的效率最大化，同時(shí)最大限度減少緩存行（Cache-Line）的沖突。
	結(jié)論
通過對(duì)在凌華科技aTCA-6200的4個(gè)1GbE和2個(gè)10GbE Fabric端口使用和不使用Intel® DPDK（圖5和圖6）的測(cè)試結(jié)果進(jìn)行分析，我們可以得出結(jié)論，在相同的硬件平臺(tái)下，使用Intel® DPDK后的Linux僅用兩個(gè)CPU線程進(jìn)行IP轉(zhuǎn)發(fā)的性能，與原生 Linux（Native Linux）使用全部的CPU線程進(jìn)行IP轉(zhuǎn)發(fā)的性能相比，前者是后者的10倍。 從圖7中我們可以很容易的了解到，aTCA-6200采用Intel® DPDK技術(shù)后的IPv4轉(zhuǎn)發(fā)性能，可以讓用戶在遷移包處理應(yīng)用時(shí)（從基于NPU的硬件遷移到基于Intel® x86的平臺(tái)上），獲得更好的成本和性能優(yōu)勢(shì)。同時(shí)可以采用統(tǒng)一的平臺(tái)部署不同的服務(wù)，如應(yīng)用處理，控制處理和包處理服務(wù)。 但是，值得注意的是，Intel® DPDK是一個(gè)數(shù)據(jù)層的開發(fā)工具包，并在用戶空間運(yùn)行，它不是一個(gè)用戶可以直接建立應(yīng)用程序的完整產(chǎn)品。需要特別指出的是，Intel® DPDK不包含需要與控制層（包括內(nèi)核和協(xié)議堆棧）進(jìn)行交互的工具。 圖8：凌華科技開發(fā)工具包與控制層和數(shù)據(jù)層協(xié)同工作的原理圖 如圖8所示，凌華科技已經(jīng)開發(fā)出基于Intel® DPDK的開發(fā)工具包，用以管理控制層和數(shù)據(jù)層，如同控制層的克隆虛擬網(wǎng)卡一樣執(zhí)行任務(wù)，可以在數(shù)據(jù)層同步物理端口。使用該開發(fā)工具包，用戶可以輕松地開發(fā)基于Intel® DPDK的應(yīng)用，并與控制層和數(shù)據(jù)層進(jìn)行交互，不僅可以有效提升包處理性能，還能讓開發(fā)更簡(jiǎn)單，縮短產(chǎn)品上市時(shí)間。