PCI-SIG在2022年1月發(fā)表了PCIe 6.0的正式標準規(guī)范,并利用PAM4編碼技術,在盡可能維持電氣規(guī)格與PCIe 5.0一致的前提下,實現了頻寬倍增的目標。但由于PCIe 5.0的訊號傳輸距離已經遠低于標準伺服器主機板的尺寸,業(yè)界最終還是得設法發(fā)展出更微型化的伺服器尺寸標準,否則互聯設計過于複雜的問題,將無法解決。
主導PCI標準制定的PCI-SIG組織,在2022年1月發(fā)表了PCIe 6.0的1.0版本,正式完成了PCIe 6.0的標準化作業(yè),并預期在12~18個月內,市場上將有第一款支援PCIe 6.0的應用產品出現。
與5.0相比,PCIe 6.0的頻寬再度增加了一倍。在16通道配置下,單向最大頻寬可達128GB/s,雙向則是256GB/s。而為了支援這麼高的頻寬,在PCIe 6.0標準中,導入了許多重要的新技術,不僅使6.0標準成為PCIe問世近20年來,變化最大的一次,同時也讓6.0標準的實作變得極為複雜。
告別NRZ 全面導入PAM4調變
在PCIe 6.0之前的PCIe4.0/5.0,都是在3.0標準的基礎上進行漸進式的革新。例如4.0跟5.0都沿用3.0標準所導入的NRZ(Non- Return-to-Zero)128b/130b編碼,僅透過提高原始傳輸速率的方式來增加頻寬。但PCIe 6.0已全面改用PAM4 128b/130b編碼,讓一個信號能承載四種編碼(00/01/10/11),進而達成提升頻寬的目標。
不過,也因為要在一個信號中承載四種編碼,導致PAM4信號在傳輸過程中,理論上遠比NRZ更容易出現信號錯誤,在信號完整度方面有相當大的疑慮,所以PCI SIG在6.0標準中,導入了向前糾錯機制(FEC)作為配套,以保障信號完整性。
除了PAM4和FEC,PCIe 6.0在邏輯層還導入了流量控制單元(FLIT)編碼。藉由這項技術,PCIe 6.0的有效頻寬跟信號延遲,都獲得了明顯的改善。尤其是在高通道數與大資料傳輸時,藉由FLIT編碼,PCIe 6.0的延遲可以比5.0改善超過30倍之多(圖1)。
圖1 PCIe 5.0與PCIe 6.0延遲性能比較
雖然從標準定義上來看,PCIe 6.0可說是PCIe發(fā)展至今最重大的一次更新,但這次更新所導入的新技術,嚴格來說并不新。不管是PAM4或FLIT,都已經廣泛運用在200G以上的高速乙太網,因此對于有相關開發(fā)經驗的設計工程師而言,要開發(fā)支援PCIe 6.0的應用產品,在某些方面來說,只要有對應的工具跟測試設備,不會是太大問題。
搶食PCIe 6.0研發(fā)商機太克動作飛快
在PCI-SIG發(fā)布PCIe 6.0基本規(guī)格和驗證要求幾週后,示波器大廠太克(Tektronix)即宣布推出業(yè)界第一個與PCI Express 6.0相容的基本發(fā)射器測試解決方案。
太克東南亞/中國臺灣行銷經理陳川迅表示,對于資料中心、人工智慧/機器學習(AI/ML)和高效能運算等資料密集型市場而言,PCIe 6.0是非常重要且可擴展的標準。為滿足不斷成長的效能需求,PCIe 6.0標準採用了PAM4信號編碼和糾錯技術。從量測的角度來看,這些更新主要都跟軟體有關,故針對PCIe 6.0測試需求,太克提供的測試解決方案,也是在既有的硬體基礎上,提供更多專為PCIe 6.0量測所設計的專用軟體以及分析工具。
至于在硬體方面,針對PCIe 6.0,儀器本身需要增加一些新的強化功能,但客戶如果已經擁有可以測試PCIe 5.0的儀器,可透過添購軟體選項的方式,為既有的硬體提供PAM4 DSP功能和示波器上的雜訊補償,來提高量測結果的準確性。
陳川迅進一步解釋,由于導入PAM4,參考DSP方案發(fā)生了巨大變化。與PCIe 5.0中的4個極點和2個零點相比,CTLE現在變成了6個極點和3個零點;在DFE方面,複雜度則從3-Taps增加到16-Taps。在16GHz的條件下,PAM4允許的恩奎斯特(Nyquist)頻率,跟NRZ編碼是一樣的,但眼寬和眼高急劇減小。在PCIe 6.0,開發(fā)者需要測量3.125ps的眼寬,眼高則是6mV。由于PAM4有3隻眼睛,我們在這裡指的是頂部的眼睛。
因此,從示波器硬體頻寬的角度來看,我們仍然在PCIe 6.0中使用50 GHz的最小頻寬,與PCIe 5.0沒有什麼不同,因為信號的Baud Rate并沒有改變。不過,在測試方法上,PCIe 6.0的Tx測試增加了一種新的測量方法,即信噪失真率(SNDR)。這個是從400G乙太網沿用過來的,如果有相關經驗的工程師,對此應該很熟悉。
整體來說,從PCIe 5.0升級到6.0,跳躍程度不像從PCIe 4.0到5.0那樣劇烈,因為奈奎斯特頻率一樣都是16 GHz?,F在的挑戰(zhàn)在于CTLE、DFE中,對DSP能力的新要求,以及如何應對由通道損耗引發(fā)的等化問題。
從測試和測量的角度來看,測試參數的項目越來越多,也越來越複雜。自動化和測試速度變得至關重要。太克很自豪能夠率先發(fā)布 PCIe 6.0 Tx測試解決方案。我們的PCIe 6.0標準測試和調試解決方案可輕鬆整合進工程師的測試和調試工作流程中。
電氣特性規(guī)范大致相同設計工程師喘口氣
事實上,誠如陳川迅所分析,雖然PCIe 6.0看似導入了很多新技術,但對于硬體,尤其是跟線路設計有關的工程師而言,PCIe 5.0跟6.0的差別不大。有業(yè)界人士認為,這應該是PCI SIG刻意為之的結果,因為業(yè)界導入PCIe 5.0的過程,就已經相當吃力,如果6.0標準又來一次,其導入的時程恐怕會非常緩慢。
任職于某伺服器代工廠的RD 工程師就指出,從PCIe 4.0升級到5.0,對伺服器主機板的設計而言,是相當棘手的一件事。因為實體信號的速度大幅提升,所以PCIe 5.0信號的傳輸距離,是非常短的。
根據英特爾(Intel)所提供的設計規(guī)范,在PCIe 5.0,從CPU經過晶片組到連結的目標裝置之間,整個繞線距離最長不應該超過13英吋。對標準伺服器而言, 13英吋的距離根本不夠用,而且英特爾提供的設計規(guī)范,是建立在使用高階、低損耗電路板的假定條件下,如果是使用損耗比較大的中階電路板材料,PCIe 5.0的信號是跑不到13英吋的。
也因為信號能有效傳輸的距離太短,所以業(yè)界發(fā)展出兩種解決方案,一種是用高架纜線的方式,讓Tx跟Rx直線互連(圖2);另一種則是在信號傳輸一段距離后,用Retimer還原PCIe 5.0的信號,讓信號得以傳輸到更遠的地方。這兩種方法都會增加成本與主機板設計的複雜度,但已經是沒有選擇的解法。
圖2 由于PCIe 5.0的信號傳輸距離很短,在主機板上用高架纜線實現直接互連,成為克服距離限制的方法之一
所以,PCI SIG在制定6.0標準的時候,在電氣特性的規(guī)范方面,盡可能跟5.0維持一致,可說是相當明智的選擇。如果6.0 標準又對電氣特性定出更嚴格的規(guī)范,要把這項標準實際應用在可量產的產品上,將十分困難。
物理極限高牆橫亙眼前伺服器微型化或為解方
雖然PCIe 6.0依靠新的編碼方式,在電氣特性規(guī)范、信號傳輸距離與5.0大致保持一致的條件下,實現頻寬倍增的設計目標,但考量到PCIe 5.0本身的信號傳輸距離就已經很短的情況下,主攻高性能運算市場的業(yè)者,在規(guī)劃其產品發(fā)展路線圖的時候,恐怕還是得想辦法把伺服器設計的微型化列為必須攻克的議題。畢竟,傳統機架式伺服器的外觀尺寸,對先進的高速互聯技術而言,已經太過龐大,必須在板上使用更多元件來延長信號傳輸距離。
事實上,近幾年在伺服器產業(yè)內,也已經有很多新產品放棄了傳統機架外觀,以便把伺服器整機做得更加小巧。原本主攻嵌入式運算領域的COM Express陣營,也正在全力朝HPC發(fā)展,試圖以更精巧的外觀,幫助伺服器用戶實現更高的運算密度。
產品微型化一直是電子產業(yè)發(fā)展的主要趨勢,只是在伺服器產業(yè),因為要配合生態(tài)系的緣故,產品外觀尺寸的演進速度,相對緩慢許多。展望未來,在高速傳輸介面的發(fā)展,越來越逼近物理極限的情況下,伺服器產業(yè)將有更充分與迫切的理由,發(fā)展出更微型化的產品。