QQ郵箱——騰訊IPv6規(guī)模部署和應(yīng)用案例

作者：騰訊企業(yè)郵箱    發(fā)布時(shí)間：2023-08-11 19:58:38  訪問量：1656  

QQ郵箱——騰訊IPv6規(guī)模部署和應(yīng)用案例

一、概述

2017年底，中共中央辦公廳、國務(wù)院辦公廳聯(lián)合印發(fā)《推進(jìn)互聯(lián)網(wǎng)協(xié)議第六版(IPv6)規(guī)模部署行動(dòng)計(jì)劃》，明確提出“用5到10年時(shí)間，形成下一代互聯(lián)網(wǎng)自主技術(shù)體系和產(chǎn)業(yè)生態(tài)，建成全球最大規(guī)模的IPv6商業(yè)應(yīng)用網(wǎng)絡(luò)，實(shí)現(xiàn)下一代互聯(lián)網(wǎng)在經(jīng)濟(jì)社會(huì)各領(lǐng)域深度融合應(yīng)用，成為全球下一代互聯(lián)網(wǎng)發(fā)展的重要主導(dǎo)力量”的目標(biāo)。隨后中央網(wǎng)信辦、工業(yè)和信息化部連續(xù)三年發(fā)文推動(dòng)IPv6改造工作，鼓勵(lì)和支持國內(nèi)用戶量排名前100位的商業(yè)網(wǎng)站及應(yīng)用支持IPv6接入。

二、案例描述

1、案例介紹

QQ郵箱自2002年上線，其依托于騰訊集團(tuán)及騰訊云強(qiáng)大的基礎(chǔ)網(wǎng)絡(luò)能力，向用戶提供安全、穩(wěn)定、快速、便捷的電子服務(wù)。自推出服務(wù)以來，因其簡潔易用，良好的用戶體驗(yàn)，深受廣大用戶喜愛，目前已成為中國大陸最受歡迎的免費(fèi)郵箱服務(wù)產(chǎn)品。

2、架構(gòu)設(shè)計(jì)

圖1 QQ郵箱總體架構(gòu)圖

1)GSLB提供DNS以及httpdns解析，為用戶返回最近的接入點(diǎn)。

2)TGW作為統(tǒng)一接入網(wǎng)關(guān)，實(shí)現(xiàn)多網(wǎng)統(tǒng)一接入以及自動(dòng)負(fù)載均衡。

3)PROXY提供邏輯層的功能路由。

4)LOGIC提供郵箱各項(xiàng)功能及服務(wù)。

3、實(shí)施方案

QQ郵箱的改造主要包括以下幾個(gè)部分：支持AAAA記錄、雙棧改造、客戶端改造、PROXY及LOGIC改造，其中GSLB作為最基礎(chǔ)的流量調(diào)度，是此次改造最基礎(chǔ)的部分。

3.1 支持AAAA記錄

用戶訪問互聯(lián)網(wǎng)的服務(wù)一般都是使用域名，在IPv6到來的時(shí)代，如何將域名轉(zhuǎn)換成對應(yīng)的IPv6地址，DNS的AAAA記錄發(fā)揮著重要作用。

圖2 用戶請求域名AAAA記錄示意圖

AAAA解析實(shí)際上并不能完全實(shí)現(xiàn)IPv6時(shí)代業(yè)務(wù)流量的精準(zhǔn)調(diào)度，此時(shí)的GSLB權(quán)威還是只支持IPv4鏈路的請求，對于用戶使用IPv6鏈路過來的請求到達(dá)不了GSLB的權(quán)威服務(wù)器，那么接下來需要做的就是對GSLB進(jìn)行雙棧改造。

3.2 雙棧改造

雙棧改造主要涉及到兩個(gè)部分，一個(gè)是GSLB權(quán)威雙棧的開發(fā)，另一個(gè)則是GSLB權(quán)威雙棧的灰度上線。

3.2.1 開發(fā)部分

圖3 GSLB權(quán)威示意圖

對于GSLB權(quán)威雙棧的開發(fā)，主要分三步走：數(shù)據(jù)的同步、雙棧協(xié)議的實(shí)現(xiàn)、域名的解析。

1)地址庫同步

在支持雙棧鏈路之后，用戶會(huì)通過IPv6鏈路訪問權(quán)威服務(wù)器，那么IPv6地址庫也就成了GSLB必不可少的一環(huán)。

2)雙棧協(xié)議的實(shí)現(xiàn)

GSLB權(quán)威服務(wù)基于DPDK實(shí)現(xiàn)，摒棄了Linux內(nèi)核協(xié)議棧，那么在處理雙棧鏈路請求的時(shí)候，需要自己處理IPv4以及IPv6協(xié)議，保證解析的高效和穩(wěn)定。

3)域名解析

對于用戶的域名請求，根據(jù)用戶請求的IP地址或者攜帶的IP地址(ECS)，判斷IP地址的歸屬，然后根據(jù)IP對應(yīng)的地址庫(IPv4查找IPv4的地址庫，IPv6則查找IPv6的地址庫)，查找對應(yīng)的國家-省份-運(yùn)營商信息，返回該域名最匹配的RR記錄，實(shí)現(xiàn)雙棧的流量調(diào)度。

3.2.2 灰度部分

初版IPv6地址庫通過手工方式生成完畢，業(yè)務(wù)側(cè)需求高漲，在此背景下，灰度上量成了最迫切的需求，如何保證雙棧權(quán)威的解析系統(tǒng)可以正常使用，同時(shí)也保證灰度過程全程可控呢?

此時(shí)，通過上線一套獨(dú)立的雙棧權(quán)威解析系統(tǒng)，新建testipv6.com域名后綴授權(quán)到雙棧權(quán)威，該后綴域名在控制面可以通過日常域名操作平臺進(jìn)行域名的增刪改查操作，解析面通過支持雙棧地址庫同步的agent同步IPv4和IPv6地址庫到權(quán)威服務(wù)器，對于存量業(yè)務(wù)，不更改接入域名的前提，建議業(yè)務(wù)通過小流量地區(qū)+運(yùn)營商cname到雙棧權(quán)威域名的方式進(jìn)行域名解析。

3.3 客戶端的改造

客戶端改造的重點(diǎn)在于，用戶雙棧環(huán)境下，優(yōu)先使用IPv6鏈路，當(dāng)IPv6鏈路不通或者質(zhì)量不好的情況下，可以盡快切到IPv4鏈路，保障客戶端使用體驗(yàn)。

1)雙棧下IPv6優(yōu)先

客戶端的改造重點(diǎn)在于保障用戶接入質(zhì)量的前提下完成雙棧優(yōu)先IPv6的改造要求，以及在IPv6單棧情況下可以直接訪問接入通道。

2)失敗回退

當(dāng)前支持IPv6的用戶，基本都為雙棧用戶，因此可以基于測速邏輯、失敗重試、緩存最優(yōu)接入IP等方式實(shí)現(xiàn)出現(xiàn)錯(cuò)誤后回退到IPv4.

3)灰度可控

支持基于用戶id、省份/運(yùn)營商的灰度能力，保證質(zhì)量可控。

3.4 PROXY及邏輯服務(wù)改造

郵箱服務(wù)歷史久遠(yuǎn)，郵箱服務(wù)中，有大量基于IP地址的邏輯，因此改造過程幾乎涉及郵箱服務(wù)的所有功能模塊。

改造的步驟也是先進(jìn)行后端的邏輯改造，首先完成反垃圾基礎(chǔ)頻率服務(wù)、郵件身份識別等改造。同時(shí)反垃圾識別算法進(jìn)行升級，避免IPv6流量進(jìn)入后，因IP資源泛濫導(dǎo)致垃圾郵件漏過。

其次完成PROXY的IPv6地址傳遞，LOGIC層IP的處理以及日志記錄等一系列和IP相關(guān)的邏輯。

4、安全及可靠性

反垃圾能力，是保證郵件服務(wù)基礎(chǔ)體驗(yàn)的核心，在改造中，針對IPv6.我們主要做了以下準(zhǔn)備：

1)IPv6地址庫，用于判斷用戶登錄地、運(yùn)營商做異常登錄判斷;

2)IPv6屬性庫，建議基于IPv6地址的畫像，積累IPv6的行為屬性特征、郵件行為特征;

3)IPv6聚集算法，在IPv4時(shí)代，我們可以通過IPC來進(jìn)行聚集。IPv6時(shí)代，我們根據(jù)IPv6的分配原則以及業(yè)務(wù)上的特征，在不同的場景使用不同的聚類算法。

三、實(shí)施效果

經(jīng)過多方面的改造升級，目前QQ郵箱已全面上線，全部功能支持IPv6協(xié)議訪問。對所有用戶進(jìn)行了IPv6放量支持，只要用戶網(wǎng)絡(luò)環(huán)境及終端設(shè)備支持IPv6協(xié)議，在使用QQ郵箱時(shí)即可通過IPv6協(xié)議來訪問。在雙棧環(huán)境下，IPv6流量占比約占87%。

掃碼加交流群，相互學(xué)習(xí)，一起解決工作中遇到的問題

聲明：本文由騰訊企業(yè)郵箱收集整理的《QQ郵箱——騰訊IPv6規(guī)模部署和應(yīng)用案例》，如轉(zhuǎn)載請保留鏈接:http://www.sanlihs.com/news_in/2049