網(wǎng)上有很多關(guān)于離線pos機刷美金,一文看懂業(yè)界在離線混部技術(shù)的知識，也有很多人為大家解答關(guān)于離線pos機刷美金的問題，今天pos機之家(www.bulldancerbisonranch.com)為大家整理了關(guān)于這方面的知識，讓我們一起來看下吧!
本文目錄一覽：
離線pos機刷美金
1 前言剛剛過去的 2021 年，在全球經(jīng)濟增長放緩、疫情時起時伏、中美關(guān)系摩擦不斷、國家平臺監(jiān)管趨嚴(yán)等宏觀趨勢疊加影響下，很多互聯(lián)網(wǎng)廠商都遭遇了明顯的市值下滑以及虧損加大，裁員消息時有耳聞，所以在 2022 年，降本增效無疑將進一步成為業(yè)界大勢所趨。
在保持業(yè)務(wù)形態(tài)和投入不變的前提下，降本增效一個顯而易見的方法是提升現(xiàn)有資源利用率，而造成資源利用率不高的原因主要有如下幾個：
粗放的資源評估：研發(fā)更關(guān)注如何快速穩(wěn)定的迭代產(chǎn)品需求，所以在服務(wù)部署時，一般按照最大流量來估計服務(wù)所需資源。但在線服務(wù)大都具有明顯的潮汐特征，導(dǎo)致大部分時間段資源利用率都很低（10%以下）從而造成浪費。集群資源整合度不高：服務(wù)器的資源占用常常呈現(xiàn)非均衡狀態(tài)，例如在線服務(wù)尤其是調(diào)用主鏈路上的扇出節(jié)點業(yè)務(wù)，高峰期往往呈現(xiàn)出 CPU 和帶寬吃緊，但內(nèi)存綽綽有余的情況。這導(dǎo)致雖然內(nèi)存有冗余，但依然無法聚合等比例的其它閑置資源去形成有意義的計算實體。業(yè)務(wù)部署隔離：因為東西部機房成本差異較大和以及容量規(guī)劃等問題，很多企業(yè)會將在線機房、離線機房完全隔離開，這樣不同 AZ 甚至不同地域間的在離線作業(yè)完全無法融合，資源池也無法互通流轉(zhuǎn)。而在離線混部技術(shù)作為提升資源利用率、降低成本的有效方案，受到業(yè)界的一致認(rèn)可和推薦。
1.1 什么是在離線混部企業(yè)的 IT 環(huán)境通常運行兩大類進程，一類是在線服務(wù)，一類是離線作業(yè)。
在線服務(wù)：運行時間長，服務(wù)流量及資源利用率有潮汐特征，時延敏感，對服務(wù) SLA 要求極高，如消息流 Feed 服務(wù)、電商交易服務(wù)等。離線作業(yè)：運行時間分區(qū)間，運行期間資源利用率較高，時延不敏感，容錯率高，中斷一般允許重運行，如 Hadoop 生態(tài)下的 MapReduce、Spark 作業(yè)。因為在線服務(wù)資源利用率有更明顯的的起伏特征，所以混部的主要場景是通過填充離線作業(yè)把在線服務(wù)各個時段的空閑資源利用起來，減少企業(yè)與日俱增的成本開支。(注：離在線混部計劃另文闡述)
圖 1 混部示意圖
1.2 在離線混部的成本價值為了更形象地了解在離線混部的成本價值，我們來看一個中小型企業(yè)，4 核 8G 的機器一共有 1000 臺，主要計算資源就是 4000 核，8000G。假設(shè)平均每臺機器的資源使用率是 10%，那么實際使用的計算資源是 4000 * 10% = 400 核，8000 * 10% = 800G。如果我們能通過混部將資源利用率提升到 20%，那么我們只需要 500 臺機器即可。假設(shè) CPU 的平均價格是 300 元/核/年，內(nèi)存的平均價格是 180 元/G/年，就可以節(jié)省 2000 * 300 + 4000 * 180 = 132w 元/年。
由此可見，在離線混部的成本價值是清晰可計算且收益巨大的。
業(yè)界實踐來看，谷歌利用混部技術(shù)將資源利用率從 10%提升到 60%，每年節(jié)省上億美金。阿里等大廠也成功借助混部將資源利用率提升了 3 倍以上，成本節(jié)省可觀。
2 在離線混部的技術(shù)門檻在離線混部雖然有明顯的成本價值，但目前真正落地到生產(chǎn)環(huán)境的還是只有頭部的一些大廠。究其原因，主要是在離線混部涉及服務(wù)觀測、調(diào)度部署、容災(zāi)治理等多方面底層技術(shù)難題，甚至還包括組織成本核算、跨部門協(xié)同等非技術(shù)問題，有較高的實施門檻?？偨Y(jié)起來，大致有以下幾大挑戰(zhàn)：
2.1 可觀測性體系可觀測性簡單來說是通過檢查系統(tǒng)輸出來衡量系統(tǒng)內(nèi)部狀態(tài)的能?。從具體輸出項來看，一般包括 metric、trace、log 三種方式，是系統(tǒng)健康運行的基石。在離線混部要追求更高的資源利用率，必然需要借助實時指標(biāo)的反饋做出決策。但是可觀測性在分布式及云原生時代，遇到了以下障礙:
云原生的體系，決定了服務(wù)能力和服務(wù)規(guī)模隨時都在動態(tài)調(diào)整，所以端上數(shù)據(jù)收集 、傳輸?shù)某杀敬蟠笤黾?，極端情況下甚至對服務(wù)本身性能造成侵?jǐn)_?？捎^測性輸出要形成決策意義，需要基于一些維度進行歸并、擬合、建模等操作，包括使用決策樹到 AI 學(xué)習(xí)等一系列分析動作。在大服務(wù)體量和實時變動的背景下，可觀測性輸出的分析時延、準(zhǔn)確性都面臨很大挑戰(zhàn)。可觀測性的可視化以及延展關(guān)聯(lián)分析(BI 報表等)，需要根據(jù)業(yè)務(wù)形態(tài)和需求進行深度定制，復(fù)雜性較高，缺乏直接能用的工具和手段。2.2 調(diào)度決策在離線混部的調(diào)度決策是決定混部效果的核心，目前主要有幾種決策方式：
整機分時復(fù)用：在固定的時間點(比如凌晨以后)跑離線作業(yè)，白天讓出資源給在線服務(wù)。這種以時間維度切分的混部方式比較簡單易理解，但整體資源利用率提升有限。資源部分共享：將單機的資源整體劃分為在線資源、離線資源以及在離線共享資源，各資源之間隔離，提前劃分預(yù)留。這種從單機資源維度切分的混部方式比分時復(fù)用相對更精細(xì)一些，但是需要資源規(guī)格較大的機器切分才有意義。資源完全共享：通過及時準(zhǔn)確的資源預(yù)測手段、快速響應(yīng)資源變化的能力，以及一套可以在資源水位發(fā)生變化時的服務(wù)保障措施，更高效自動化地實現(xiàn)機器資源復(fù)用。資源歸屬不預(yù)設(shè)，完全依據(jù)實時指標(biāo)決策。前一種屬于靜態(tài)決策，相對來說對底層可觀測性體系的要求、對調(diào)度系統(tǒng)的高可用高性能的要求較低。后兩種屬于動態(tài)決策，在資源利用率的提升上比靜態(tài)決策更優(yōu)，但對前述支撐系統(tǒng)要求也更高。
2.3 調(diào)度執(zhí)行由于在線服務(wù)和離線作業(yè)工作模式的差異，往往需要采用不同的調(diào)度器進行調(diào)度（比如 K8s 和 Yarn）?；觳繄鼍跋?，在線調(diào)度器和離線調(diào)度器同時部署在集群中，當(dāng)資源比較緊張的時候，調(diào)度器會發(fā)生資源沖突，只能重試，此時調(diào)度器的吞吐量和調(diào)度性能會受到較大影響，最終影響調(diào)度的 SLA。同時，對于大規(guī)模批量調(diào)度場景，原生的 K8s 只支持在線服務(wù)的調(diào)度，從而帶來改造成本。
2.4 資源隔離容器的本質(zhì)是一個受限制的進程，進程之間通過 namespace 做隔離，cgroups 做資源限制。在云原生時代，大部分業(yè)務(wù)資源都是基于容器來隔離和限制，但是在資源超售疊加混部場景下，CPU、內(nèi)存等方面依然可能存在爭搶。
例如在 CPU 方面，為了保證在線服務(wù)穩(wěn)定性，普遍做法是進行綁核，將在線服務(wù)綁定在某個邏輯核心上避免其他業(yè)務(wù)占用。但是綁核對于有并行計算要求的服務(wù)并不友好，核數(shù)直接決定并行效率。
在內(nèi)存方面，離線作業(yè)往往會讀取大量文件數(shù)據(jù)，導(dǎo)致操作系統(tǒng)會做 page cache，而原生操作系統(tǒng)對 page cache 的管理是全局的，不是容器維度的。
2.5 任務(wù)沖突時的資源保障在線服務(wù)和離線作業(yè)屬于不同的工作類型，將這兩種負(fù)載部署在同一個節(jié)點上，會出現(xiàn)資源干擾，當(dāng)資源緊張或者流量突發(fā)的時候，在線服務(wù)在資源使用上會受到離線作業(yè)的干擾。在離線混部最重要的目標(biāo)，就是在保障在線服務(wù)和離線作業(yè)的 SLA 的同時，最大限度提高單機資源利用率。
針對在線服務(wù)，需要盡量保證其服務(wù)在流量高峰時期，混部前后的指標(biāo)波動控制在 5%之內(nèi)；針對離線作業(yè)，不能因為優(yōu)先級不如在線服務(wù)，就一直處于饑餓或者頻繁驅(qū)逐狀態(tài)，影響離線作業(yè)總的運行時間和 SLA。2.6 服務(wù)平行擴縮容能力將多個業(yè)務(wù)混部到一臺機器或容器，則宕機可能影響十幾個甚至幾十個服務(wù)，這時候就要求服務(wù)有平滑且快速的擴縮容能力，實現(xiàn)分鐘級的業(yè)務(wù)遷移。尤其是存儲類的有狀態(tài)服務(wù)，甚至涉及到存算分離架構(gòu)的改造，從而帶來一系列包括數(shù)據(jù)一致性、響應(yīng)延時的問題。
2.7 部門墻在企業(yè)內(nèi)部，機器的產(chǎn)品線一般是固定的，成本和利用率也是按照產(chǎn)品線計算，所以通常情況下機器是不會在不同部門之間自由流轉(zhuǎn)的。引入在離線混部之后，勢必需要打破部門墻，對成本和資源利用率計算有一個能融合能分解的調(diào)整，才能準(zhǔn)確反映出混部的巨大成本價值并持續(xù)精細(xì)化運營。以下是美團某部門精細(xì)化成本運營后的分解圖：
圖 2 成本指標(biāo)分解圖
3 業(yè)界在離線混部方案解析3.1 方案拆分通過對目前業(yè)界在離線方案方案的分析，我們可以抽象出在離線混部方案的三個劃分維度：
從在離線混部的隔離類型上，可以分為獨占內(nèi)核和共享內(nèi)核，主要取決于混部的服務(wù)內(nèi)核是否獨立。如果服務(wù)是混部于同一臺物理機上，屬于共享內(nèi)核；如分屬于不同物理機，則屬于獨占內(nèi)核。從在離線混部的部署底座上，可以分為物理機部署和容器部署。從在離線混部的調(diào)度決策上，可以分為靜態(tài)決策和動態(tài)決策。判斷標(biāo)準(zhǔn)是調(diào)度決策所依賴的元素是否是運行過程中的實時指標(biāo)。如是則屬于動態(tài)決策，反之則屬于靜態(tài)決策。動態(tài)決策資源利用率更高，但是要做好突發(fā)狀況時的資源保障。這三個維度的組合，目前實際應(yīng)用中主要是獨占內(nèi)核 + 物理機 + 靜態(tài)決策、獨占內(nèi)核 + 容器 + 動態(tài)決策、共享內(nèi)核 + 容器 + 動態(tài)決策這三種模式。
3.2 獨占內(nèi)核 + 物理機 + 靜態(tài)決策這種組合屬于入門級的在離線混部選擇，比如物理機運行服務(wù)且分時整機騰挪。
好處是能夠快速實現(xiàn)在離線混部，收獲成本降低的紅利。技術(shù)門檻上，這種方式規(guī)避了前面說的復(fù)雜的資源隔離問題，并且調(diào)度決策足夠清晰，服務(wù)部署節(jié)奏有明確的預(yù)期，整個系統(tǒng)可以設(shè)計得比較簡單。
缺點是沒有充分發(fā)揮出在離線混部的資源利用率潛力，目前主要是一些初創(chuàng)企業(yè)在應(yīng)用。阿里早期在大促期間，將所有離線作業(yè)節(jié)點下線換上在線服務(wù)，也可以看做這種形態(tài)的近似版本。
3.3 獨占內(nèi)核 + 容器 + 動態(tài)決策在這種模型下，業(yè)務(wù)開發(fā)人員將服務(wù)部署在云原生部署平臺，選擇某些指標(biāo)（大部分伴隨著流量潮汐特性）來衡量服務(wù)負(fù)載，平臺會按照業(yè)務(wù)指定規(guī)則對服務(wù)節(jié)點數(shù)量擴縮容。當(dāng)流量低峰期來臨時，在線服務(wù)會有大量碎片資源可釋放，部署平臺會整理碎片資源，將碎片資源化零為整后，以整機的方式將資源租借給離線作業(yè)使用。
比較典型的是字節(jié)跳動的方案，架構(gòu)圖如下所示:
圖 4 字節(jié)跳動在離線混部架構(gòu)圖
字節(jié)跳動依托于 K8s 與業(yè)務(wù) quota 做整機騰挪的在離線混部，以集群轉(zhuǎn)讓節(jié)點的方式提高整體資源利用率，主要實現(xiàn)思路為：
當(dāng)在線服務(wù)的波谷來臨后，幾乎所有服務(wù)都會因為彈性縮容而導(dǎo)致副本數(shù)降低。從整體上看，集群里節(jié)點上的 Pod 會變得非常稀疏，集群整體資源部署水位也隨之降低。當(dāng)集群的部署水位低于設(shè)置的閾值后，控制面會通過一定規(guī)則選取部分在線節(jié)點，將該節(jié)點上的 Pod 驅(qū)逐到別的節(jié)點上，并標(biāo)記該節(jié)點不可調(diào)度，最后通過某種機制將該節(jié)點加到離線的集群中實現(xiàn)資源的轉(zhuǎn)讓。同理，當(dāng)在線服務(wù)的波峰來臨后，會發(fā)生一個逆向的控制過程，控制面在通知并確保離線任務(wù)撤離后，重新將節(jié)點加回到在線集群中設(shè)置為可調(diào)度狀態(tài)，實現(xiàn)資源的回收。
字節(jié)跳動的方案基于該公司自身的業(yè)務(wù)復(fù)雜度， 使用自定義 quota 而沒有使用 K8s 通用的 hpa；部署方式兩階段混部：白天離線作業(yè)機器給在線服務(wù)使用， 晚上在線服務(wù)器轉(zhuǎn)讓給離線作業(yè)使用；僅支持容器部署，方案并未開源。
由此可見，在獨占內(nèi)核 + 容器 + 動態(tài)決策方案中，業(yè)務(wù)部署服務(wù)的同時制定擴縮容規(guī)則，當(dāng)流量低谷時，平臺按照規(guī)則減少服務(wù)節(jié)點數(shù)量，此時在線資源會釋放碎片資源。當(dāng)碎片資源達(dá)到閾值，會觸發(fā)在線到離線的轉(zhuǎn)讓邏輯，轉(zhuǎn)讓邏輯中首先整合碎片資源，然后將碎片資源整合為物理機，最后將物理機整體租借給離線使用。當(dāng)流量逐漸恢復(fù)后，會觸發(fā)在線回收轉(zhuǎn)讓資源邏輯，在該邏輯下，會逐漸驅(qū)逐離線任務(wù)，將資源回收。由于在線服務(wù)有很強的潮汐特性，可以通過定時定量的方式，比如晚高峰 19 點-23 點，將指定數(shù)量的離線資源轉(zhuǎn)讓給在線服務(wù)使用，當(dāng) 0 點時將轉(zhuǎn)讓的資源返還給離線使用。
3.4 共享內(nèi)核 + 容器 + 動態(tài)決策與上述幾種方案最大的不同在于，轉(zhuǎn)讓的資源規(guī)則是動態(tài)決策的。在一個大企業(yè)中，服務(wù)數(shù)量數(shù)以萬計，要求所有在線服務(wù)制定擴縮容決策是很難做到的。同時，業(yè)務(wù)在部署服務(wù)時更關(guān)注服務(wù)穩(wěn)定性，常常按照最大流量評估資源，這樣就導(dǎo)致流量低峰期有大量的資源浪費。
比較典型的是百度、騰訊、快手的方案，這里以騰訊方案為例：
圖 4 騰訊 Caelus 系統(tǒng)架構(gòu)圖
騰訊在離線混部系統(tǒng) Caelus 以 K8s 為依托，在 K8s 節(jié)點以容器的方式部署離線任務(wù)，實現(xiàn)在線服務(wù)節(jié)點轉(zhuǎn)讓資源給離線作業(yè)，支持特性包括：任務(wù)定級/調(diào)度增強/資源復(fù)用/資源畫像/存算分離/任務(wù)避讓/干擾檢測等。騰訊的方案兼容 Hadoop 生態(tài)，但不支持離線作業(yè)轉(zhuǎn)讓資源給在線服務(wù)。該方案在騰訊內(nèi)部已經(jīng)被大規(guī)模應(yīng)用到廣告、存儲、大數(shù)據(jù)、機器學(xué)習(xí)等多個 業(yè)務(wù)，平均提升 30%資源利用率，節(jié)省了上億成本。通過混部 Hadoop 類離線作業(yè)，大約提高了 60%的 CPU 使用率。
共享內(nèi)核 + 容器 + 動態(tài)決策的方案有兩種資源視角:
在線服務(wù)資源視角，看到的是節(jié)點資源總體容量，比如當(dāng)前物理機上總共有 126 核 CPU；離線作業(yè)資源視角，看到的是節(jié)點的空閑負(fù)載，比如當(dāng)前物理機還有 64 核 CPU 是空閑的；服務(wù)部署時：
在線服務(wù)按照資源總體容量調(diào)度服務(wù)；離線作業(yè)按照節(jié)點空閑負(fù)載調(diào)度服務(wù)；這類模型實施的難度在于資源隔離，如何避免或降低離線對在線的影響是混部方案是否成功的關(guān)鍵。各大廠在資源隔離方面都做了很多努力，比如更全面的指標(biāo)收集、更智能的負(fù)載預(yù)判、更合理的在線資源冗余度、更底層的 eBPF 流量分離等。即使在資源隔離方面做了非常多的努力，還是難以避免共享內(nèi)核模型中離線對在線的影響，方案中一般都搭配著干擾探測，當(dāng)探測到在線服務(wù)受到影響時，及時止損。
4 一種云原生在離線混部解決方案從上述在離線混部方案的分析中可以看出，如果有比較強的研發(fā)實力，能夠較好解決第二部分中講到的幾乎所有技術(shù)門檻，就可以挑戰(zhàn)共享內(nèi)核 + 容器 + 動態(tài)決策組合的方案，以追求極致的資源利用率和成本優(yōu)化效果。如果公司研發(fā)團隊底層技術(shù)積累比較少，想快速、安全、低成本地用上在離線混部，先享受部分混部的成本優(yōu)化紅利，則獨占內(nèi)核+ 容器 + 動態(tài)決策組合的方案是首選。
結(jié)合業(yè)界絕大多數(shù)企業(yè)的業(yè)務(wù)場景，我們推出了一套一站式云原生在離線混部方案，由算力調(diào)度引擎 BridgX，智能運維引擎 CudgX，Web 智能運維產(chǎn)品 SchedulX，運維可觀測系統(tǒng) ComandX 四個組件以及一個在離線整合模塊構(gòu)成，如下圖所示：
圖 5 一種云原生在離線混部方案架構(gòu)圖
BridgX(https://github.com/galaxy-future/bridgx)：算力調(diào)度引擎，在算力層面為在離線混部提供基礎(chǔ)的算力調(diào)度能力，包括跨云調(diào)度能力、K8s 容器、大規(guī)格裸金屬服務(wù)器切割以及快速彈性伸縮能力。SchedulX(https://github.com/galaxy-future/schedulx)：Web 智能運維調(diào)度平臺，主要提供服務(wù)編排、Web 自動擴縮容、任務(wù)調(diào)度、鏡像部署等功能。ComandX(https://github.com/galaxy-future/comandx)：運維可觀測平臺，主要為 BridgX、CudgX、SchedulX 等提供可視化的易操作的解決方案。CudgX(https://github.com/galaxy-future/cudgx)：智能運維引擎，為在離線混部提供自動化壓測、服務(wù)指標(biāo)度量、容量評估等能力，精準(zhǔn)刻畫在離線作業(yè)的資源使用畫像。在離線整合模塊：主要負(fù)責(zé)將資源碎片整合成合理比例的計算單元，形成有意義的算力集合交付給業(yè)務(wù)進程使用。整體的工作流程如下：
事先通過 ComandX 配置好擴縮容模板（包括 BridgX 算力集群、鏡像倉庫、SLB 等）和擴縮容規(guī)則（包括度量指標(biāo)、冗余度、機器數(shù)限制、擴縮容比例等）。隨度量指標(biāo)的變化，可以可視化看到冗余度和機器數(shù)的走勢。CudgX 負(fù)責(zé)收集服務(wù)指標(biāo)，通過配置冗余度規(guī)則保持服務(wù)和節(jié)點的冗余度。當(dāng)流量低峰時，CudgX 對服務(wù)節(jié)點縮容，觸發(fā)在離線整合模塊轉(zhuǎn)讓邏輯。當(dāng)流量高峰時，CudgX 對服務(wù)節(jié)點擴容，觸發(fā)在離線整合模塊回收邏輯。同時 CudgX 評估在線資源的冗余度，當(dāng)在線資源冗余度過低時，CudgX 會觸發(fā) K8s 擴容邏輯，借助 SchedulX 向 BridgX 申請計算資源，完成在線資源申請和 web 自動擴容。當(dāng)資源冗余度回歸正常時則將資源退還，保證資源充足的情況下成本可控。在離線整合模塊負(fù)責(zé)完成轉(zhuǎn)讓和回收邏輯，當(dāng)在離線整合模塊發(fā)現(xiàn)在線資源有足夠多的碎片資源可以回收時，會進行一次碎片資源整理統(tǒng)計，將碎片資源整合為完整物理機轉(zhuǎn)讓給離線業(yè)務(wù)使用。當(dāng)在離線整合模塊發(fā)現(xiàn)在線資源冗余度不足時，會觸發(fā)資源回收邏輯，將轉(zhuǎn)讓給離線業(yè)務(wù)的資源回收，完成回收邏輯。本方案通過內(nèi)核進行資源隔離，優(yōu)點是在離線服務(wù)徹底分離，不存在離線作業(yè)影響在線服務(wù)的可能。
5 總結(jié)在離線混部對資源利用率提升、降低成本都有公認(rèn)的明顯作用，但在離線混部又是一個龐大而復(fù)雜的工程，涉及多個組件以及多個團隊的協(xié)同合作。在離線混部也是一個持續(xù)優(yōu)化的過程。各家大廠都投入了相當(dāng)長的時間研究才開始放量鋪開。我們期望通過借鑒業(yè)界成熟的混部方案，以云原生低門檻一站式的方式讓在離線混部在更多企業(yè)落地，幫助業(yè)務(wù)擺脫成本煩惱，助力企業(yè)成功！
作者介紹：
舒超，星漢未來 CTO，負(fù)責(zé)公司整體研發(fā)工作。2010-2015 年在騰訊擔(dān)任技術(shù)專家，負(fù)責(zé)微博微群、消息流廣告等項目；2015-2021 年在美團任基礎(chǔ)研發(fā)團隊負(fù)責(zé)人及存儲中心架構(gòu)師、資深技術(shù)專家，負(fù)責(zé)美團公司級的云原生服務(wù)治理體系研發(fā)與演進。
以上就是關(guān)于離線pos機刷美金,一文看懂業(yè)界在離線混部技術(shù)的知識，后面我們會繼續(xù)為大家整理關(guān)于離線pos機刷美金的知識，希望能夠幫助到大家！
