R2 是 Cloudflare 推出的對象存儲服務(wù)，主要幫助客戶存儲靜態(tài)文件例如圖片或者軟件安裝程序等，昨天夜里 R2 及相關(guān)服務(wù)發(fā)生 1 小時 7 分鐘的全球中斷。

這次中斷導(dǎo)致全球范圍內(nèi)的用戶出現(xiàn) 100% 的寫入失敗 (也就是添加新文件) 和 35% 的讀取失敗 (因?yàn)橛?CDN 緩存所以并未出現(xiàn) 100% 失敗)。

至于原因 Cloudflare 倒是很快就完成調(diào)查：R2 服務(wù)在進(jìn)行憑證輪換時，憑證被錯誤地部署到生產(chǎn)環(huán)境而非開發(fā)環(huán)境，當(dāng)舊憑證被刪除時 R2 生產(chǎn)環(huán)境實(shí)際上沒有有效的憑證。

但由于 R2 對象存儲的工作方式，其發(fā)生中斷后出現(xiàn)錯誤時循序漸進(jìn)的，這導(dǎo)致 Cloudflare 未能及時發(fā)現(xiàn)問題，進(jìn)而導(dǎo)致發(fā)生 1 個多小時后才完成修復(fù)。

問題發(fā)生原因里還有個細(xì)節(jié)，部署憑證輪換時有個命令行是 –env produciton，該命令行代表部署到生成環(huán)境，但這個命令行被忽略進(jìn)而默認(rèn)部署到測試環(huán)境。

Cloudflare 透露忽略這個命令行標(biāo)志是工程師的人為錯誤，所以要求后續(xù)部署時使用自動化工具避免再次出現(xiàn)這類人為錯誤。

此次問題導(dǎo)致 R2 及其相關(guān)服務(wù)出現(xiàn)如下中斷：

R2 對象存儲：百分百寫入失敗和 35% 讀取失敗

緩存預(yù)留：由于讀取失敗導(dǎo)致源流量大幅度增加

圖像和流：所有上傳失敗，圖像傳輸率下降至 25%，流傳輸流下降至 94%

其他錯誤：導(dǎo)致電子郵件安全、矢量化、日志傳送、計費(fèi)、密鑰透明度審計全部出現(xiàn)服務(wù)下降

目前 Cloudflare 正在改進(jìn)憑證日志記錄和驗(yàn)證，現(xiàn)在要求使用自動化工具來規(guī)避人為錯誤，在 2 月份的時候 Cloudfalre R2 也出現(xiàn)類似錯誤并且也是人為錯誤，當(dāng)時 Cloudflare 工程師在處理釣魚鏈接時不慎關(guān)閉了整個 R2 服務(wù)。

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/