
Cloudflare R2對象存儲發(fā)生1小時全球中斷 人為錯誤將憑證部署到開發(fā)環(huán)境
聲明:該文章來自(藍點網)版權由原作者所有,K2OS渲染引擎提供網頁加速服務。
R2 是 Cloudflare 推出的對象存儲服務,主要幫助客戶存儲靜態(tài)文件例如圖片或者軟件安裝程序等,昨天夜里 R2 及相關服務發(fā)生 1 小時 7 分鐘的全球中斷。
這次中斷導致全球范圍內的用戶出現(xiàn) 100% 的寫入失敗 (也就是添加新文件) 和 35% 的讀取失敗 (因為有 CDN 緩存所以并未出現(xiàn) 100% 失敗)。
至于原因 Cloudflare 倒是很快就完成調查:R2 服務在進行憑證輪換時,憑證被錯誤地部署到生產環(huán)境而非開發(fā)環(huán)境,當舊憑證被刪除時 R2 生產環(huán)境實際上沒有有效的憑證。
但由于 R2 對象存儲的工作方式,其發(fā)生中斷后出現(xiàn)錯誤時循序漸進的,這導致 Cloudflare 未能及時發(fā)現(xiàn)問題,進而導致發(fā)生 1 個多小時后才完成修復。
問題發(fā)生原因里還有個細節(jié),部署憑證輪換時有個命令行是 –env produciton,該命令行代表部署到生成環(huán)境,但這個命令行被忽略進而默認部署到測試環(huán)境。
Cloudflare 透露忽略這個命令行標志是工程師的人為錯誤,所以要求后續(xù)部署時使用自動化工具避免再次出現(xiàn)這類人為錯誤。
此次問題導致 R2 及其相關服務出現(xiàn)如下中斷:
R2 對象存儲:百分百寫入失敗和 35% 讀取失敗
緩存預留:由于讀取失敗導致源流量大幅度增加
圖像和流:所有上傳失敗,圖像傳輸率下降至 25%,流傳輸流下降至 94%
其他錯誤:導致電子郵件安全、矢量化、日志傳送、計費、密鑰透明度審計全部出現(xiàn)服務下降
目前 Cloudflare 正在改進憑證日志記錄和驗證,現(xiàn)在要求使用自動化工具來規(guī)避人為錯誤,在 2 月份的時候 Cloudfalre R2 也出現(xiàn)類似錯誤并且也是人為錯誤,當時 Cloudflare 工程師在處理釣魚鏈接時不慎關閉了整個 R2 服務。
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關注數(shù)據(jù)與安全,洞悉企業(yè)級服務市場:https://www.ijiandao.com/
- 1 看總書記關心的清潔能源這樣發(fā)電 7904754
- 2 今年最強臺風來襲 7809700
- 3 澳加英宣布承認巴勒斯坦國 7714396
- 4 長春航空展這些“首次”不要錯過 7619424
- 5 43歲二胎媽媽患阿爾茨海默病 7519993
- 6 iPhone 17橙色斜挎掛繩賣斷貨 7427762
- 7 女子花10萬云養(yǎng)豬生重病難退錢 7328632
- 8 中國消失的森林正“全盤復活” 7232683
- 9 三所“零近視”小學帶來的啟示 7144065
- 10 老奶奶去世3年 鄰居幫打掃門前落葉 7040808