
Transformers.js瀏覽器里直接跑大模型摳圖
聲明:該文章來自(一灰灰blog)版權(quán)由原作者所有,K2OS渲染引擎提供網(wǎng)頁加速服務(wù)。
摳圖的場景大家應(yīng)該很熟悉了,使用大模型來摳圖也屬于很常見的功能了,但是在操作一些相對隱私的圖片總會有一點點擔心。那么在自己的電腦上跑一個大模型? 電腦的性能夠嗆! 難道就沒有什么離線的大模型可以用嘛?
相信很多小伙伴都聽過Transformers.js,一個JavaScript庫,它允許開發(fā)者在瀏覽器或Node.js環(huán)境中使用Hugging Face的預(yù)訓練機器學習模型,無需服務(wù)器支持
最近花了一點時間(主要是借助豆包)來寫了一個網(wǎng)頁,支持在瀏覽器本地直接跑RMBG V1.4模型,實現(xiàn)離線的智能摳圖功能。 下來看看整體的表現(xiàn)情況
支持本地上傳圖片、粘貼上傳圖片、拖拽上傳圖片三種方式;首次訪問網(wǎng)頁時,會自動下載大模型(約40M),下載成功之后會在提示區(qū)域顯示“模型已加載完成”,之后所有的操作將基于用戶的瀏覽器進行操作,無后端交互,隱私無憂
實際體驗
有興趣的小伙伴可以實際體驗,訪問地址:https://ai.hhui.top/app/rmBg.html
它的核心玩法很簡單粗暴:
1.打開網(wǎng)頁。2.選擇本地圖片(或拖拽或粘貼一個圖片)。3.點擊開始處理圖片4.幾秒后(看圖片大小和機器性能),摳好的圖直接顯示/下載。
這體驗就絲滑了:
?速度起飛:?省了上傳下載的大頭時間,處理速度就看用戶本機CPU/GPU了。?隱私拉滿:?用戶數(shù)據(jù)本地處理,安全感爆棚,合規(guī)風險驟降。?零成本調(diào)用:?對開發(fā)者/服務(wù)提供方來說,沒有圖片傳輸?shù)膸挸杀?,沒有按次調(diào)用的API費用,服務(wù)器壓力?不存在的!?開箱即用:?用戶不用裝軟件,不用注冊,打開就用,用完就走。
關(guān)鍵技術(shù)說明
怎么做到的?關(guān)鍵點在這兒(技術(shù)老鐵們看過來):
1.模型本地化:?這個網(wǎng)頁背后,在首次加載時(或按需),把訓練好的摳圖模型(onnx)直接下載到了用戶的瀏覽器緩存里。模型大小約40M,百兆網(wǎng)速的小伙伴也就是幾秒的加載時間。2.瀏覽器內(nèi)推理引擎:?依靠的是強大的?transformers.js?。它們提供了在瀏覽器JavaScript環(huán)境中直接加載和運行AI模型的能力。
對咱們開發(fā)者有啥啟發(fā)?
1.邊緣計算的魅力:?這就是“邊緣計算”在Web端的生動體現(xiàn)啊!把計算負載從中心服務(wù)器下放到終端設(shè)備(瀏覽器),解決延遲、隱私、成本問題。想想看,除了摳圖,像簡單的圖像分類、風格遷移、文本摘要、甚至輕量級的語音識別,是不是都有可能搬到瀏覽器里?2.Web ML 生態(tài)成熟:?transformers.js、ONNX Runtime Web、TensorFlow.js 這些工具鏈越來越成熟,讓在Web端部署和運行(尤其是優(yōu)化后的)模型不再是天方夜譚。前端工程師的武器庫又豐富了!3.用戶體驗新思路:?對于需要處理用戶本地數(shù)據(jù)的應(yīng)用(圖片、文檔、音視頻片段),“本地優(yōu)先”?的處理策略能極大提升用戶體驗和信任度。這個摳圖工具就是個很好的樣板。4.模型優(yōu)化是王道:?瀏覽器環(huán)境資源有限(內(nèi)存、算力),模型必須輕量化、高效化。這倒逼我們在模型設(shè)計、剪枝、量化、格式轉(zhuǎn)換上做更多優(yōu)化工作。
值得一試嗎?
當然!無論你是:
?好奇寶寶:?想看看瀏覽器里跑模型到底啥感覺??前端攻城獅:?想探索Web ML的可能性邊界??后端/全棧:?在琢磨如何降低服務(wù)端負載、優(yōu)化成本結(jié)構(gòu)??產(chǎn)品經(jīng)理:?在尋找提升用戶體驗、增強隱私賣點的方案?
這個網(wǎng)頁都值得你點開玩一玩:https://ai.hhui.top/app/rmBg.html
實際體驗感受:
?首次加載可能需要下載模型(40MB級別),有點耐心。?摳圖速度取決于你電腦性能,實測普通照片幾秒到十幾秒搞定,效果在瀏覽器里跑成這樣相當不錯了(當然不能和頂級桌面軟件比)。?最大的爽點:圖片真的沒上傳!打開瀏覽器開發(fā)者工具 - 網(wǎng)絡(luò)(Network)標簽頁,你會看到除了加載網(wǎng)頁本身和模型文件,處理過程中沒有任何圖片上傳的請求!?這感覺,踏實。
最后叨叨:
這個網(wǎng)頁雖然是個工具,但它展示的思路非常有價值。隨著Web ML技術(shù)的進步和終端設(shè)備算力的提升,把更多AI能力“沉”到瀏覽器端,會是優(yōu)化用戶體驗、降低成本、保護隱私的一個重要方向。對于隱私優(yōu)先的小伙伴,不妨收藏一波
鏈接再放一次,動手試試吧:?https://ai.hhui.top/app/rmBg.html
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全,洞悉企業(yè)級服務(wù)市場:https://www.ijiandao.com/
- 1 “花兒為什么這樣紅” 7904673
- 2 70萬一針救命藥進醫(yī)保 7808044
- 3 用1分錢做“暗號”的食堂阿姨火了 7713486
- 4 去新疆的100個理由 7615786
- 5 霸總要沒了?廣電出手規(guī)范管理短劇 7522222
- 6 老人用手機哄5歲孫子 致1000度近視 7428699
- 7 全球首例!中國航母福建艦創(chuàng)紀錄 7333788
- 8 日本網(wǎng)友贊嘆福建艦:真的太帥了 7232397
- 9 中國今年出了三位A類影后 7138398
- 10 國慶中秋假期何時出門不堵?官方預(yù)測 7042902