
InternGPT視覺交互系統(tǒng)
InternGPT(簡稱?iGPT) /?InternChat(簡稱?iChat) 是一種基于指向語言驅動的視覺交互系統(tǒng),允許你使用指向設備通過點擊、拖動和繪制與 ChatGPT 進行互動。
InternGPT 的名稱代表了?interaction(交互)、nonverbal(非語言)和 ChatGPT。與依賴純語言的現(xiàn)有交互系統(tǒng)不同,通過整合指向指令,iGPT 顯著提高了用戶與聊天機器人之間的溝通效率,以及聊天機器人在視覺為中心任務中的準確性,特別是在復雜的視覺場景中。
此外,在 iGPT 中,采用輔助控制機制來提高 LLM 的控制能力,并對一個大型視覺 - 語言模型?Husky?進行微調,以實現(xiàn)高質量的多模態(tài)對話(在 ChatGPT-3.5-turbo 評測中達到?93.89% GPT-4 質量)。
主要功能使用:
在圖片上傳成功后,你可以發(fā)送如下消息與 iGPT 進行多模態(tài)相關的對話:"what is it in the image?"?or?"what is the background color of image?".
你同樣也可以交互式地操作、編輯或者生成圖片,具體如下:
點擊圖片上的任意位置,然后按下?Pick?按鈕,預覽分割區(qū)域。你也可以按下?OCR?按鈕,識別具體位置處存在的所有單詞;
要在圖像中?刪除掩碼區(qū)域,你可以發(fā)送如下消息:“remove the masked region”;
要在圖像中?替換掩碼區(qū)域的物體為其他物體,你可以發(fā)送如下消息:“replace the masked region with {your prompt}”;
想?生成新圖像,你可以發(fā)送如下消息:“generate a new image based on its segmentation describing {your prompt}”;
想通過?涂鴉創(chuàng)建新圖像,你應該按下?Whiteboard?按鈕并在白板上繪制。繪制完成后,你需要按下?保存?按鈕并發(fā)送如下消息:“generate a new image based on this scribble describing {your prompt}”。
系統(tǒng)概覽:
主要功能
A) 移除遮蓋的對象
B) 交互式圖像編輯
C) 圖像生成
D) 交互式視覺問答
E) 交互式圖像生成
F) 視頻高光解說
安裝
基本要求
Linux
Python 3.8+
PyTorch 1.12+
CUDA 11.6+
GCC & G++ 5.4+
GPU Memory > 17G 用于加載基本工具 (HuskyVQA, SegmentAnything, ImageOCRRecognition)
安裝 Python 的依賴項
pip install -r requirements.txt
[超站]友情鏈接:
四季很好,只要有你,文娛排行榜:https://www.yaopaiming.com/
關注數(shù)據(jù)與安全,洞悉企業(yè)級服務市場:https://www.ijiandao.com/

隨時掌握互聯(lián)網精彩
- 1 傳統(tǒng)產業(yè)“綠”動“智”變 7904572
- 2 廣東氣象罕見提醒:做好巨災防御準備 7808371
- 3 “南天門計劃”有50萬字了 7712926
- 4 殲-20的首次靜態(tài)展示有何重要意義 7619277
- 5 女兒發(fā)現(xiàn)父親500多萬遺產用于保健 7523967
- 6 始祖鳥事件后 多戶外品牌集體表態(tài) 7425748
- 7 為阻止印籍員工返美 美國人組團搶票 7334291
- 8 菲軍方宣布“紅色警戒”狀態(tài) 7234323
- 9 員工下班途中騎車倒地身亡算工傷嗎 7141834
- 10 大爺蹲點進周杰倫演唱會賣水:5元1瓶 7046023