公众号关注 「奇妙的 Linux 世界」
设为「星标」，每天带你玩转 Linux ！
Visual ChatGPT 连接了 ChatGPT 和一系列的 Visual Foundation 模型，以便在聊天过程中发送和接收图像。
下图为演示效果：
对该应用实现感兴趣的可以查看其论文 Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models(https://arxiv/abs/2303.04671)。
整个系统架构如下所示：
要安装的话可以安装下面的命令步骤进行：
# create a new environment
conda create -n visgpt python=3.8
# activate the new environment
conda activate visgpt
# prepare the basic environments
pip install -r requirement.txt
# download the visual foundation models
bash download.sh
# prepare your private openAI private key
export OPENAI_API_KEY={Your_Private_Openai_Key}
# create a folder to save images
mkdir ./image
# Start Visual ChatGPT !
python visual_chatgpt.py下面列出了每个视觉基础模型的 GPU 内存使用情况，可以修改 self.tools 使用较少的视觉基础模型来节省您的 GPU 内存：
| Foundation Model | Memory Usage (MB) |
|---|---|
| ImageEditing | 6667 |
| ImageCaption | 1755 |
| T2I | 6677 |
| canny2image | 5540 |
| line2image | 6679 |
| hed2image | 6679 |
| scribble2image | 6679 |
| pose2image | 6681 |
| BLIPVQA | 2709 |
| seg2image | 5540 |
| depth2image | 6677 |
| normal2image | 3974 |
| InstructPix2Pix | 2795 |
Github地址：https://github/microsoft/visual-chatgpt
本文转载自：「Github爱好者」，原文：https://tinyurl/5ccdcsnh，版权归原作者所有。欢迎投稿，投稿邮箱: editor@hi-linux。
最近，我们建立了一个技术交流微信群。目前群里已加入了不少行业内的大神，有兴趣的同学可以加入和我们一起交流技术，在 「奇妙的 Linux 世界」 公众号直接回复 「加群」 邀请你入群。
你可能还喜欢
点击下方图片即可阅读
Code to Image: 一款高颜值的代码截图效果美化工具
点击上方图片，『美团|饿了么』外卖红包天天免费领
更多有趣的互联网新鲜事，关注「奇妙的互联网」视频号全了解！
更多推荐
VisualChatGPT: 微软发布可发送和接收图片的 ChatGPT
发布评论