微软最新开源项目Visual-ChatGPT对话生成图像

Visual-ChatGPT是微软最新开源的项目，其实这个关于Visual-ChatGPT这个东西听起来挺高科技的，但背后原理其实很简单，无非就是调用了一些开源项目实现自动化。

简单的来说，本站部署了Visual-ChatGPT，在部署过程中也会自动安装LangChain｜Stable Diffusion ｜ControlNet｜InstructPix2Pix｜CLIPSeg｜BLIP等开源项目，通过您所发送的文字内容，自动调用相关开源项目完成相应的功能。但因为Visual-ChatGPT不知道您具体需要哪一个项目，所以它默认加载了所有模型，这会导致普通玩家的显卡根本无法负担。

关于使用后的出图效果其实很一般，因为全部都过文字描述去执行功能，这真的远没有您点几点鼠标轻松，而且对中文的支持也没有所描述的那样友好，还需要openAI的API接口做为使用条件。高门槛、低效率还有过低的可自定义性，真的非常不推荐。

警告

这不是一般用户能够玩的起的东西，本站最近参考了很多内容都无法通过2080TI来运行起来，因为这个项目需要70GB显存，除非您有8张高性能英伟达显卡，不然真的望尘莫及。

【别走！文章末尾有本站的抽奖活动！】

项目地址

GitHub：microsoft/visual-chatgpt

部署教程

如果您是初学者，对于命令行不太理解，那么请按下键盘上的Win键+R键后，在弹出的新窗口内输入CMD并按下回车，打开CMD窗口，按顺序执行如下的每一条命令。

首先我们需要确认一个工作目录，用来存放visual-chatgpt的相关环境依赖文件。本站所选择的目录为D盘的根目录下openai.wiki文件夹，完整路径为：D:\openai.wiki。

检测D盘目录下是否在openai.wiki文件夹，如果没有openai.wiki文件夹则创建。

if not exist D:\openai.wiki mkdir D:\openai.wiki

执行如下命令，拉取项目至本地目录。

git clone https://github.com/microsoft/visual-chatgpt.git

强制切换工作路径为D盘的openai.wiki\visual-chatgpt文件夹。

cd /d D:\openai.wiki\visual-chatgpt

为不影响电脑中的现有环境，请一定要安装Conda，如果您不知道什么是Conda，或者未安装过Conda，请参考如下文章，安装部署Conda之后再继续以下步骤。

在CMD中执行下面的命令行，创建Conda虚拟环境至该项目的目录中，方便日后重装系统也能够正常使用，无需重新部署环境。

conda create -p D:\openai.wiki\visual-chatgpt\ENV python=3.8

执行完成上面的命令之后，将会在CMD窗口中看到Proceed ([y]/n)?提示，我们直接按下回车即可。

初始化Conda环境，避免后续可能报错。

conda init cmd.exe

激活已创建的Conda环境，这样我们可以将我们后续所需要的所有环境依赖都安装至此环境下。

conda activate D:\openai.wiki\visual-chatgpt\ENV

执行如下命令，通过配置文件批量安装相关依赖库环境。

pip install -r requirements.txt

注意：如果您是Linux系统执行第一行代码，如果您是Windows系统执行第二行代码，不要两个都执行。

关于openAI的API获取，可以自行前往openAI官网注册账号，新账号拥有5美金的API使用额度。

set OPENAI_API_KEY={你的Openai_Key}

export OPENAI_API_KEY={你的Openai_Key}

使用教程

启动Visual ChatGPT!

你可以使用”–load”参数指定GPU/CPU分配，该参数指示要使用的Visual Foundation模型以及将其加载到哪里。

模型和设备用下划线“_”分隔，不同的模型用逗号“,”分隔

可用的Visual Foundation模型可以在下表中找到

例如，如果你想将ImageCaptioning加载到cpu上，将Text2Image加载到cuda:0上

你可以使用: “ImageCaptioning_cpu,Text2Image_cuda:0”

CPU用户建议使用如下方式运行

python visual_chatgpt.py --load ImageCaptioning_cpu,Text2Image_cpu

总结

本文写的比较潦草，因为本站长实在是没有这么高的配置，后续工作完全无法进行测试，70GB的显存劝退了太多人。

但是，为了给感兴趣的人一个机会，本站将会在本文章下留言的用户中，随机抽选一位幸运用户，赠送openAI价值120美元的API授信额度，可用日期截止时间为2023年4月30日。

活动日期截止至2023年4月12日，奖励将会通过邮箱发送，欢迎大家踊跃参与。