Stable Diffuison Web UI是最近非常热门AI绘图工具,它可将非常复杂的AI绘画流程转化为可视化的网页界面。在类ChatGPT大型语言模型方面,同样也有类似的开源工具——Text generation web UI(github项目:oobabooga/text-generation-webui)。
Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面,不仅可以提高使用效率,还可满足私有化部署,或对模型进行自定义。目前,该Web UI已经支持了许多流行的语言模型,包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等。
而且,Text generation web UI部署非常简便,不仅在github主页上直接提供了一键部署安装包,同时由于是web UI形式,如果需要远程访问、使用,也可搭配贝锐花生壳之类的内网穿透工具,在没有公众IP、不设置路由的情况下,快速实现异地访问,打造私有的类ChatGPT服务。
Text generation web UI本地部署+贝锐花生壳内网穿透实现远程访问的过程如下:
Text generation web UI本地部署
1.在github主页下载系统对应的一键安装包,以Windows为例,运行start_windows.bat即可一键下载依赖环境,并自动安装。
2.完成后,进入Text generation web UI所在的目录,下载所需的语言模型,具体可看github主页,例如使用如下命令:
python download-model.py facebook/opt-1.3b
3.完成模型下载后,再次运行start_windows.bat就能启动Web UI,不过此时只能本地浏览器访问,如需远程或外部使用,还需搭配贝锐花生壳内网穿透,安装部署过程同样简便。
贝锐花生壳内网穿透安装&设置
1.首先,在贝锐官网下载、安装花生壳的客户端,并在安装完成后,登录注册好的贝锐帐号。
值得一提的是,花生壳除了支持Windows、Mac、Linux、树莓派、OpenWRT、Android等多种操作系统及设备,还提供了硬件——花生壳盒子,适用于一些不方便安装软件客户端的场景。
2.在花生壳主界面的内网穿透一栏点击添加映射,进入云端管理平台,根据提示信息填写,提交后就会自动生成外网访问地址。
3.当用户需要远程访问Text generation web UI时,只需要在浏览器中输入贝锐花生壳生成的外网访问地址即可。
总之,使用贝锐花生壳实现远程访问Text generation web UI的过程非常简便,只需要根据上述步骤进行操作就行,如果对私有化的类ChatGPT服务有所需求,不妨可以参考下。
责任编辑:kj005
文章投诉热线:156 0057 2229 投诉邮箱:29132 36@qq.com7月1日至7日,沙特阿拉伯通信与信息技术部部长Abdullah Al-Swaha在中国进行了为期一周的深度访问。7月2...
7月1日至7日,沙特阿拉伯通信与信息技术部部长Abdullah Al-Swaha在中国进行了为期一周的深度访问。7月2...