科技
设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:科技 > 快讯 >

本地化部署类ChatGPT服务,搭配贝锐花生壳实现无公网IP远程访问

本地化部署类ChatGPT服务,搭配贝锐花生壳实现无公网IP远程访问
2023-07-07 18:45:55 来源:财讯网

Stable Diffuison Web UI是最近非常热门AI绘图工具,它可将非常复杂的AI绘画流程转化为可视化的网页界面。在类ChatGPT大型语言模型方面,同样也有类似的开源工具——Text generation web UI(github项目:oobabooga/text-generation-webui)。

Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面,不仅可以提高使用效率,还可满足私有化部署,或对模型进行自定义。目前,该Web UI已经支持了许多流行的语言模型,包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等。

而且,Text generation web UI部署非常简便,不仅在github主页上直接提供了一键部署安装包,同时由于是web UI形式,如果需要远程访问、使用,也可搭配贝锐花生壳之类的内网穿透工具,在没有公众IP、不设置路由的情况下,快速实现异地访问,打造私有的类ChatGPT服务。

Text generation web UI本地部署+贝锐花生壳内网穿透实现远程访问的过程如下:

Text generation web UI本地部署

1.在github主页下载系统对应的一键安装包,以Windows为例,运行start_windows.bat即可一键下载依赖环境,并自动安装。

2.完成后,进入Text generation web UI所在目录,下载所需的语言模型,具体可看github主页,例如使用如下命令:

python download-model.py facebook/opt-1.3b

3.完成模型下载后,再次运行start_windows.bat就能启动Web UI,不过此时只能本地浏览器访问,如需远程或外部使用,还需搭配贝锐花生壳内网穿透,安装部署过程同样简便。

贝锐花生壳内网穿透安装&设置

1.首先,在贝锐官网下载、安装花生壳的客户端,并在安装完成后,登录注册好的贝锐帐号。

值得一提的是,花生壳除了支持Windows、Mac、Linux、树莓派、OpenWRT、Android等多种操作系统及设备,还提供了硬件——花生壳盒子,适用于一些不方便安装软件客户端的场景。

2.在花生壳主界面的内网穿透一栏点击添加映射,进入云端管理平台,根据提示信息填写,提交后就会自动生成外网访问地址。

3.当用户需要远程访问Text generation web UI时,只需要在浏览器中输入贝锐花生壳生成的外网访问地址即可。

总之,使用贝锐花生壳实现远程访问Text generation web UI的过程非常简便,只需要根据上述步骤进行操作就行,如果对私有化的类ChatGPT服务有所需求,不妨可以参考下。

 

关键词:

责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

发票软件代理首选标普云数票通,共享业财税企服软件千亿市场

2023-07-07 12:46:00发票软件代理首选标普云数票通,共享业财税企服软件千亿市场

桌面和服务器操作系统市占率双第一 ,麒麟软件致力打造世界级操作系统中国品牌

2023-07-06 12:48:34桌面和服务器操作系统市占率双第一 ,麒麟软件致力打造世界级操作系统中国品牌

见证网信赛场上的中国标准!2023操作系统产业大会7月5日盛大开启

2023-07-04 10:44:15见证网信赛场上的中国标准!2023操作系统产业大会7月5日盛大开启

​千里同行!浙江中力2023年度新产品新技术发布大会圆满召开!

2023-07-03 11:44:13​千里同行!浙江中力2023年度新产品新技术发布大会圆满召开!

号外:用雄心定义电摩

2023-07-03 10:18:14号外:用雄心定义电摩

法狗狗LegalChat法律大模型应用平台发布

2023-06-27 13:06:49法狗狗LegalChat法律大模型应用平台发布

相关新闻

最新资讯