科技
设为书签Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。
业 界/ 互联网/ 行 业/ 通 信/ 数 码/ 手 机/ 平 板/ 笔记本/ 相 机
当前位置:科技 > 快讯 >

localGPT+贝锐花生壳,搭建可随时随地访问的私有“ChatGPT”

localGPT+贝锐花生壳,搭建可随时随地访问的私有“ChatGPT”
2023-07-24 16:50:36 来源:百家号

这段是时间ChatGPT是大家的关注焦点,不过ChatGPT虽然强大、好用,但存在不少限制,比如:访问麻烦、不支持私有化部署……这些问题也间接带动了大量的类ChatGPT服务,以及各种开源方案,基于PrivateGPT衍生的localGPT就是其中之一。

localGPT支持和本地文档内容进行交互,可实现对本地的文档进行检索问答。根据官方主页的介绍,localGPT主要使用Vicuna-7B模型替换了GPT4ALL模型,并使用InstructorEmbeddings代替原始privateGPT中使用的LlamaEmbeddings。而且,Embeddings和LLM都可在GPU上运行,支持CPU。

不过,由于localGPT采用的是私有化部署方式,在没有固定公网IP、不方便设置路由、网关的环境下,如何才能快速解决远程访问需求呢?

答案之一就是使用贝锐花生壳这样的内网穿透工具,实现localGPT这类私有化部署服务的远程访问,无需公网IP、无需搭建专线,甚至不需要设置路由、网关就能一键穿透。值得一提的是。另外,贝锐花生壳还提供了企业级的服务方案,除了测试用途,它还能满足实际多用户访问的使用场景。

以远程访问自带WebUIlocalGPT服务(github项目:PromtEngineer/localGPT)为例:

1-1.安装Python 3.10以上环境后,将localGPT项目拉取到本地,运行pip install -r requirements.txt即可自动安装,如果遇到错误可参考项目主页下方的System Requirements部分进行解决。

1-2.随后,将需要使用的文档放置在SOURCE_DOCUMENTS目录,执行python ingest.py命令提取数据,完成后即可运行python run_localGPT_API.py,并进入/LOCALGPT/localGPTUI,使用python localGPTUI.py命令启动WebUI。

此时,localGPT只能通过本地局域网IP地址+端口号的形式访问,比如:127.0.0.1:5111,实现远程访问还需搭配贝锐花生壳内网穿透。

2-1.在贝锐官网下载对应系统的客户端,然后注册、登录。

2-2.在贝锐花生壳主界面根据引导新增映射,填入localGPT WebUI的局域网IP和端口等信息即可。

添加完映射后,贝锐花生壳会自动生成可以远程访问的域名地址,通过这一地址,远程手机、电脑就能直接访问在内网环境部署的localGPT WebUI。

体来说,利用贝锐花生壳来实现localGPT Web UI的远程访问,是一种非常快速且高效的部署方案,在满足服务私有化部署的同时,可以不用任何复杂设置、在没有公网IP的情况下低成本实现远程访问,如果正好有类似需求不妨可以参考了。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

关键词:

责任编辑:kj005

文章投诉热线:156 0057 2229  投诉邮箱:29132 36@qq.com
关键词:

按摩椅什么品牌质量比较好?家用按摩椅用户的优选就是它

2023-07-17 18:23:33按摩椅什么品牌质量比较好?家用按摩椅用户的优选就是它

​叉车油换电势在必行!中力助力湖州加快叉车置换

2023-07-17 11:51:04​叉车油换电势在必行!中力助力湖州加快叉车置换

发票软件代理首选标普云数票通,共享业财税企服软件千亿市场

2023-07-07 12:46:00发票软件代理首选标普云数票通,共享业财税企服软件千亿市场

桌面和服务器操作系统市占率双第一 ,麒麟软件致力打造世界级操作系统中国品牌

2023-07-06 12:48:34桌面和服务器操作系统市占率双第一 ,麒麟软件致力打造世界级操作系统中国品牌

见证网信赛场上的中国标准!2023操作系统产业大会7月5日盛大开启

2023-07-04 10:44:15见证网信赛场上的中国标准!2023操作系统产业大会7月5日盛大开启

​千里同行!浙江中力2023年度新产品新技术发布大会圆满召开!

2023-07-03 11:44:13​千里同行!浙江中力2023年度新产品新技术发布大会圆满召开!

相关新闻

最新资讯