最近这段是时间ChatGPT是大家的关注焦点,不过ChatGPT虽然强大、好用,但存在不少限制,比如:访问麻烦、不支持私有化部署……这些问题也间接带动了大量的类ChatGPT服务,以及各种开源方案,基于PrivateGPT衍生的localGPT就是其中之一。
localGPT支持和本地文档内容进行交互,可实现对本地的文档进行检索问答。根据官方主页的介绍,localGPT主要使用Vicuna-7B模型替换了GPT4ALL模型,并使用InstructorEmbeddings代替原始privateGPT中使用的LlamaEmbeddings。而且,Embeddings和LLM都可在GPU上运行,支持CPU。
不过,由于localGPT采用的是私有化部署方式,在没有固定公网IP、不方便设置路由、网关的环境下,如何才能快速解决远程访问需求呢?
答案之一就是使用贝锐花生壳这样的内网穿透工具,实现localGPT这类私有化部署服务的远程访问,无需公网IP、无需搭建专线,甚至不需要设置路由、网关就能一键穿透。值得一提的是。另外,贝锐花生壳还提供了企业级的服务方案,除了测试用途,它还能满足实际多用户访问的使用场景。
以远程访问自带WebUI的localGPT服务(github项目:PromtEngineer/localGPT)为例:
1-1.安装Python 3.10以上环境后,将localGPT项目拉取到本地,运行pip install -r requirements.txt即可自动安装,如果遇到错误可参考项目主页下方的System Requirements部分进行解决。
1-2.随后,将需要使用的文档放置在SOURCE_DOCUMENTS目录,执行python ingest.py命令提取数据,完成后即可运行python run_localGPT_API.py,并进入/LOCALGPT/localGPTUI,使用python localGPTUI.py命令启动WebUI。
此时,localGPT只能通过本地局域网IP地址+端口号的形式访问,比如:127.0.0.1:5111,实现远程访问还需搭配贝锐花生壳内网穿透。
2-1.在贝锐官网下载对应系统的客户端,然后注册、登录。
2-2.在贝锐花生壳主界面根据引导新增映射,填入localGPT WebUI的局域网IP和端口等信息即可。
添加完映射后,贝锐花生壳会自动生成可以远程访问的域名地址,通过这一地址,远程手机、电脑就能直接访问在内网环境部署的localGPT WebUI。
总体来说,利用贝锐花生壳来实现localGPT Web UI的远程访问,是一种非常快速且高效的部署方案,在满足服务私有化部署的同时,可以不用任何复杂设置、在没有公网IP的情况下低成本实现远程访问,如果正好有类似需求不妨可以参考了。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
责任编辑:kj005
文章投诉热线:156 0057 2229 投诉邮箱:29132 36@qq.com