33台词
通过台词找影片素材

Multi-Agent-GPT: 一款基于RAG和agent构建的多模态专家助手GPT

基本功能

  •  单轮/多轮聊天
  •  多模态信息展示与交互
  •  Age
  •  工具
    •  Web searching
    •  Image generation
    •  Image caption
    •  audio-to-text
    •  text-to-audio
    •  Video caption
  •  RAG
    • 私有数据库
    •  离线部署

2 支持信息模式

  •  text
  •  image
  •  audio
  •  video

3 模型接口API

  •  ChatGPT
  •  Dalle
  •  Google-Search
  •  BLIP

 2 开发

项目技术栈:Python + torch + langchain + gradio

⚡ 2.1 安装

  1. 在Anaconda中创建虚拟环境:
conda create -n agent python=3.10
  1. 进入虚拟环境并安装相关依赖包:
conda activate agent
pip install -r ./requirements.txt
  1. 本地安装BLIP模型,打开BLIP网站,下载所有文件到 Models/BLIP 。

  2. 按照提示配置 .env 中需要使用的 API 的密钥。

? 2.2 演示

Multi Agent GPT 提供 UI 界面交互,允许用户通过运行 web.py 来启动代理并实现智能对话:

python ./web.py

该程序将运行本地 URL:http://XXX。使用本地浏览器打开可以看到UI界面:

1 与图片聊天

通过集成BLIP模型,智能体可以理解图像信息并提供高质量的对话信息。

?️ 3 结构

- .env- Agents/  - openai_agents.py  #用来定义基于gpt3.5的agent- Database/- Docs/- Imgs/  - Show/                #存储一些示例图片- Models  - BLIP                 #图像理解大模型- Tools/  - ImageCaption.py      #基于BLIP的图像理解工具  - ImageGeneration.py  #定义了一个基于openai dalle的文本生成图像的工具  - search.py            #基于Google-search的联网搜索工具- Utils/  - data_io.py  - stdio.py            #实现了如何截获当前程序的日志信息,主要是用来获取agent的verbose信息  - utils_image.py      #关于图像处理的一些功能函数  - utils_json.py       #从已有的log日志信息中提取相关的有用字段(服务stdio) - python_new_funciton.py #开发过程中的测试文件- readme.md- requirements.txt- web.py                 #主运行文件

项目链接

https://github.com/YangXuanyi/Multi-Agent-GPT

赞(0)
未经允许不得转载:33台词网 » Multi-Agent-GPT: 一款基于RAG和agent构建的多模态专家助手GPT
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址