快速上手 - PyPi （pip install）

[ 返回顶部 ⬆️ ]

本教程在配置为 A800（80GB） 的本地机器上运行 Yi-34B-Chat， 并进行推理。

• 确保安装了 Python 3.10 以上版本。

• 如果你想运行 Yi 系列模型，参阅「部署要求」。

如需设置环境，安装所需要的软件包，运行下面的命令。

git clone https://github.com/01-ai/Yi.git
cd yi
pip install -r requirements.txt

你可以从以下来源下载 Yi 模型。

• 拥抱脸
• 模型范围
• WiseModel 智能模型

你可以使用 Yi Chat 模型或 Base 模型进行推理。

1. 创建一个名为 的文件，并将以下内容复制到该文件中。quick_start.py

   from transformers import AutoModelForCausalLM, AutoTokenizer
   
   model_path = '<your-model-path>'
   
   tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)
   
   # Since transformers 4.35.0, the GPT-Q/AWQ model can be loaded using AutoModelForCausalLM.
   model = AutoModelForCausalLM.from_pretrained(
       model_path,
       device_map="auto",
       torch_dtype='auto'
   ).eval()
   
   # Prompt content: "hi"
   messages = [
       {"role": "user", "content": "hi"}
   ]
   
   input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, add_generation_prompt=True, return_tensors='pt')
   output_ids = model.generate(input_ids.to('cuda'))
   response = tokenizer.decode(output_ids[0][input_ids.shape[1]:], skip_special_tokens=True)
   
   # Model response: "Hello! How can I assist you today?"
   print(response)

2. 运行 代码。quick_start.py

   python quick_start.py

   你将得到一个类似输出，如下所示。?

   Hello! How can I assist you today?

步骤与「使用 Yi Chat 模型进行推理」类似。

你可以使用现有文件 text_generation.py进行推理。

python demo/text_generation.py  --model <your-model-path>

[ 返回顶部 ⬆️ ]

[ 返回顶部 ⬆️ ]

你可以使用 Yi Chat 模型（Yi-34B-Chat）创建 Web demo。注意：Yi Base 模型（Yi-34B）不支持该功能。

第一步：准备环境

第二步：下载模型

第三步：启动 Web demo 服务，运行以下命令。

python demo/web_demo.py -c <你的模型路径>

命令运行完毕后，你可以在浏览器中输入控制台提供的网址，来使用 Web demo 功能。

[ 返回顶部 ⬆️ ]

bash finetune/scripts/run_sft_Yi_6b.sh

完成后，你可以使用以下命令，比较微调后的模型与 Base 模型。

bash finetune/scripts/run_eval.sh

[ 返回顶部 ⬆️ ]

python quantization/gptq/quant_autogptq.py \
  --model /base_model                      \
  --output_dir /quantized_model            \
  --trust_remote_code

如需评估生成的模型，你可以使用以下代码。

python quantization/gptq/eval_quantized_model.py \
  --model /quantized_model                       \
  --trust_remote_code

python quantization/awq/quant_autoawq.py \
  --model /base_model                      \
  --output_dir /quantized_model            \
  --trust_remote_code

如需评估生成的模型，你可以使用以下代码。

python quantization/awq/eval_quantized_model.py \
  --model /quantized_model                       \
  --trust_remote_code

[ 返回顶部 ⬆️ ]

如果你想部署 Yi 模型，确保满足以下软件和硬件要求。

在使用 Yi 量化模型之前，确保安装以下软件。

部署 Yi 系列模型之前，确保硬件满足以下要求。

以下是不同 batch 使用情况下的最低显存要求。