你不定积分没加C的博客

除了不定积分,还有微分方程通解需要+C

操作系统上机——大模型部署

这是操作系统上机的 LLM 部署的报告总结部分()

一、部署通义千问 1.5-0.5B-Chat-GGUF

1、使用 modelscope 下载模型文件

1
2
3
from modelscope.hub.file_download import model_file_download

model_dir = model_file_download(model_id='qwen/Qwen1.5-0.5B-Chat-GGUF',file_path='qwen1_5-0_5b-chat-q5_k_m.gguf',revision='master',cache_dir='path/to/local/dir')

2、编译 llama.cpp

LLama.cpp 是一个用于本地推理的,与 OpenAI API 规范兼容的 REST API。它允许在本地使用消费级硬件运行 LLM,而不是依赖于云服务或大型服务器

使用 Git clone https://github.com/ggerganov/llama.cpp 拉取 llama.cpp 开源项目仓库至本地

之后在 llama.cpp 文件夹下执行 make -j 进行编译

image-20240512201147706

(已经编译过了,所以是 default)

3、加载模型并执行

llama.cpp 文件夹下执行 ./main -m ../path/to/local/dir/qwen/Qwen1.5-0.5B-Chat-GGUF/qwen1_5-0_5b-chat-q5_k_m.gguf -n 512 --color -i -cml -f prompts/chat-with-qwen.txt 命令以进行模型加载

image-20240512201347182

二、基于 OpenVINO 的模型量化实践

1、新建 qwen-ov文件夹

mkdir qwen-ov

2、创建虚拟环境

Python 虚拟环境是一个独立于系统 Python 解释器的环境,可以在其中安装和管理特定版本的 Python 包和依赖项,而不会影响到系统中的其他 Python 应用程序

执行 python3 -m venv qwenVenv 创建一个名为 qwenVenv 的 Python 虚拟环境

执行 source qwenVenv/bin/activate 激活之前创建的名为 qwenVenv 的 Python 虚拟环境

此时命令行前会有虚拟环境名称的提示

image-20240512202004938

3、安装依赖包

先执行 pip install wheel setuptools 安装 Python 打包分发工具 setuptools

之后执行 touch requirement.txt 创建 requirements.txt,执行 code requirements.txt 使用 vscode 进行编辑:

1
2
3
4
5
6
nncf==2.8.1
optimum-intel>=1.16.0
transformers>=4.38.2
openvino>=2024.0.0
onnx>=1.15.0
huggingface-hub>=0.21.3

requirements.txt 是一个包含要安装的软件包列表的文件

执行 pip install -r requirements.txt 进行安装

image-20240512203836135

这一步需要非常非常非常长的时间

4、下载模型

执行 huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen1.5-0.5B-Chat --local-dir model_dir/Qwen1.5-0.5B-Chat 下载模型到 qwen-ov 下的 model_dir 文件夹下

这一步也需要非常非常非常长的时间

5、转换模型

止步于此,参数有问题,搜索引擎没抢救成功

image-20240512201147707