如何在ubuntu上安装使用llama.cpp1.安装依赖sudoaptupdatesudoaptupgrade-ysudoaptinstallbuild-essential cmakegitlibopenblas-dev libcurl4-openssl-dev2.获取llama.cpp的源文件gitclone https://github.com/ggerganov/llama.cpp3.开始编译#进入目录cdllama.cpp/mkdirbuildcdbuild#带openblas加速库进行编译# cmake .. -DLLAMA_BLASON -DLLAMA_BLAS_VENDOROpenBLAScmake..-DGGML_CUDAON cmake--build.--configRelease-j#补充下一个使用zen4的cpu搭配多卡GPU的编译实操命令## 进入 build 目录假设你已经 mkdir build cd buildcmake..\-DCMAKE_BUILD_TYPERelease\# 使用 Release 编译开启优化关闭调试信息性能最高-DGGML_CUDAON\# 启用 CUDA 后端让 GPU 参与推理-DGGML_BLASON\# 启用 BLASCPU矩阵乘加速核心-DGGML_BLAS_VENDOROpenBLAS\# 指定使用 OpenBLAS对 Zen4 / AVX512 友好-DGGML_OPENMPON\# 开启 OpenMP多线程并行吃满CPU核-DCMAKE_C_FLAGS-marchznver4\# C 编译优化针对 Zen4你的 :contentReference[oaicite:0]{index0}-DCMAKE_CXX_FLAGS-marchznver4# C 编译优化同上很重要不然只优化一半###直接复制记得指定nvcc的路径cmake..\-DCMAKE_BUILD_TYPERelease\-DGGML_CUDAON\-DCMAKE_CUDA_COMPILER/usr/local/cuda/bin/nvcc\-DGGML_BLASON\-DGGML_BLAS_VENDOROpenBLAS\-DGGML_OPENMPON\-DCMAKE_C_FLAGS-marchznver4\-DCMAKE_CXX_FLAGS-marchznver4## 开始编译cmake--build.-j384# 使用 384 线程并行编译你是双路 SMT总共384逻辑核4.模型格式转换#进入工作目录cdllama.cpp/build/bin#将huggingface格式的模型转化从ggufpython3 convert_hf_to_gguf.py /path/to/src_model\--outtypef16--outfile/path/to/target_model.gguf注意此处src_model不是单个文件包含包括模型结构配置权重配置分词器配置在内的完整模型目录。taget_model.gguf是单个文件量化如果需要运行更小的模型文件可以使用llama.cpp自带的量化工具#进入工作目录cdllama.cpp/build/bin#将原来的模型量化成Q3_K_S./llama-quantize src_model.gguf target_model_Q3_K_S.gguf Q3_K_S#可以查看其他可用的量化方案./llama-quantize--help如果上述工具运行报错记得安装好依赖#建议用conda做好环境隔离后再安装下列依赖避免污染系统的基础环境pipinstalltransformers torch mistral_common sentencepiece\-ihttps://pypi.tuna.tsinghua.edu.cn/simple\--trusted-host https://pypi.tuna.tsinghua.edu.cn5.运行直接使用llama-server./llama-server-mmodel.gguf-c4096--host0.0.0.0在浏览器上打开下列链接即可开始对话http://localhost:8080获取模型由于huggingface下载太慢本文选择使用阿里的魔塔社区这里以下载llama3.1-8B的模型为例#0.安装modelscope工具pipinstallmodelscope#1.下载完整模型文件modelscope download--modelLLM-Research/Meta-Llama-3-8B-Instruct#2.查看模型位置默认会存放在缓存目录ls~/.cache/modelscope/hub/