综合性门户网站有,家居网站建设的需求分析,代理网课,服务器安全折腾了一整天#xff0c;踩了GPU加速的一堆坑#xff0c;记录一下。 1.GPU加速方式 上篇已经写了llama2部署的大概流程#xff1a;【【个人开发】llama2部署实践#xff08;一#xff09;】——基于CPU部署 针对llama.cpp文件内容#xff0c;仅需再make的时候带上参数…折腾了一整天踩了GPU加速的一堆坑记录一下。 1.GPU加速方式 上篇已经写了llama2部署的大概流程【【个人开发】llama2部署实践一】——基于CPU部署 针对llama.cpp文件内容仅需再make的时候带上参数编译既可实现GPU加速。 make LLAMA_CUBLAS1备注可用的版本组合 cc (GCC) 9.3.1 20200408 (Red Hat 9.3.1-2) g (GCC) 9.3.1 20200408 (Red Hat 9.3.1-2) Build cuda_11.8.r11.8/compiler.31833905_0 2.踩坑分享 a.编译报错 more than one instance of overloaded function “log2” matches the argument list: 复现不出来了大意function.h文件中math函数中log参数传递有误。 思考一下应该就是c文件的问题文件路径在cuda中评估应该是cuda版本的问题。选择卸载原来cuda12.04的版本下载11.8版本。 b.卸载CUDA 一通无脑卸载 yum remove nvidia-* rpm -qa|grep -i nvid|sort yum remove kmod-nvidia-*rm -rf /usr/local/cuda-12.0 rm -rf /usr/local/cudac.下载CUDA11.8 其他三种下载方式都试了最后用run这种方式搞出来的。 # 访问https://developer.nvidia.com/cuda-downloads # 使用run文件方式 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run sudo sh cuda_11.8.0_520.61.05_linux.run # 参考链接https://zhuanlan.zhihu.com/p/589442446run在执行的时候可能会出现报错 The NVIDIA proprietary driver is already installed in this system. It was installed through a 3d party repository 意思是驱动已经装上去了不需要再装。所以选择页面取消Driver的勾选即可。 注如果服务器使用nvidia-smi能显示显卡出信息则说明已经安全驱动我这里将Toolkit理解为一个客户端工具 d.重新编译llama.cpp 如何重新编译后带上ngl参数去跑main程序留意一下有没有下面的warning。 warning: not compiled with GPU offload support, --n-gpu-layers option will be ignored warning: see main README.md for information on enabling GPU BLAS support 如果有那说明仍然没有使用GPU建议重新拉llama.cpp代码进行编译。 make LLAMA_CUBLAS1e.重新启动 ./main -m /data/opt/llama2_model/llama-2-7b-bin/ggml-model-f16.bin -n 256 --repeat_penalty 1.1 --color -i -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -ngl 15f.查看进程 使用下面命令能监听到进程如果processes存在进程即可 watch -n 0.5 nvidia-smi以上End