本地部署llama2

根据B站视频攻略做的部署，无需GPU，本地部署Llama2-13B模型

  1. 首先就是要在windows环境下安装wsl，这个是模拟linux环境的
    查看有哪些linux系统可以进行安装
    1
    wsl --list --online
  2. 复制你想安装的系统名称进行安装
    1
    wsl --install -d sys_name
    再根据要求创建用户名密码就行
  3. 更换存储区域，默认下载的wsl是下载在C盘，需要更换一下 ~~我的C盘不多了。
    1
    2
    3
    4
    wsl -l -v # 显示已经安装了的系统
    wsl --export sys_name target_dir # sys_name=你的系统命， target_dir就是目标路径，我的是D：\Ubuntu-22.04.tar
    wsl --unregister sys_name # 将原来的删除
    wsl --import sys_name source_dir target_dir --version 2 # source_dir就是你希望它存储的位置
  4. 启动！
    1
    wsl --distribution sys_name --user user_name # user_name是之前设置的用户名
  5. 在wsl中下载miniconda
    1
    wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

    得等个二十分钟左右，我就是在等的时候写的这个东西。。😭

下载完成后

1
bash Miniconda3-latest-Linux-x86_64.sh

然后阅读协议，一直回车然后yesyesyes就完成了安装

  1. 刷新环境

    1
    2
    3
    source ~/.bashrc # 会进入base环境
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ # 添加conda镜像
    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple # 添加pip镜像

  2. 下载llama和llama.cpp，然后进入llama

    1
    2
    3
    4
    git clone https://github.com/facebookresearch/llama.git
    git clone https://github.com/ggerganov/llama.cpp.git
    cd llama
    ll

    进去之后可以看到有专门下载模型的脚本，然后要去官网获取下载链接

夭折！！

下载LLAMA模型的表单提交不了！提示“There was an error submitting your email address.”

算了， 用huggingface试试google gemma？