LLaMA在Windows环境下的安装部署教程
LLaMA的安装过程其实非常简单，只需要几条CMD命令行即可完成。其实个人感觉效果不如ChatGPT，而且对硬件要求较高，本站并不推荐个人部署。
介绍
关于什么是LLaMa，详细情况可以看下面这篇文章。
Git安装
该软件的作用是拉取远程Github仓库代码，可以让你的Stable Diffusion远程实时更新，及时使用全新功能。如果您的电脑内还没有安装Git，请参考下面的文章来安装Git。
Conda安装
Conda有Anaconda和Miniconda两个版本可以选择，Anaconda属于完整版，默认包含很多库，但我们用不到，本教程使用的是Miniconda，所以推荐大家也选择Miniconda。
备注：如果您想安装Anaconda也是可以的，教程所使用的命令行完全一样，不用担心不适配的问题。
环境搭建
首先，我们在电脑本地磁盘中创建一个文件夹，用来存放该项目。本站在电脑的D盘创建了一个openai.wiki文件夹用来存放数据，完整的路径为D:/openai.wiki目录。
指定路径
我们打开CMD，首先执行如下命令，使CMD的盘符为我们的工作路径。
cd /d D:\openai.wiki
执行如下命令，获取LLaMA官方远程Github仓库项目文件到本地。
git clone https://github.com/facebookresearch/llama.git
此时，会在D:/openai.wiki目录下看到已经自动创建了一个名字llama的文件夹，我们在CMD内执行下面的命令，进行到刚刚获取的llama项目。
创建Conda环境
conda create -n name llama
激活Conda环境
在CMD窗口内输入如下命令，激活我们刚刚创建的环境。
conda activate llama
进入工作目录，CMD中执行如下合集。
cd llama
执行如下命令，安装项目依赖，此时将会自动安装使用LLaMA的所有依赖库，时间因网络环境而定，可能会比较久。
⚠️注意：如果遇到安装报错等问题，可以尝试按键盘的上方向键，然后按回车即可重试。
依赖库安装
pip install -r requirements.txt
执行如下命令，修改本地文件，调用的模块以最新文件为准。
pip install -e .
模型下载
关于模型下载，可以前往下面的文章去下载，本站已提供国内网盘下载地址，不限速、不用客户端、免广告、免登录。
使用方法
from llama import LLaMA, ModelArgs, Tokenizer, Transformer
os.environ['RANK'] = '0'
os.environ['WORLD_SIZE'] = '1'
os.environ['MP'] = '2'
os.environ['MASTER_ADDR'] = '127.0.0.1'
os.environ['MASTER_PORT'] = '2223'
def setup_model_parallel() -> Tuple[int, int]:
local_rank = int(os.environ.get("LOCAL_RANK", -1))
world_size = 2
torch.distributed.init_process_group("gloo")
initialize_model_parallel(world_size)
torch.cuda.set_device(local_rank)
# seed must be the same in all processes
torch.manual_seed(1)
return local_rank, world_size
备注
如果您希望不使用GPU，而是CPU来运行LLaMA，可以尝试根据下面这篇教程部署。
markasoftware/llama-cpu：在CPU上运行的Facebook的LLaMa模型的分支 (github.com)
此文章由OpenAI开源维基百科原创发布，如若转载请注明出处：https://openai.wiki/llama-install.html
评论列表（18条）
torchrun –nproc_per_node 1 example.py –ckpt_dir /home/ubuntu/llama-model/llama-7b-hf/7B –tokenizer_path /home/ubuntu/llama-model/llama-7b-hf/tokenizer.model
官方命令中的7B文件去了哪？
@kiritoyu：同问，楼主有解决办法没？
在“创建Conda环境”这一步报错，尝试按网上搜索的解决方案，换了清华源（也尝试过替换https为http）、恢复默认、关闭VPN隧道，都还是没能解决，求助。
具体指令反馈信息如下：
E:\openai.wiki>conda create -n name llama
Collecting package metadata (current_repodata.json): done
Solving environment: failed with repodata from current_repodata.json, will retry with next repodata source.
Collecting package metadata (repodata.json): done
Solving environment: failed
PackagesNotFoundError: The following packages are not available from current channels:
– llama
Current channels:
– http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/win-64
– http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/noarch
– http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64
– http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/noarch
– http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64
– http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/noarch
– http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64
– http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/noarch
– https://repo.anaconda.com/pkgs/main/win-64
– https://repo.anaconda.com/pkgs/main/noarch
– https://repo.anaconda.com/pkgs/r/win-64
– https://repo.anaconda.com/pkgs/r/noarch
– https://repo.anaconda.com/pkgs/msys2/win-64
– https://repo.anaconda.com/pkgs/msys2/noarch
To search for alternate channels that may provide the conda package you’re
looking for, navigate to
https://anaconda.org
and use the search bar at the top of the page.
@南极海豹：好像镜像源还不支持LLaMA，换成默认的吧。
@PhiltreX：感谢指导，之前在网上也搜到有这个说法，已尝试恢复默认源，但是涛声依旧，问题仍未能排除。
@南极海豹：你好，请问你找到解决的方法了吗
@gh：建议魔法上网
@gh：还没解决，暂时搁置了。
@南极海豹：你好，请问你现在解决这个问题了吗
@gh：都试过了，我的还不行
这个泄漏版本还是需要通过Edu邮箱申请资格吗？
@GPU：不需要，直接可以用。
怎么把bin文件合一起?
@xjq284：怎么合？
请问部署完成后如何使用？
@会飞的蛇：有示例代码呀
@PhiltreX：请教大佬，最后的示例代码怎么运行呢？代码大概啥意思，可否给指导一下啊，感谢感谢！
@alhua：讲真的，我没跑起来，这个需要的配置不是家用电脑能够使用的。这个示例代码是官方的。