Olllama
直接下载ollama程序,安装后可在cmd里直接运行大模型;
llama 3
meta 开源的最新llama大模型;
下载运行
1 ollama
ollama run llama3
2 github
下载仓库,需要linux环境,windows可使用wsl;
接受许可协议。获取下载链接仓库运行download.sh
3.quickstart
3 huggingface
meta
接受协议,访问模型文件,(不知道是不是affiliation填none被拒绝了)
补充
1.windows访问wsl文件
\\wsl$
查看文件
2. wsl访问windows
lwsl文件系统mnt已挂载windows盘符,不过需要在linux 里(terminal)访问,使用cp复制等。
3. 使用ip网络传输文件
#wsl terminal
#查看IP地址
ip addr
# 复制windows文件至wsl
scp [-r] file/dir hostname@ip_addr:/home/
# windows terminal
scp [-r] hostname@ip_addr:/home/ D:\rev
wsl nvidia cuda似乎默认能直接访问gpu,但cuda还需安装nvidia-cuda-toolkit
5.模型后缀
Instruct is fine-tuned for chat/dialogue use cases.
Example: ollama run llama3 / ollama run llama3:70b
Pre-trained is the base model.
Example: ollama run llama3:text / ollama run llama3:70b-text