ollama是一个能在本地启动并运行语言大模型的框架,官网奥拉马 (ollama.com)
大模型本地存储位置:C:\Users\Administrator.ollama\models
下载
以运行Google当前出的最强gemma来说,只需要在终端输入一下内容即可,首次运行需要下载模型文件ollama run gemma:2b
ollama run gemma:7b
(默认)
更多操作指令
创建模型
ollama create
用于从 Modelfile 创建模型。
ollama create mymodel -f ./Modelfile
拉取模型
ollama pull llama2
删除模型
ollama rm llama2
复制模型
ollama cp llama2 my-llama2
多行输入
对于多行输入,您可以使用以下命令换行文本:"""
>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.
多式联运模型
>>> What's in this image? /Users/jmorgan/Desktop/smile.png
The image features a yellow smiley face, which is likely the central focus of the picture.
列出计算机上的型号
ollama list
启动 Ollama
ollama serve
当您想要在不运行桌面应用程序的情况下启动 Ollama 时使用。
Qwen 1.5
- 6种大小, 包括 0.5B, 1.8B, 4B (默认), 7B, 14B, and 72B
ollama run qwen:0.5b
ollama run qwen:1.8b
ollama run qwen:4b
ollama run qwen:7b
ollama run qwen:14b
ollama run qwen:72b

文章中提到的工具包在社群里都能搜索到。