ollama使用笔记,轻松搞定本地部署AI大模型

ollama是一个能在本地启动并运行语言大模型的框架,官网奥拉马 (ollama.com)
大模型本地存储位置:C:\Users\Administrator.ollama\models

下载

以运行Google当前出的最强gemma来说,只需要在终端输入一下内容即可,首次运行需要下载模型文件
ollama run gemma:2b
ollama run gemma:7b(默认)


更多操作指令

创建模型

ollama create用于从 Modelfile 创建模型。

ollama create mymodel -f ./Modelfile

拉取模型

ollama pull llama2

删除模型

ollama rm llama2

复制模型

ollama cp llama2 my-llama2

多行输入

对于多行输入,您可以使用以下命令换行文本:"""

>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.

多式联运模型

>>> What's in this image? /Users/jmorgan/Desktop/smile.png
The image features a yellow smiley face, which is likely the central focus of the picture.

列出计算机上的型号

ollama list

启动 Ollama

ollama serve当您想要在不运行桌面应用程序的情况下启动 Ollama 时使用。

Qwen 1.5

  • 6种大小, 包括 0.5B, 1.8B, 4B (默认), 7B, 14B, and 72B
    • ollama run qwen:0.5b
    • ollama run qwen:1.8b
    • ollama run qwen:4b
    • ollama run qwen:7b
    • ollama run qwen:14b
    • ollama run qwen:72b

文章中提到的工具包在社群里都能搜索到。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2024年8月25日 下午7:18
下一篇 2024年8月29日 下午6:28

相关文章

发表回复

登录后才能评论

1641993361-wxqrcode