OLLAMA

public: 2025-04-19

See also the main item: /LLM.

Windows, Linux, MacOS 可执行程序直接运行，自动下载模型权重，且不需要网络代理。 腾讯开发者, (bak).

注意：ollama run llama2之后，在 npm run dev （chatbot）前，需要ollama run mistral，否则提示'model 'mistral:latest' not found, try pulling it first。

1. 想要运行什么模型，就在文件夹内直接用ollama run <MODEL>，例如：ollama run llama2:latest 或 ollama run qwen ollama run gemma。
2. 模型有了之后，再npm run dev，根据提示进入网页 localhost:3000 就可以选择模型了。

to allow listening on all network interfaces: #

One time (nix): export OLLAMA_HOST=0.0.0.0:11434 && ollama run ... (Mac: launchctl setenv OLLAMA_HOST 0.0.0.0:11434)

Always (nix): vim /etc/systemd/system/ollama.service : Environment="OLLAMA_HOST=0.0.0.0:11434"

Always (win): 环境变量: 变量名：OLLAMA_HOST , value: 0.0.0.0:11434。 重新运行 PowerShell： ollama serve(没开 GUI 时) or ollama run ...。