不使用 sudo 在服务器上安装 Ollama

如果没有 sudo 权限，没法使用 apt install 或者官网推荐的一行命令（curl -fsSL https://ollama.com/install.sh | sh）来安装 Ollama。本文记录了不使用 sudo 在服务器上安装 Ollama 的方法。

1	cd /path/to/ollama

1	curl -L https://github.com/ollama/ollama/releases/download/v0.32.1/ollama-linux-amd64.tar.zst -o ollama-linux-amd64.tar.zst

1 2	tar --zstd -xvf ollama-linux-amd64.tar.zst rm ollama-linux-amd64.tar.zst

解压后应当能看到 /bin 目录。

echo 'export PATH=$PATH:/path/to/ollama/bin' >> ~/.bashrc
echo 'export OLLAMA_MODELS=/path/to/ollama/models' >> ~/.bashrc

source ~/.bashrc

直接执行，或是编写一个脚本 start_ollama.sh 来启动服务：

1	nohup ollama serve > ollama.log 2>&1 &

stop_ollama.sh 脚本来停止服务：

1	pkill -9 $(pgrep ollama)

这样进程在后台运行，不需要保持终端连接，并且 ollama 加入了 PATH，可以在任何地方直接运行。

在官网 Models 页面找到你想要的模型，例如 qwen3.6:35b，然后

1 2	ollama pull qwen3.6:35b ollama run qwen3.6:35b

未下载的模型直接 run 即可自动下载。

多 GPU 的情况，也可以用 CUDA_VISIBLE_DEVICES 来指定 GPU：

1	CUDA_VISIBLE_DEVICES=0,1 ollama run qwen3.6:35b

如果想在局域网内访问 Ollama

1 2	echo 'export OLLAMA_HOST=0.0.0.0' >> ~/.bashrc source ~/.bashrc

1	hostname -I

例如，10.20.49.177。在浏览器中打开

1	http://10.20.49.177:11434

看到 Ollama is running 就表示成功了。

(Windows)

1	wsl --install

1	docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://10.20.49.177:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main