手機掃描下載
應用指數:5 分
飛書linux版370.5Mlinux軟件
ubuntu桌面版和服務器版5.91Glinux軟件
騰訊會議Linux版本153.8Mlinux軟件
微信linux版本199Mlinux軟件
火狐瀏覽器linux安裝包73.0Mlinux軟件
中通寶盒Linux客戶端197.8Mlinux軟件
qq linux版本494Mlinux軟件
wps office linux版本648.5Mlinux軟件
騰訊會議Linux版本153.8Mlinux軟件
搜狗輸入法linux版本318.6Mlinux軟件
騰訊視頻linux客戶端47.9Mlinux軟件
釘釘linux最新版本339.8Mlinux軟件
應用介紹應用截圖相關版本網友評論下載地址
ollama github linux安裝包部署到本地之后,就可以實現linux系統上運行deepseek,目前deepseek要想在電腦上運行,就需要搭配ollama使用,但是注意,部分用戶ollama安裝deepseek失敗,主要原因是大家下載了不匹配的大模型,大家務必要根據電腦的配置和內存,下載和部署對應的模型版本。
Ollama支持多種不同的硬件加速選項,包括純CPU推理和各類底層計算架構,如AppleSilicon。這使得Ollama能夠更好地利用不同類型的硬件資源,提高模型的運行效率。作為一個開源框架,專門設計用于在本地運行大型語言模型。它的主要特點是將模型權重、配置和數據捆綁到一個包中,從而優化了設置和配置細節,包括GPU使用情況,簡化了在本地運行大型模型的過程。Ollama支持macOS和Linux操作系統,并且已經為Windows平臺發布了預覽版。Ollama的一個重要優勢是其易用性。安裝過程簡單,例如在macOS上,用戶可以直接從官網下載安裝包并運行。對于Windows用戶,官方推薦在WSL2中以Linux方式使用命令安裝。安裝完成后,用戶可以使用命令行工具來下載和運行不同的模型。Ollama還提供了對模型量化的支持,這可以顯著降低顯存要求。例如,4-bit量化可以將FP16精度的權重參數壓縮為4位整數精度,從而大幅減小模型權重體積和推理所需顯存。這使得在普通家用計算機上運行大型模型成為可能。
Ollama的項目結構主要包括以下部分:
api:用Go編寫的客戶端API庫。
discover:負責掃描系統中的可用模型、加載配置文件,或者幫助用戶查找符合特定需求的模型。
docs:項目的文檔目錄,包括安裝步驟、API文檔、常見問題解答(FAQ)和示例代碼等。
envconfig:包含環境配置文件或腳本
format:用于單位和時間的格式處理的工具。
app:桌面應用程序(主要是一個托盤)。
auth:用于用戶身份驗證,確保只有授權用戶才能訪問特定的功能或模型。
cmd:命令和相關的處理程序。
convert:用于將不同的模型格式轉換為Ollama可以使用的格式
integration:用于將Ollama與其他系統或應用程序集成的代碼。這些集成可能包括與Web服務、數據庫、API、第三方服務、其他框架等的集成。
macapp:mac桌面應用程序。
scripts:包含構建、測試、發布等操作所需的腳本文件。確保項目能夠在不同環境中順利編譯和運行。
server:用Go編寫的Web服務實現。
version:版本信息。
openai:用于Ollama的OpenAIAPI兼容封裝。
parser:模型信息和消息的解析器。
progress:顯示加載進度的實用程序。
readline:命令輸入工具用于用戶與命令行工具的交互。
Ollama的構建系統利用Go提供的構建工具,并結合cmake來處理C/C++部分的編譯。這兩個構建系統共存,以構建不同的部分:
CMake:用于構建llama.cpp,并提供接口。
Go構建系統:編譯、鏈接和打包其余部分,以生成Ollama的應用程序和CLI。
核心原理:
獨立性:強調在本地環境中運行,減少對外部網絡和云服務的依賴,提高數據安全性。
一致性:通過版本控制和依賴管理,確保模型在不同環境中的一致性和可重復性。
封裝性:通過容器化技術,Ollama將模型及其運行時環境封裝在一起,確保一致的運行環境。
便捷性:通過簡單的CLI工具,用戶可以快速進行模型的部署和管理,降低了操作復雜性。
注意:如果之前已經安裝了舊版本的ollama,那么需要先完成手動卸載,sudo rm -rf /usr/lib/ollama
遠程安裝教程
官網提供了一條命令行快速安裝的方法。
curl -fsSL https://ollama.com/install.sh | shCopy to clipboardErrorCopied
此命令將自動下載最新版本的 Ollama 并完成安裝
本地安裝教程
一、安裝
1.下載并解壓與操作系統匹配的安裝包
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
Copy to clipboardErrorCopied
AMD GPU下載:
curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz
Copy to clipboardErrorCopied
ARM 64下載:
curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz
Copy to clipboardErrorCopied
2.2 啟動 Ollama并驗證
輸入以下命令啟動 Ollama:
ollama serve
Copy to clipboardErrorCopied
另開啟一個終端,輸入以下命令,驗證ollama是否運行成功
ollama -v
Copy to clipboardErrorCopied
2.3 將 Ollama 添加為自啟動服務(推薦)
首先,為 Ollama 創建用戶和組:
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
Copy to clipboardErrorCopied
然后在該位置:/etc/systemd/system/ollama.service 創建服務文件
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
Copy to clipboardErrorCopied
最后啟動服務:
sudo systemctl daemon-reload
sudo systemctl enable ollama
Copy to clipboardErrorCopied
三、更新
再次運行之前的安裝語句來更新 Ollama:
curl -fsSL https://ollama.com/install.sh | sh
Copy to clipboardErrorCopied
或者重新下載最新的Ollama包:
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
Copy to clipboardErrorCopied
四、安裝特定版本
設置 OLLAMA_VERSION字段,,可以安裝對應的版本
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
Copy to clipboardErrorCopied
五、查看日志
查看作為啟動服務運行的 Ollama 的日志:
journalctl -e -u ollama
刪除 Ollama 服務:
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.serviceCopy to clipboardErrorCopied
從 bin 目錄中刪除 Ollama 二進制文件: /usr/local/bin,/usr/bin ,/bin
sudo rm $(which ollama)
刪除下載的模型和 Ollama 服務用戶和組:
sudo rm -r /usr/share/ollama
sudo groupdel ollama
刪除下載的庫文件
sudo rm -rf /usr/local/lib/ollama
ollama serve #啟動ollama
ollama create #從模型文件創建模型
ollama show #顯示模型信息
ollama run #運行模型
ollama pull #從注冊表中拉取模型
ollama push #將模型推送到注冊表
ollama list #列出模型
ollama cp #復制模型
ollama rm #刪除模型
ollama help #獲取有關任何命令的幫助信息
更多linux版本,可以查看:https://github.com/ollama/ollama/releases/tag/v0.6.5 (若打不開,需要加速器或科學上網工具)
應用截圖
相關版本
多平臺下載
谷歌瀏覽器linux版本109.2Mlinux軟件
wps office linux版本648.5Mlinux軟件
搜狗輸入法linux版本318.6Mlinux軟件
qq linux版本494Mlinux軟件
linux向日葵遠程控制軟件76.9Mlinux軟件
紅蓮花安全瀏覽器linux安裝包97.0Mlinux軟件
qq linux版本494Mlinux軟件
wps office linux版本648.5Mlinux軟件
谷歌瀏覽器linux版本109.2Mlinux軟件
騰訊會議Linux版本153.8Mlinux軟件
搜狗輸入法linux版本318.6Mlinux軟件
騰訊視頻linux客戶端47.9Mlinux軟件