Cách dựng Deepseek trên máy tính cá nhân

webmaster

  Để cài đặt Deepseek trên 1 máy chủ/ máy cá nhân cần có: Ollama , Docker và WebUI
  
1. Ollama

1. mkdir -p /opt/install/
   
2. cd /opt/install/
   
3. wget https://github.com/ollama/ollama/releases/download/v0.5.13-rc2/ollama-linux-amd64.tgz
   
4. gunzip ollama-linux-amd64.tgz
   
5. tar xvf ollama-linux-amd64.tar
   
6. cp -rp bin/ollama /usr/bin/ollama
   
7. ollama serve &
   

Sao chép mã

Load the model fit your server / computer hardware (CPU/GPU)

1. mkdir -p /opt/install/ollama-models

Sao chép mã

Create a model file config for Ollama load and run

1. cd /opt/install/ollama-models
   
2. echo 'FROM ./deepseek-7b-chat.Q4_K_M.gguf
   
3. PARAMETER num_ctx 2048
   
4. PARAMETER num_threads 8' > Modelfile

Sao chép mã

Load the model

1. cd /opt/install/ollama-models

Sao chép mã

Restart Ollama

1. pkill ollama && ollama serve &

Sao chép mã

  2. Docker

1. # Install Docker
   
2. sudo dnf install -y docker
   
3. sudo systemctl start docker
   
4. sudo systemctl enable docker
   
5. 
   
6. # Install Docker Compose
   
7. sudo curl -L "https://github.com/docker/compose/releases/download/v2.27.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/bin/docker-compose
   
8. sudo chmod +x /usr/bin/docker-compose
   
9. 
   
10. # Add your user to the docker group
    
11. sudo usermod -aG docker $USER
    
12. newgrp docker  # Refresh group permissions

Sao chép mã

  3. WebUI

1. #Create a folder for the webchat
   
2. mkdir -p /opt/install/webchat
   
3. cd /opt/install/webchat
   
4. create a file for docker: docker-compose.yml

Sao chép mã

1. version: '3.8'                                                                                                                                            
   
2. services:                                                                                                                                                
   
3.   open-webui:                                                                                                                                             
   
4.     image: ghcr.io/open-webui/open-webui:main                                                                                                            
   
5.     ports:                                                                                                                                                
   
6.       - "0.0.0.0:3000:8080"                                                                                                                              
   
7.     environment:                                                                                                                                          
   
8.       - OLLAMA_API_BASE_URL=http://127.0.0.1:11434                                                                                                        
   
9.     volumes:                                                                                                                                             
   
10.       - open-webui:/app/backend/data                                                                                                                     
    
11.     # For Linux hosts, add network_mode: "host" if issues persist                                                                                         
    
12. volumes:                                                                                                                                                  
    
13.   open-webui:  

Sao chép mã

Start the web for chat with deepseek:

1. docker-compose down && docker-compose up -d

Sao chép mã

4. Open the firewall policy for the services:

1. sudo firewall-cmd --permanent --add-port=3000/tcp
   
2. sudo firewall-cmd --permanent --add-port=11434/tcp
   
3. sudo firewall-cmd --reload

Sao chép mã

5. Here is the deepseek chatbox: http://your-server-ip:3000