WSL2 Ububtu에 ollama/deepseek 설치 및 실행

https://ollama.com/download/linux 에서 linux 를 선택하면 설치 command 확인 가능

curl -fsSL https://ollama.com/install.sh | sh

설치가 끝나면 여러 결과 중 "Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service."라는 라인을 볼 수 있다. ollama.service에 필요한 환경변수를 설정!

$ vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin/:/sbin:/bin:/snap/bin"
Environment="OLLAMA_USE_CUDA=1"  # << CUDA 사용 설정
Environment="OLLAMA_HOST=0.0.0.0" # << 외부 접속 허용


[Install]
wantedBy=default.target

아래와 같이 설치된 버전을 확인할 수 있음.

$ ollama --version # 설치된 ollama 버전 확인
ollama version is 0.5.7

$ ollama list # 설치된 모델 리스트

 https://ollama.com/search 에서 사용할 모델 선택. ollama 설치가 끝나면 deepseek 다운로드. 

14b는 약 9GB 사이즈의 모델. 자신의 사양에 알맞은 모델을 다운로드할 것!

$ ollama run deepseek-r1:14b

  or 
  
$ ollama run deepseek-r1:8b

# 다운로드를 시도할 때 아래와 같은 에러가 발생하는 경우가 있음. 다시 시도하면 연결됨.
Error: Post "http://127.0.0.1:11434/api/show": read tcp 127.0.0.1:51092->127.0.0.1:11434: read: connection reset by peer

설치가 끝나면 바로 실행된다.

로컬에서도 상당히 빠른 속도로 응답하며, 추론하는 과정 자체가 같이 출력되어서 흥미롭게 볼 수 있다.

파이썬 코드를 생성하는 테스트를 해봤는데 8b에는 일부 오류도 있었으며 추론 과정이 불필요하게 많은 듯. 오히려  14b는 추론 과정도 간결하고 코드에 오류도 없었음.