ollama를 사용하여 DeepSeek (딥시크) R1를 내 PC에서 실행

이전 글에서 DeepSeek 를 웹에서 사용한 후기를 간단히 공유해 보았다. 이번 글에서는 DeepSeek 모델을 Local PC에 설치 후 인터넷 사용 없이 돌리는 방법을 알아본다.

 

ollama는 오픈 소스 LLM (Large Language Models)을 Local PC (윈도우, 리눅스, 맥 모두 호환)에서 돌릴 수 있게 도와준다. 최근에 DeepSeek (딥시크) R1 이 추가되어 MacOS 기준으로 설치 후 간단히 실행하는 방법을 이야기해보려고 한다.

설치방법

https://ollama.com/ 에 접속하면 Download 버튼을 눌러 사용중인 OS 종류를 선택 후 다운로드 하고 PC에 설치한다. MacOS 같은 경우 압축 파일이 받아지고 그 파일을 푼 후 실행하고 몇 단계의 설치 과정을 마치면 바로 터미널에서 사용할 수 있게 된다.

 

아래와 같이 ollama 명령어를 터미널에서 쳤을 때 실행이 되면 정상적으로 설치가 된 것이다.

LLM 모델 다운 받아서 실행

ollama.com 사이트에서 Models를 클릭하여 https://ollama.com/search 페이지로 이동하면 오픈된 LLM 모델들을 볼 수 있다. 이 글을 쓰는 기준 날짜에는 deepseek-r1 가 제일 위에 있었고 클릭해서 들어간다.

 

아래와 같이 여러 parameters 수를 기준으로 여러 개를 선택하여 받을 수 있다. 1.5b, 7b, 8b 등이 parameters 수를 나타내고 이를 돌리기 위해 각각 1.5GB, 7GB, 8GB 의 가용한 메모리가 있는 것을 추천한다.

 

원하는 모델을 선택하면 오른쪽에 명령어 "ollama run deepseek-r1"이 나오는데 그것을 카피해서 터미널에 붙여 넣으면 다운로드 받아서 설치가 된 후 실행이 된다. 물론 이미 로컬에 다운로드가 받아져 있으면 다운로드 과정 없이 바로 실행이 된다.

테스트 결과

1.5b는 너무 모델이 작아서 거의 성능이 안나온다. 14b정도가 되어야지 어느 정도 쓸만하고, 32b부터는 훨씬 더 성능이 좋아지는 것을 느꼈다.

 

아래와 같이 32b 모델에서 poky에 대해서 물어보고 한글로 답변해달라고 했는데.. "참조 분배체"라고 답변하는 것을 보면 한글 번역은 32b에서는 아직 부족한 것으로 보인다. M3 MAX (14 Core, 36GB RAM)에서 실행했는데 mactop 명령어로 보았을 때 실행 도중 CPU는 많이 사용하지 않고 GPU를 100% 사용했고 메모리도 84%정도 사용했다. 참고로 결과에 한글이 나오다 끊긴 것처럼 보이는데 CPU, GPU 사용량을 캡쳐해서 중간에 끊킨 것처럼 보이지만 모두 다 번역되어 잘 나왔다.

 

다음 테스트로 ollama를 webui와 연결해보려고 "how to use openwebui for ollama?" 라고 질문을 해봤는데 장문의 답변을 하면서 Apple M3 MAX 의 팬 소리가 엄청 나면서 키보드와 디스플레이 가운데 상판이 뜨거워지는 것을 느꼈다. 이전에 Apple M1 PRO에서 docker 안에서 CPU를 거의 다 써가면서 돌렸을 때 한번도 이렇게 팬소리가 난적이 없었는데.. 역시 LLM 을 돌리는데는 엄청난 파워가 들어가는구나라고 느꼈다.

정리

DeepSeek R1이 다른 LLM 모델보다 엄청 저렴한 비용으로 돌릴 수 있는 모델을 만들었다라고 이야기를 하고 있다. 하지만 여기저기서 반론도 만만치 않다. 엄청난 선행 학습 비용도 들고 강화 학습에 또 비용이 들고.. 제미나이의 저렴하고 성능 좋은 모델도 있다고도 하고.. 아직 100% 실체가 밝혀지지는 않았다.

 

하지만 여기서 중요한 포인트 중 하나는 오픈했다는 것이다. 그래서 이렇게 내 Local 환경에서 돌릴 수도 있고 다른 개발자/연구원들이 더 좋은 모델로 발전시킬 수 있는 여지를 터 주었다. 오픈소스의 화력을 무시하면 안된다. 이것이 큰 주춧돌이 되어 앞으로 AI 산업이 엄청나게 특히 애플리케이션 쪽의 발전이 많이 이루어 질 것으로 예상된다.

 

이 글에서는 터미널에서 돌린 것만 보여주고 설명했지만 다음 글에서는 openwebui를 연결하여 웹 브라우저에서 실행하는 환경을 보여주는 글을 쓰려고 한다. 지금 회사 Proxy로 인해서 자꾸 에러가 나서 제대로 못해보는 상황이다.