독일에 있는 자동차 소프트웨어 개발자

ollama를 사용하여 DeepSeek R1를 내 PC에서 실행

이전 글에서 DeepSeek 를 웹에서 사용한 후기를 간단히 공유해 보았다. 이번 글에서는 DeepSeek 모델을 Local PC에 설치 후 인터넷 사용 없이 돌리는 방법을 알아본다. ollama는 오픈 소스 LLM (Large Language Models)을 Local PC (윈도우, 리눅스, 맥 모두 호환)에서 돌릴 수 있게 도와준다. 최근에 DeepSeek (딥시크) R1 이 추가되어 MacOS 기준으로 설치 후 간단히 실행하는 방법을 이야기해보려고 한다.설치방법https://ollama.com/ 에 접속하면 Download 버튼을 눌러 사용중인 OS 종류를 선택 후 다운로드 하고 PC에 설치한다. MacOS 같은 경우 압축 파일이 받아지고 그 파일을 푼 후 실행하고 몇 단계의 설치 과정을 마치면 ..

DeepSeek (딥시크) 사용 후기

중국에서 개발한 생성형 AI인 DeepSeek (딥시크)가 지금 완전 핫하다. GPT나 다른 생성형 AI에 비해 1/10 수준의 비용으로 비슷한 성능을 낸다고 한다. 물론 이것은 DeepSeek의 보고서 내용이긴 하지만 엄청난 파장이며 현재 NVIDIA (엔비디아) 주가가 16% 이상 하락하고 나스닥은 3프로 이상 하락하고 있다. 현재 딥시크는 해커들의 공격으로 가입이 원활하지 않다고 나오지만 안되면 여러번 Google 계정으로 가입 시도를 하면 가입이 되어 사용할 수 있다. 위의 그래프에서 보는 것과 같이 DeepSeek의 가장큰 경쟁력은 모델을 만들어낼 때 필요한 가격이다. GPT의 1/10 수준의 가격에 GPT와 비슷한 성능을 내고 있다고 딥시크 측은 주장하고 있다. 또한 무료로 사용할 수 있다. ..

플랫폼을 개발하고 빌드하는 입장에서 오래전부터 고성능의 리눅스 노트북을 원했고 최근에 회사에서 Intel Ultra 9 185H 노트북을 주었다. 아래 사양에서 SSD만 2TB로 업그레이드 해서 주었고 2주 정도 이런 저런 빌드를 하고 사용을 하면서 느낀점을 간단히 적어보고자 한다. 우선 Intel Core Ultra9 185H CPU 스펙을 간단히 보면 16 Core에 22 Threads를 지원한다. 중간에 보면 효율코어와 Low Power 코어도 있는것이 Intel Core의 특징이다. 개인적으로 이런 측면에서는 AMD가 낫지 않나 싶다. 가끔 이런 Efficient Core로 인해 빌드할 때 Segfalut가 나기도 한다. Ubuntu 24.04 64bit를 설치하고 여기서 Yocto 레퍼런스 Po..

비단 자동차 소프트웨어 개발에 대한 이야기만은 아니다. 모든 개발에 적용이 되는 것 같다. 하지만 의존성 및 아키텍처가 엄청나게 복잡한 자동차 소프트웨어 개발에서는 훨씬 더 많이 생각하게 되는 이야기인 것 같다. 빨리 제품을 출시하는 것이 좋은것인가 품질을 유지하여 소비자의 신뢰를 견고히 받는것이 좋은것인가.. 참 어려운 이야기이다. 쉽게 이야기할 수도 있다. 상황에 맞게 해라...  왜 이런 고민을 하고 있냐면 중국의 자동차 시장은 엄청나게 크고 빠르게 좋은 성능의 소프트웨어가 계속 나오고 있다. 이에 비해 기존의 자동차 회사들은 그 속도를 못따라가고 있고 혁신에 뒤쳐지고 있다고 이야기들을 많이 한다. 결국 이것들이 소비자들의 구매 성향에 영향을 주어서 판매 부진으로 이어질 수 있다. 아직까지는 프리미..

중국에 출장을 와 있고 중국, 인도 개발자들과 한팀을 꾸려 일하고 있다. 그러면서 중국 개발자들의 현황에 대해서 많은 이야기를 들었다. 지금은 상하이에 있고 이쪽에 화웨이, 퀄컴 등 많은 회사들이 있다. 전세계적으로 IT 업계가 힘들다고 했고 중국도 거기서 예외는 아니였다. 아래 그림처럼 엄청나게 많은 개발자들이 중국에 있고 소위 이야기하는 좋은 회사들에 들어가기는 역시나 엄청나게 힘들다고 한다. 벤츠 중국 R&D만 해도 포지션이 오픈되면 1000명의 개발자들이 지원한다고 한다. 중국은 엄청나게 열심히 많은 시간을 일하기로 유명하다. 실제로 퍼포먼스가 나오지 않으면 쉽게 해고 당할 수 있는 구조라고 한다. 그래서 더더욱 열심히 성과를 내기위해 많은 시간을 투자한다고 한다. 예로 쉬는 날도 노트북을 항상 ..

오픈 소스는 공개적으로 그 설계에 액세스할 수 있기 때문에 누구나 기술을 수정하고 공유할 수 있는 분산형 프로덕션 모델이다. 이 용어는 소프트웨어 개발 맥락에서 해당 소프트웨어가 특정 무료 배포 기준을 준수한다는 의미에서 비롯되었다. 오늘날 오픈 소스 방식이라는 용어는 무료 정보 교환, 빠른 프로토타입 제작, 협업 개발의 원칙에 기반한 더 광범위한 가치 집합을 나타낸다. 기술이 유기적으로 발전하도록 누구나 새로운 아이디어를 내고 개선할 수 있다. - 출처: https://aws.amazon.com/ko/what-is/open-source/ 많은 제품들이 오픈소스를 사용하여 개발되고 있고 많은 개발자 및 회사에서 오픈소스에 기여를 하고 있다. 하지만 여전히 일부 회사의 매니지먼트들은 오픈소스에 기여하는 이..

4년 정도 전에 회사에서 Yocto 빌드를 하기 위해 32 Core CPU를 가진 AMD Ryzen™ Threadripper™ 2990WX 을 구매했다. 이 당시만 해도 전체 Core를 사용해서 빌드하면 빌드하다가 멈추고, PC가 죽어버리는 문제가 발생해서 안정적이지 않았고 어쩔 수 없이 32 Core, 64 Thread 전체를 사용하지 못하고 절반 정도밖에 사용하지 못했다. 결국 1달 전에 저 PC가 고장이 났고 새로 구매하는 상황이 발생했다. IT에서 위의 그림에 있는 3가지 옵션 (7995WX, 7985WX, 7975WX)을 주었고 팀내 현재 남은 예산에 맞게 최종적으로 7985WX를 구매했다. 7995WX는 96코어 192 스레드여서 그만큼 메모리도 많이 필요해 DDR5 4800 64GB짜리 8개..

Repo는 안드로이드 오픈소스 프로젝트(Android Open Source Project, AOSP)에서 주로 사용하는 도구로, 여러 개의 Git 리포지토리를 관리하기 위해 설계되었다. Git은 강력한 버전 관리 시스템이지만, 대규모 프로젝트에서 여러 개의 리포지토리를 다루는 데는 불편함이 있을 수 있다. Repo는 이를 해결하기 위해 만들어졌으며, 여러 Git 리포지토리를 한꺼번에 클론하고 업데이트하며 동기화하는 기능을 제공한다. Repo의 주요 기능  1. 여러 Git 리포지토리 관리: 여러 리포지토리를 쉽게 클론하고 업데이트할 수 있다. 2. 명령어 자동화: 여러 리포지토리에 걸친 변경 사항을 동기화하거나 상태를 확인할 수 있는 명령어를 제공한다. 3. 메타데이터 관리: 각 리포지토리의 의존성, 버..

회사에서 진행하는 리더십 교육을 듣고 있다. 코로나 전에는 3일짜리 Offline 교육이였다고 하는데 이제는 온라인으로 2달 코스로 진행이 된다. 전세계에 있는 직원들이 듣고 있고 12명이 이번 과정에 참여한다. 첫번째 소개 세션은 4시간 동안 했고 거기서 3개의 그룹으로 나누어서 각각의 주어진 4개의 임무를 그룹별로 진행한다. 우리팀에는 싱가포르, 이탈리아, 남아프리카 공화국에 있는 친구들이 있고 모두 각기 서로 다른 일을 하는 친구로 배정이 되었다. 각 임무의 호스트는 모든 사람이 한번씩 돌아가고 갈등 해결, 미래 커리어 등의 임무들이 주어져 있다. 첫번째 모임을 하기전에 사전에 정해진 항목으로 2명의 매니저와 인터뷰, 1명의 동료와 인터뷰, 1명의 친구 (업무를 같이 하지 않는 지인)와 인터뷰를 진..

회사에서 프로젝트를 진행하는데 개발 환경의 인프라가 대부분 Cloud에 올라가 있다. 당연히 비용도 엄청나게 지불하고 있고 관리가 잘 안되어 무차별적으로 사용하고 있는 부분도 많이 있다. 이에 전사적으로 Cloud 비용을 줄이기 위한 해커톤을 하루 진행하기로 했다.  기본적으로 오랫동안 사용하지 않는 아티팩트 찾아서 삭제, 올바른 형태로 CI/CD 사용, 최적의 인스턴스 유형 사용, 사용하지 않는 시간에 인스턴스 Off 등 큰 아이디어들은 제공한다. 그리고 실제 프로젝트의 아티팩트에 들어가서 줄이는 작업을 진행한다. 당연히 제품과 개발에 영향을 주면 안된다. 내일 참여하기 위해 간단히 아이디어를 생각해보려고 이렇게 글을 쓰고 있다. 우선 가능하면 현재 프로젝트에서 사용하는 AWS에 접속해서 어디서 비용을..