Ollama를 데스크톱에 설치하자

*본 글은 ChatGPT를 활용하여 작성하였습니다.

​

Ollama는 대규모 언어 모델(LLM, Large Language Model)을 자신의 컴퓨터에서 쉽고 빠르게 실행할 수 있도록 도와주는 오픈 소스 플랫폼이다. 복잡한 설치 과정이나 모델 설정 없이 간단한 명령만으로 다양한 AI 모델을 다운로드하고 실행할 수 있으며, 인터넷 연결 없이도 로컬 환경에서 AI와 대화하거나 응용 프로그램을 개발할 수 있다.

Ollama의 가장 큰 장점은 사용 편의성이다. 사용자는 ollama run 모델이름과 같은 간단한 명령만으로 모델을 다운로드하고 실행할 수 있으며, 별도의 서버 설정이나 복잡한 환경 구성이 필요하지 않다. 또한 REST API를 기본으로 제공하므로 Python, JavaScript, C++, Go 등 다양한 프로그래밍 언어와 쉽게 연동하여 AI 애플리케이션을 개발할 수 있다.

Ollama는 다양한 공개 언어 모델을 지원한다. 대표적으로 Llama 시리즈, Qwen 시리즈, Gemma 시리즈, Mistral 시리즈, DeepSeek 시리즈 등 여러 최신 모델을 손쉽게 사용할 수 있으며, 필요에 따라 자신만의 모델을 생성하거나 기존 모델을 수정하여 사용할 수도 있다.

로컬에서 실행된다는 점은 개인정보 보호 측면에서도 큰 장점이다. 사용자의 대화 내용과 문서는 외부 서버로 전송되지 않으므로 민감한 자료를 다루는 환경에서도 비교적 안전하게 활용할 수 있다. 또한 인터넷 연결이 없는 환경에서도 AI 기능을 사용할 수 있어 연구, 교육, 개발 등 다양한 분야에서 활용되고 있다.

Ollama는 CPU뿐만 아니라 NVIDIA GPU와 일부 AMD GPU를 활용하여 추론 속도를 크게 향상시킬 수 있으며, 운영체제의 하드웨어 환경에 맞게 자동으로 최적화된다. Windows, macOS, Linux를 모두 지원하므로 다양한 개발 환경에서 동일한 방식으로 사용할 수 있다.

Open WebUI, AnythingLLM, Continue, VS Code 확장 프로그램 등 여러 AI 도구와도 자연스럽게 연동된다. 이를 통해 웹 브라우저에서 ChatGPT와 유사한 인터페이스를 사용하거나, 코드 작성과 문서 검색, 질의응답(RAG) 시스템 구축 등 다양한 AI 활용 환경을 손쉽게 구축할 수 있다.

최근에는 개인용 AI 비서, 프로그래밍 보조 도구, 문서 분석 시스템, 지식 검색 시스템, 연구 지원 도구 등의 기반 플랫폼으로 널리 활용되고 있으며, 클라우드 서비스에 의존하지 않고 자신의 컴퓨터에서 AI를 직접 운영하려는 사용자들에게 가장 인기 있는 LLM 실행 도구 중 하나로 자리 잡고 있다.

​

(1) 터미널을 열고 다음과 같이 입력해 Ollama를 설치한다.

curl -fsSL https://ollama.com/install.sh | sh

(2) ollama 서비스를 부팅할 때 자동 시작하게 한다.

sudo systemctl enable ollama sudo systemctl start ollama

(3) 사고 모델 하나를 다운로드 받는다.

ollama pull llama3.2

(4) 다음의 사이트를 방문하여 ChatQT 플라즈마 위젯을 다운로드한다. 파일의 이름은 ChatQT-Plasmoid.tar.gz 이다.

위치 : https://store.kde.org/p/2184747

ChatQT

(5) 작업 표시줄을 오른쪽 마우스 클릭한 후 팝업 메뉴에서 '위젯 추가 및 관리'를 선택한다.

​

(6) '새 항목 가져오기 > 로컬 파일에서 위젯 설치'를 선택해서 ChatQT-Plasmoid.tar.gz 파일을 불러들인다.

(7) 설치된 ChatQT 위젯을 마우스로 클릭하면 트레이에 아이콘이 등록된다. 그러면 ChatQT 위젯을 적당한 위치로 옮긴다.

(8) 아이콘을 클릭하면 다음과 같은 창이 뜨는데 질문을 입력하고 Ctrl+Enter를 입력하면 답변이 제시된다. 상단에 있는 Thinking에 표시된 체크 표시는 제거해야 한다.

​