로컬 LLM 실행하기 — 내 PC에서 무료로 AI 돌리기(Ollama 완벽 가이드)

클라우드 AI는 편리하지만, 내 데이터가 외부 서버로 나간다는 점이 늘 마음에 걸린다. 그래서 요즘 개발자와 파워유저 사이에서 로컬 LLM 실행이 빠르게 늘고 있다. 인터넷 없이, 구독료 없이, 내 PC 안에서만 AI를 돌리는 것이다. 이 글에서는 가장 쉬운 도구인 Ollama를 중심으로 로컬 LLM을 시작하는 법을 정리한다.

왜 로컬 LLM인가

• 프라이버시: 입력한 내용이 외부로 전송되지 않는다. 민감한 코드·문서에 적합하다.
• 비용: 한 번 설치하면 토큰당 과금이 없다. 무제한으로 써도 무료다.
• 오프라인: 인터넷이 끊겨도 동작한다. 비행기·보안망 환경에서 유용하다.
• 커스터마이즈: 모델 교체·미세조정이 자유롭다.

필요한 PC 사양

모델 크기(파라미터 수)에 따라 요구 사양이 다르다. RAM 또는 GPU 메모리가 가장 중요하다.

모델 크기	최소 RAM	권장 환경	체감 속도
3B 이하	8GB	CPU도 가능	빠름
7~8B	16GB	GPU 6GB+ 권장	쾌적
13~14B	32GB	GPU 12GB+	보통
30B 이상	64GB	GPU 24GB+	무거움

GPU가 없어도 동작하지만, 그래픽 메모리가 넉넉할수록 응답이 빨라진다.

설치와 실행 흐름

Ollama는 설치가 가장 간단한 편이다. 공식 사이트에서 설치 파일을 받은 뒤, 터미널에서 모델을 내려받아 바로 대화할 수 있다.

# 1. 모델 다운로드 후 바로 실행 (대화형)
ollama run llama3.1

# 2. 더 가벼운 모델로 시작하기
ollama run gemma2:2b

# 3. 설치된 모델 목록 확인
ollama list

# 4. API 서버로 호출 (앱 연동용)
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5",
  "prompt": "한국의 수도는?"
}'

첫 실행 시 모델 파일(수 GB)을 내려받느라 시간이 걸리지만, 이후부터는 즉시 로딩된다.

추천 오픈모델

• Llama 계열(Meta): 범용 성능이 안정적이라 입문에 무난하다.
• Qwen 계열(알리바바): 한국어·중국어 등 다국어와 코딩에 강하다.
• Gemma 계열(구글): 작고 가벼워 저사양 PC에 적합하다.

한계도 알아두자

로컬 LLM은 매력적이지만 만능은 아니다. 같은 크기라면 최상위 클라우드 모델보다 성능이 낮은 경우가 많고, 큰 모델을 돌리려면 그만한 하드웨어가 필요하다. 또한 최신 정보는 학습 시점에 묶여 있다. 민감 데이터·반복 작업·오프라인 환경엔 로컬을, 최고 성능이 필요한 작업엔 클라우드를 쓰는 식으로 병행하는 것이 현실적인 전략이다.