AI를 꼭 클라우드에서만 써야 할까?
ChatGPT든 Claude든, 우리가 입력한 건 결국 그 회사 서버로 갑니다. 대부분은 그래도 되지만, 회사 문서나 개인정보가 섞이면 좀 찜찜하죠. 그럴 때 대안이 로컬 LLM이에요. 모델을 내 컴퓨터에 받아서, 인터넷 없이, 내 기기 안에서만 돌리는 거예요. 데이터가 밖으로 안 나가고, 호출 한도도 없고, 돈도 안 듭니다. 이 글은 코딩 몰라도 따라 할 수 있게 입문 흐름을 정리한 거예요.
현장 기록 (2026-06-28) — 저는 16GB 램 노트북에 Ollama를 깔고 7~8B급 모델 몇 개를 굴려봤어요. 결론부터 말하면, 클라우드 최신 모델만큼 똑똑하진 않아요. 속도도 느리고요. 하지만 "민감한 메모를 요약"하거나 "비행기에서 인터넷 없이 글 다듬기" 같은 용도엔 충분했습니다. 무엇보다 입력한 게 내 컴퓨터 밖으로 안 나간다는 안심이 컸어요. 다만 8GB 램 기기에선 버벅임이 심해서, 솔직히 16GB는 있어야 쾌적합니다.
왜 로컬에서 돌리나 — 세 가지 이유
- 프라이버시: 입력이 외부 서버로 전송되지 않아요. 사내 가이드상 외부 AI에 못 넣는 자료를 다룰 때 유용합니다(회사 정책은 별도 확인).
- 비용: 모델도 무료, 실행 소프트웨어도 무료. 클라우드처럼 구독료나 토큰 과금이 없어요. 전기료와 내 컴퓨터 성능만 들어갑니다.
- 오프라인·무제한 호출: 인터넷이 없어도 돌아가고, 클라우드 무료 등급처럼 "한도 도달"로 막히는 일이 없습니다.
Ollama vs LM Studio — 뭘 깔까
로컬 LLM을 돌리는 대표 도구가 둘이에요. 둘 다 무료고, Windows·macOS·Linux를 지원합니다.
Ollama — 명령어 한 줄, 가볍고 빠름
Ollama는 오픈소스이고, 터미널에서 명령어 한 줄로 모델을 받고 바로 대화할 수 있어요. 가볍고, 다른 앱(코딩 에디터 등)과 연동하기도 좋습니다. 설치 후 모델 하나 받는 게 사실상 명령어 두 개면 끝이에요. 터미널이 익숙하면 이쪽이 편합니다.
LM Studio — 클릭으로 쓰는 GUI
LM Studio는 채팅 앱처럼 생긴 그래픽 화면(GUI)을 줍니다. 모델을 검색창에서 찾아 클릭으로 받고, 카톡 하듯 대화하면 돼요. 터미널이 부담스러운 입문자에게 권합니다. 참고로 LM Studio는 2025년 7월부터 개인뿐 아니라 직장에서의 사용도 무료가 됐어요(별도 라이선스 신청 불필요).
입문이면 LM Studio로 감을 잡고, 익숙해지면 Ollama를 곁들이는 흐름을 추천해요.
출처: Ollama 공식 GitHub · LM Studio 공식 · LM Studio — free for use at work(2025-07)
내 컴퓨터로 되나? — RAM이 관건
가장 중요한 게 메모리(RAM)예요. 모델이 클수록 더 많은 메모리를 먹습니다. 대략적인 기준은 이래요(4비트 양자화 기준, 기기·OS에 따라 체감은 달라집니다).
- 8GB RAM: 최소 기준이에요. 3B 안팎의 작은 모델이나 7B를 빠듯하게 돌릴 수 있지만 헤드룸이 거의 없어 버벅일 수 있어요. 가벼운 맛보기용.
- 16GB RAM: 7B~14B급이 무난해요. 실용적인 입문 최소선이라고 봅니다.
- 24~32GB RAM: 32B급까지 노려볼 만해요. 진지하게 쓸 거면 32GB가 권장됩니다.
GPU(그래픽카드)가 있으면 훨씬 빠르지만, 필수는 아니에요. AVX2를 지원하는 64비트 CPU면 GPU 없이도 작은 모델은 돌아갑니다. 다만 GPU 없이 큰 모델을 돌리면 답변이 한 글자씩 느릿느릿 나오니 인내심이 필요해요. (구체 수치는 모델·양자화·기기마다 달라서 대략값이며, 실제는 직접 돌려봐야 정확합니다.)
출처: Ollama GitHub(README) · 하드웨어 가이드(Local AI Master, 2차 자료) — 8GB 최소·16GB 실용·32GB 권장. 수치는 대략값.
어떤 모델을 깔까 — 한국어까지
로컬에서 돌릴 수 있는 공개(오픈웨이트) 모델이 정말 많아요. 2026년 기준 입문자에게 자주 권하는 것들이에요.
- Llama 계열(Meta): 가장 무난한 첫 모델. 작은 사이즈가 가벼워 처음 테스트용으로 많이 씁니다.
- Qwen 계열(Alibaba): 소비자 하드웨어에서 가성비가 좋다는 평이 많아요. 코딩·일반 작업에 두루 쓰입니다.
- Gemma 계열(Google): 작은 크기에 비전(이미지)·도구 호출까지 지원하는 버전이 있어요.
- DeepSeek-R1: 추론(생각 과정을 펼치는) 특화. 수학·코딩 문제에 강합니다.
- gpt-oss(OpenAI 공개 모델): 20B 버전은 약 16GB 메모리에서 돌아가며 중급 추론 모델급 성능으로 평가됩니다.
한국어가 중요하면 LG AI Research의 EXAONE 3.5를 추천해요. 한국어·영어 이중언어 모델이고 2.4B / 7.8B / 32B 사이즈가 있어서, 가벼운 기기엔 2.4B, 16GB쯤이면 7.8B를 고르면 됩니다. Ollama 라이브러리와 LM Studio 양쪽에서 받을 수 있어요. 한국어 요약·메일 다듬기 같은 일상 작업엔 7.8B로도 쓸 만했습니다.
출처: Ollama 모델 라이브러리 · LG AI Research — EXAONE 3.5(한·영 2.4B/7.8B/32B) · Ollama EXAONE 3.5. 모델 버전·성능은 수시 변동.
5분 설치 흐름 (LM Studio 기준)
- 1) 내려받기: lmstudio.ai에서 내 OS용 설치 파일을 받아 설치합니다.
- 2) 모델 검색: 앱 안의 검색(돋보기)에서 "exaone" 또는 "llama"를 쳐서 내 RAM에 맞는 사이즈를 고릅니다. 8GB면 작은 사이즈부터.
- 3) 다운로드: 모델을 받습니다(수 GB라 한 번은 인터넷 필요). 받고 나면 이후엔 오프라인으로도 돌아가요.
- 4) 채팅: 받은 모델을 불러와(Load) 대화창에 질문하면 끝. 카톡 하듯 쓰면 됩니다.
Ollama라면 설치 후 터미널에 모델을 받아 실행하는 명령(예: 모델 이름으로 run) 한 줄이면 바로 대화가 시작돼요. 명령어 형식은 공식 문서에 그대로 나와 있습니다.
한계와 흔한 오해
- "로컬이면 ChatGPT만큼 똑똑하겠지" — 아니에요. 같은 크기 모델은 최신 클라우드 플래그십보다 약합니다. 작은 모델일수록 더 그렇고요. 용도를 가려 쓰세요.
- "빠르겠지" — GPU가 없으면 답이 느리게 나옵니다. 긴 답변은 인내가 필요해요.
- "로컬이니 무조건 안전" — 모델 자체는 외부 전송이 없지만, 어떤 프런트엔드는 별도 기능으로 인터넷에 붙기도 합니다. 정말 오프라인인지 한 번은 확인하고, 회사 자료는 사내 보안 정책부터 확인하세요(회사에서 AI 쓰기 가이드 참고).
남은 질문 몇 가지
Q. 정말 공짜인가요?
A. Ollama·LM Studio 같은 실행 도구도, 위에 적은 공개 모델들도 무료로 받을 수 있어요. 다만 전기료와 내 컴퓨터 성능이 비용이라면 비용이고, 상업적 사용은 모델별 라이선스를 한 번 확인하는 게 안전합니다.
Q. 클라우드 AI를 완전히 대체하나요?
A. 아직은 아니에요. 무겁고 어려운 작업은 클라우드가 낫고, 로컬은 "가볍고 민감한 작업"에 곁들이는 보조로 쓰는 게 현실적입니다. 무료로 시작하는 다른 방법은 무료 AI 도구 정리에 더 있어요.
Q. 어느 정도 사양이면 시작해도 되나요?
A. 16GB RAM이면 7~8B 모델로 편하게 시작할 수 있어요. 8GB면 작은 모델로 맛보기는 되지만 답답할 수 있습니다.
모델 버전·성능·하드웨어 요구치는 빠르게 바뀌고, 같은 사양이라도 체감은 기기마다 다릅니다. 본문 수치는 대략값이며 각 출처의 확인 시점(2026-06-28) 기준입니다. 상업적 이용·보안은 각 모델 라이선스와 사내 정책을 직접 확인하세요.
