DEV/AI

[AI] LLM, RAG, MCP 정리

강한 2026. 9. 12. 06:20

LLM, RAG, MCP가 각각 무엇인지 간단하게 정리해보겠습니다.

 


LLM (Large Language Model)

 

  • Large → 대규모
  • Language → 언어
  • Model → 모델

 

LLM은 대량의 텍스트 데이터를 학습한 언어 모델입니다.

사용자의 질문을 이해하고, 학습한 내용을 바탕으로 다음에 올 단어나 문장을 예측하면서 답변을 생성합니다.

 

예를 들어 사용자가 "자바에서 인터페이스란?"

이라고 질문하면, LLM은 학습한 프로그래밍 지식을 바탕으로 답변을 만들어냅니다.

 

하지만 학습에 포함되지 않은 최신 정보나 특정 회사의 내부 문서처럼 모델이 직접 알 수 없는 정보는 답변에 활용할 수 없습니다.


RAG (Retrieval-Augmented Generation)

 

  • Retrieval → 검색, 가져오기
  • Augmented → 보강된, 강화된
  • Generation → 생성

 

RAG는 LLM이 답변을 생성하기 전에 관련된 문서를 먼저 검색하고, 검색한 내용을 참고하여 답변하도록 하는 방식입니다.

 

쉽게 말하면, 질문 → 관련 문서 검색 → 검색 결과를 LLM에게 전달 → 답변 생성 과정으로 동작합니다.

예를 들어 회사 내부에 개발 가이드 문서가 있다고 가정해보겠습니다.

 

사용자가 "우리 회사 결제 API의 인증 방식은?"

이라고 질문하면, RAG는 먼저 관련된 사내 문서를 검색합니다.

그리고 검색된 내용을 LLM에게 전달하여 해당 문서를 근거로 답변을 생성하도록 합니다.

따라서 LLM을 다시 학습시키지 않아도 최신 정보나 사내 문서 같은 외부 정보를 답변에 활용할 수 있습니다.


MCP (Model Context Protocol)

 

  • Model → 모델
  • Context → 맥락, 문맥
  • Protocol → 통신 규약, 프로토콜

 

MCP는 LLM이 외부의 데이터와 도구를 표준화된 방식으로 사용할 수 있도록 만들어진 프로토콜입니다.

예를 들어 LLM이 다음과 같은 작업을 해야 한다고 가정해보겠습니다.

  • 파일 읽기
  • 데이터베이스 조회
  • 외부 API 호출
  • Git 저장소 조회
  • 특정 프로그램의 기능 실행

이런 기능을 LLM마다 각각 다른 방식으로 연결하려고 하면 연동 방식이 복잡해집니다.

MCP를 사용하면 LLM과 외부 도구 사이의 통신 규칙을 표준화할 수 있습니다.

쉽게 표현하면, LLM이 외부 도구를 사용할 수 있도록 해주는 공통 연결 규격이라고 이해하면 됩니다.


그렇다면 MCP는 왜 사용할까?

가장 큰 이유는 외부 도구와 LLM 사이의 연동 방식을 표준화하기 위해서입니다.

MCP가 없다면 AI 애플리케이션마다 파일, DB, API 등의 연결 방식을 각각 구현해야 할 수 있습니다.

반면 MCP를 사용하면 외부 기능을 MCP 서버라는 형태로 제공하고, MCP를 지원하는 AI 클라이언트가 정해진 규격을 통해 해당 기능을 사용할 수 있습니다.

예를 들어 다음과 같이 구성할 수 있습니다.

        LLM
         │
         ▼
    AI 애플리케이션
         │
         │ MCP
         ▼
     MCP 서버
      │   │   │
      ▼   ▼   ▼
     파일  DB  API

이렇게 하면 외부 도구의 기능을 특정 AI 애플리케이션에 종속적으로 만들지 않고 표준화된 방식으로 연결하고 재사용하기 쉬워집니다.


 

정리 

LLM
→ 질문을 이해하고 답변을 생성하는 모델

RAG
→ 필요한 외부 정보를 검색해서 LLM의 답변에 활용하는 방법

MCP
→ LLM이 외부 데이터나 도구를 표준화된 방식으로 사용할 수 있도록 연결하는 프로토콜

 

즉, LLM은 답변을 만들고, RAG는 필요한 정보를 찾아주며, MCP는 외부 도구와 연결해주는 역할을 합니다.