전체 글40 AI 정렬이란? 언어 모델이 사람의 지시를 따르도록 만드는 과정 대화형 AI에게 "이 글을 세 문장으로 요약해줘"라고 요청하면 보통 새로운 이야기를 마음대로 이어 쓰기보다 요약이라는 작업을 수행하려고 합니다. "두 개의 개념을 표로 비교해줘"라고 하면 요청한 형식에 맞춰 정보를 정리하려고 합니다. 지금은 이런 모습이 자연스럽게 느껴지지만 대규모 언어 모델이 처음부터 사람의 모든 지시를 잘 따르도록 만들어지는 것은 아닙니다. 기본적인 언어 모델의 핵심 학습 목표는 주어진 문맥에서 이어질 토큰을 예측하는 것과 관련되어 있기 때문입니다.그렇다면 문장을 이어 쓰도록 학습한 모델이 어떻게 질문에 답하고, 요청한 작업을 수행하며, 바람직하지 않은 요청에는 적절하게 대응하는 대화형 AI로 발전할 수 있을까요?이 질문과 연결되는 개념이 AI 정렬(Alignment)입니다. 이번 글.. 2026. 9. 27. LoRA란? 거대한 AI 모델 전체를 바꾸지 않고 학습하는 방법 지난 38번 글에서는 이미 사전학습된 AI 모델을 특정 목적에 맞게 추가로 학습하는 파인튜닝을 살펴봤습니다. 파인튜닝을 이용하면 특정 작업이나 출력 패턴에 맞게 모델의 행동을 조정할 수 있습니다. 그런데 모델의 규모가 커질수록 현실적인 문제가 생깁니다. 수많은 파라미터를 가진 모델의 모든 가중치를 다시 학습하려면 상당한 메모리와 계산 자원이 필요할 수 있기 때문입니다.그렇다면 기존 모델이 이미 가진 능력은 대부분 유지하면서 우리가 필요한 변화만 비교적 작은 형태로 학습할 수는 없을까요?이 질문과 연결되는 대표적인 방법이 LoRA(Low-Rank Adaptation)입니다. 이번 글에서는 LoRA가 왜 등장했는지부터 '저랭크'가 무엇을 의미하는지, 전체 파인튜닝과 무엇이 다른지, 그리고 LoRA가 실제 모.. 2026. 9. 27. AI 파인튜닝이란? 이미 학습한 모델을 다시 학습시키는 이유 대규모 언어 모델은 방대한 데이터를 이용해 사전학습됩니다. 그 덕분에 하나의 모델이 글쓰기, 요약, 분류, 질의응답처럼 다양한 작업을 처리할 수 있습니다. 그런데 실제로 AI를 특정 업무에 적용하다 보면 조금 다른 요구가 생깁니다. 일반적인 글을 잘 쓰는 것보다 정해진 형식으로 문서를 분류하는 능력이 중요할 수도 있고, 특정한 입력을 받았을 때 일정한 출력 형식을 안정적으로 따르도록 만들고 싶을 수도 있습니다.지난 37번 글에서 살펴본 프롬프트를 이용하면 모델의 가중치를 바꾸지 않고도 현재 작업의 방향을 지정할 수 있습니다. 하지만 경우에 따라서는 추가 데이터를 이용해 모델 자체를 특정 목적에 맞게 조정하는 방법을 사용할 수 있습니다.이때 등장하는 개념이 파인튜닝(Fine-tuning), 즉 미세조정입니.. 2026. 9. 26. AI 프롬프트는 어떻게 작동할까? 같은 모델도 질문에 따라 답이 달라지는 이유 같은 AI 모델을 사용해도 질문을 어떻게 작성하느냐에 따라 답변은 크게 달라질 수 있습니다. 단순히 "설명해줘"라고 요청했을 때와 대상 독자, 목적, 형식, 참고할 정보를 함께 알려줬을 때 결과가 달라지는 것을 쉽게 확인할 수 있습니다. 이 때문에 생성형 AI가 널리 사용되면서 프롬프트(Prompt)라는 단어도 익숙해졌습니다. 프롬프트를 AI에게 내리는 명령어라고 설명하기도 하지만 실제로는 조금 더 넓은 개념으로 이해할 필요가 있습니다.프롬프트는 모델이 현재 답변을 생성할 때 참고하는 입력의 일부입니다. 사용자의 질문뿐 아니라 작업 조건, 예시, 참고 자료 등이 함께 포함될 수 있으며 이 정보들이 모델의 다음 토큰 예측에 영향을 줍니다.지난 36번 글에서 살펴본 컨텍스트 윈도우와 연결하면 프롬프트가 왜 .. 2026. 9. 26. AI 컨텍스트 윈도우란? 긴 대화를 계속 기억하는 것처럼 보이는 이유 AI와 대화를 이어가다 보면 신기한 순간이 있습니다. 처음에 알려준 조건을 몇 차례 대화가 지난 뒤에도 참고하거나, 앞에서 작성한 글의 내용을 바탕으로 다음 내용을 자연스럽게 이어가는 경우입니다. 이런 모습을 보면 AI가 사람처럼 대화 내용을 머릿속에 계속 저장하고 있다고 생각하기 쉽습니다. 하지만 대규모 언어 모델이 현재 대화를 참고하는 방식은 인간의 기억과 상당히 다릅니다.이를 이해할 때 중요한 개념이 컨텍스트 윈도우(Context Window)입니다.지난 글에서는 긴 문서를 청크로 나누고 필요한 부분만 검색해 AI에게 전달하는 이유를 살펴봤습니다. 이번에는 왜 모든 정보를 한꺼번에 넣을 수 없는지, 컨텍스트가 길어지면 어떤 일이 생기는지, 그리고 현재 대화를 참고하는 것과 AI가 새롭게 학습하는 것.. 2026. 9. 25. AI 문서 청킹이란? 긴 문서를 잘게 나눠 검색하는 이유 지난 33번과 34번 글에서는 RAG와 벡터 데이터베이스의 원리를 살펴봤습니다. 문서를 임베딩으로 변환해 저장하고 사용자의 질문과 의미적으로 가까운 자료를 찾아 언어 모델에 제공하는 구조였습니다. 그런데 실제 문서를 검색 시스템에 넣으려고 하면 바로 한 가지 문제가 생깁니다. 수십 페이지짜리 PDF나 긴 보고서 하나를 통째로 하나의 벡터로 만들어도 괜찮을까요?예를 들어 100페이지짜리 제품 설명서에 배터리, 화면, 연결 방법, 문제 해결, 보증 정책이 모두 들어 있다고 생각해 보겠습니다. 사용자는 그중 "배터리를 절약하려면 어떤 설정을 해야 하나요?"라는 한 가지 내용만 궁금할 수 있습니다.이럴 때 긴 문서를 적절한 크기의 조각으로 나누어 검색할 수 있도록 만드는 과정이 청킹(Chunking)입니다. 겉.. 2026. 9. 25. 이전 1 2 3 4 ··· 7 다음
