LLM( 생성형) 업무효율화, 업무활용, 인공지능 활용하여 일잘 하는법 26

RAG개념잡고 따라하면 성공하는 생성형 전문가

 

RAG개념에 대해서 이해하고 응용방법에 대해 이해하기

 

요약1. RAG는 ‘24.07 기준 환각 현상이 가장 최소화된 도구입니다.

요약2. 환각을 제거할 수 없습니다.

요약3. 엑셀은 밥 먹듯이 거짓말합니다. 아니 숫자는 수시로 거짓말합니다.

 

 

RAG이 도구를 처음 접한 것이 2023년 01월이 되니 글 쓰는 시점에서 1년이 넘었습니다.

사실 당시 RAG 개념보다는 랭체인 이라는 TOOL을 공부했다는 게 더 맞는 표현 같습니다.

 

RAG가 등장하게 된 가장 큰 배경은 심각한 수준의 환각 현상 때문입니다. 물론 지금도 환각 현상은 나타나고 있지만, RAG가 등장하고 난 다음에 환각 현상이 일정 부분 줄어 들었고 무엇보다 가장 시급한 최신 정보를 포함하여 답변을 해 주게 되었습니다. 그러다 시간이 흘러, 이때보다 지금은 더 진보된고 방법으로 세분화돼서, 현재 저는 진보된 형태의 RAG를 쓰고 있습니다. 기존 것과 다르다면 증강 검색을 두 번 하는 것입니다. 이렇게 환각 현상을 잡기 위해서 RAG기법을 사용하는데, 이 환각 현상을 무조건 잡아야 할까요? 이 부분은 사실 고민을 조금 해봐야 합니다.

 

현재 제가 사용하는 ADVANCED RAG는 두 번에 걸쳐 검색 증강을 하다 보니 환각 현상과 그리고 시스템 프롬프팅에 더 충실하게 반응합니다. 그리고 현재 시점에서 제가 내린 결론은 FINE TUNING는 일반적인 챗봇 보다는 전문적인 챗봇에 더 적합하다 판단이 되고 일반적으로 사용하는 챗봇으로는 RAG와 프롬프팅이 적합할 것이라 판단합니다. 그리고 현재 제 생각에 당장은 진보된 RAG를 제가 사용하지만 2024년 말에는 다른 도구가 나오지 않을까 생각합니다. 그 이유는 무엇보다 토큰비용과 그리고 환각현상의 문제 때문입니다.

 

이번 챕터의 주제인 RAG로 넘어와서, RAG를 우리말로 풀어쓰면

 

RAG(Retrieval-Augmented Generation)

Retrieval:인출 이라는 뜻입니다. 돈을 인출하는 게 아니고 기억속 무언가를 (스키마 형태의) 호출하는 과정을 의미합니다. 즉 기억의 인출 입니다. 이때 인출을 위해서는 무언가를 찾아야 합니다. 그래서 검색이라는 의미로도 사용 됩니다. RAG 개념에서는 주로 검색으로 사용됩니다.

 

Augmented: 증가된 이란 뜻입니다.

대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다. 대규모 언어 모델(LLM)은 방대한 양의 데이터를 기반으로 학습되며 수십억 개의 매개 변수를 사용하여 질문에 대한 답변, 언어 번역, 문장 완성과 같은 작업에 대한 독창적인 결과를 생성합니다. RAG는 이미 강력한 LLM의 기능을 특정 도메인이나 조직의 내부 지식 기반으로 확장하므로 모델을 다시 교육할 필요가 없습니다.

 

Generation: 생성입니다.

 

 

검색-증강 생성

즉, RAG(Retrieval-Augmented Generation)에 대한 자세한 내용을 다음 포스팅에 이어 좀 더 자세히 다뤄보겠습니다.

.

.

.

생성형인공지능, LLM, 일잘러, RAG응용, 챗지피티 를 활용해서 프로 일잘러 되기 출간 준비중~~!!