정부 지원 사업계획서 작성법 (생성형 활용) 09

 

사업계획서 작성 문의는 010-6742-1176 / 홍승민

생성형 포럼 사이트 : https://llmrag.co.kr

_______________________________________________________

 

3. 양질의 데이터

 

 

 

 

제가 강조하는 양질의 데이터는 전통적인 인공지능 학습 관점과는 다른 RAG 관점에서의 데이터입니다. RAG는 학습이 아니라 단순하게 색인 참조 수준 RAG라는 단어가 검색증강이기에 그렇습니다.

 

먼저 양질의 데이터란 인공지능 학습 관점에서 매우 중요합니다. 양질의 데이터 즉 충분히 개발 의도와 일치하는 데이터를 기준으로 학습을 시켜야 합니다. 그래서 학습을 진행할 때는 학습용 데이터와 테스트용 데이터 이렇게 1세트로 진행해야 합니다. 이런 것이 아니라면 영어식 표현으로 “Garbage in, garbage out(쓰레기가 들어가면 쓰레기가 나온다)”라는 말이 정답입니다. 인공지능 관점에서는 이 말이 정답입니다. 이 부분을 생성형 ‘응용’ 관점에서 보면 크게 2가지로 볼 수 있습니다.

 

 

생성형 인공지능에서 추가 학습 방법

 

먼저 우리는 생성형 학습을 위한 데이터를 만들 일이 거의 없습니다. LAMA 모델을 이용해서 내부적인 생성형 모델을 구축하기 위해서는 데이터가 필요하지만 응용 소프트웨어 관점에서는 생성형 학습을 위한 데이터는 불필요합니다. 못 써먹습니다.

 

(1) FINE TUNING

파인튜닝을 생성형을 연구하다 보면 한 번 정도 들어 보셨을 것입니다. 파인튜닝은 사전학습된 인공지능을 사용 목적에 더 부합되게 미세조정하는 것입니다. 물론 생성형 관점에서는 미세조정이라는 표현이 더 적합한 파인튜닝의 개념이라 하겠습니다.

 

‘파인튜닝’이라는 단어보다 ‘미세조정’이라는 단어가 더 이해가 빠르실 텐데 다소 극단적 왜곡이지만 생성형에서의 파인튜닝은 이런 관점입니다.

 

 

예시 1 - 고양이 사진을 100장 보여 주고, “이런 게 고양이야.” → 사전학습 - 코리아 숏헤어 고양이 사진을 추가로 보여 주면서, “한국 고양이야.” → 파인튜닝

 

예시 2 - 고양이 사진을 100장 보여 주고, “이런 게 고양이야.” → 사전학습 - 코리아 숏헤어 고양이 사진을 추가로 보여 주면서, “한국 호랑이야.” → 파인튜닝

(# 마지막 말만 ‘호랑이’라고 언급하는 것이 맞을까요?)

 

예시 3 - 불특정 다수의 데이터를 보여 주면서 문서의 거리 간 측정을 계산하고 거리가 가까우면 비슷한 것으로 판단하게 하는 과정 → 사전학습 - 특정 문장이나 단어가 제시 및 답변까지 학습시키는 것 → 파인튜닝

 

 

위 예시 2에서 제가 ‘호랑이’를 말씀드린 건, 파인튜닝을 하게 되면 매우 높은 수준에서 조정되기 때문입니다. 특정 조직이 특정 목적에 대해 사용하기 위해서는 이런 미세조정이 필요한데, 미세조정을 하게 되면 창의성이 부족하게 되므로 특수 목적으로만 사용하는 게 맞습니다. 예를 들어 법리 해석이라든가 의료 해석이라든가 등 외부 정보나 해석이 들어가면 안 되는 것들에 해당됩니다.

이를 좀 더 응용하면 파인튜닝 데이터에 의해 엑셀 계산도 가능하게 됩니다. 반면 이런 것이 아닌 일반적인 업무 환경이라면 파인튜닝은 사실 필요 없습니다.

특수한 환경에서 업무를 해야 하는 경우, 예를 들어 매우 엄격한 기준을 적용해야 해서 오차가 발생되면 안 되는 행위들(도면설계, 작업 시방서 작성 등)을 해야 할 때 매우 엄격한 기준에서는 이러한 파인튜닝이 필요합니다.

 

추가적으로 파인튜닝을 통해 특수목적용 생성형 인공지능을 구축하면 해당 목적 이외에는 사실상 사용하기 어려운 형태가 되므로 생성형 인공지능이 복수가 필요합니다.

 

(2) RFHF

RFHF는 ‘Reinforcement Learning Human Feedback’의 약자입니다. 영어로 표현되어 뭔가 어렵고 대단한 것 같지만, 사실 그렇지 않습니다. 생성형을 학습시키는 과정에서 AI 에이전트 공간이 있습니다. 이 공간은 프롬프팅의 입출력이 가능한 공간입니다. 약간 OPEN AI 플레이그라운드 같은 공간을 이야기합니다. 여기에 프롬프팅을 입력하고 결과가 나오면 그 결과에 대해서 좋아요, 싫어요를 하면 됩니다. 물론 이렇게 설명하기에는 훨씬 정교하고 복잡하지만 이 책에서는 방법론을 이야기하는 것이 아니라 맥락적 의미를 이해하기 위한 것이므로 이 정도 수준으로 이해하시는 것도 대단하신 것입니다.

 

(다음 포스팅에서 이어서 계속)