LLM( 생성형) 업무효율화, 업무활용, 인공지능 활용하여 일잘 하는법 25
생각하고 따라하면 성공하는 맥락적이해 방법 청킹 청킹이라는 단어 역시 이해를 충분히 하셔야 합니다. 말 그대로 ‘덩어리 만들기’ 라는 뜻인데요, 단어를 올리면 이걸 쪼개는데 그 쪼개진 단위를 ‘토큰’ 이라고 말씀드렸습니다. 이러한 토큰 덩어리는 청크 라고 하고 청크를 만드는 것을 청킹이라고 합니다. 덩어리 규모에 따라 토큰 규모가 달라지게 되는데 앞서서 예시를 들었던 것을 기준으로 예시 문장: 홍승민은 군포 5대천왕 이다. 여기에서 앞선 기준으로 토큰화 하면 총 6토큰이 됩니다. 이때 6토큰을 하나의 청크로 설정을 해도 되고 ‘홍승민은 군포’ 까지 1청킹 ‘5대천왕 이다.’를 1청킹 하면 총 청킹은 2개입니다. 그럼 청킹이 왜 중요하냐 하면. 우리가 쿼리를 던질 때 (질문을 할 때) 그 질문에 대해 ..
카테고리 없음
2024. 8. 11. 10:48
