google-site-verification=tiTpc7g9EFArxomgX7IqEflz-fp4nI0F2jLaMkFLPoQ
사업계획서 작성 문의는 010-6742-1176 / 홍승민
생성형 포럼 사이트 : https://llmrag.co.kr
_______________________________________________________
(앞선 포스팅에 이어)
정량적 목표를 작성하기가 생각보다 어렵습니다. 저 역시 항상 고민하고 수정을 반복하는 부분입니다. 그렇게 수정 반복 그리고 고민을 하는 이유는, 정량적 항목을 작성하면서 세계 최고 수준으로 작성을 해야 하는데, 세계 최고 수준에 다가갈 자신은 없기 때문입니다. 하지만, 기술개발을 함에 있어 세계 최고 수준이 되지 않는다면, “조금 어렵다”라는 말씀을 드립니다.
그럼 정량적 평가표 작성하는 방법을 말씀드립니다. 시스템상 전산에 입력을 해야 하는 항목이기도 합니다. 전산에 입력을 하다 보니, 전산의 양식을 이용해서 ‘본문=사업계획서’에 작성을 해야 하는데, 아래 양식을 확정적으로 하셔서 작성하시는 것을 권장합니다. 양식은 참조 파일에 있으니 그대로 복사해서 사용하십시오.
○ 기술개발 정량적 목표(성능지표 및 평가방법)
평가 항목 (주요성능1) |
단위 | 전체 항목에서 차지하는 비중2(%) | 세계 최고 수준 보유국/보유 기관 | 연구개발 전 국내 수준 |
연구개발 목표치 | 목표 설정 근거 |
성능수준 | 성능수준 | 개발완료 후 | ||||
응용서비스 구현 |
건 | 30% | 미국/AWS 3건 |
코나나테크놀러지 3건 | 3건 | 공인시험평가 |
서비스내 기능 구현 |
건 | 30% | 5 이상 | 5 이상 | 5 이상 | 공인시험평가 |
정확성 | % | 20% | 95% 이상 미국/OpenAI |
95% 이상 | 95% 이상 | 공인시험평가 |
재현율 | % | 5% | 80% 이상 미국/OpenAI |
80% 이상 | 80% 이상 | 공인시험평가 |
사용자 만족도 |
% | 5% | 90% 이상 | 90% 이상 | 90% 이상 | 공인시험평가 |
서비스별 데이터확보 |
건 | 10% | 사용자 제시 | 사용자 제시 | 각 3건 이상 |
순번 | 평가항목 (성능지표) |
평가방법 | 평가환경 |
1 | 응용서비스 구현 |
최종 개발한 서비스의 퍼블리싱 및 구현 3개 이상 개발 구현 |
콜라스 기관 시험환경 |
2 | 서비스 내 기능 구현 |
각 구현 서비스별 사용자 기능 구현 서비스별 5개 이상 기능 구현 |
|
3 | 정확성 | 질문과 예상답변 구현 이후 질문 후 결과답변 비교 분석 N-gram등을 활용하여 문장 유사도 확인 |
|
4 | 재현율 | 질문과 예상답변 구현 이후 동일 질문에 대한 결과답변 비교 분석 N-gram등을 활용하여 문장 유사도 확인 |
|
5 | 사용자 만족도 |
사용자 만족도 조사 90% 이상 긍정반응 평가 | |
6 | 서비스별 데이터 확보 |
응용서비스별 자체 확보 데이터 제시 데이터 순수성, 데이터 권리제시 서비스별 3종 이상 |
○ 기술개발 정성적 항목
특허 출원 1건
저작권 등록 1건
정성적 항목 작성이 조금 성의 없이 작성된 사례입니다.
정성적 항목은 아래와 같이 작성하시는 것이 좀 더 바람직합니다.
○ 기술개발 정성적 항목
특허 02건
출원명 | 내용 | 출원일 |
출원명을 작성합니다. | 특허에 대한 내용 | 예상되는 출원일자 |
출원명을 작성합니다. | 특허에 대한 내용 | 예상되는 출원일자 |
저작권 등록 02건
저작권명 | 내용 | 출원일 |
저작권 이름 | 특허에 대한 내용 | 예상되는 출원일자 |
저작권 이름 | 특허에 대한 내용 | 예상되는 출원일자 |
특허출원, 신규고용, 목표 매출액, 논문 발표 수
□ 성능지표 및 측정방법
(1) 결과물의 성능지표
평가 항목 (주요성능) |
단위 | 전체 항목에서 차지하는 비중(%) | 세계 최고 수준 보유국/보유 기관 | 연구개발 전 국내 수준 |
연구개발 목표치 | 목표 설정 근거 |
|
성능수준 | 성능수준 | 1단계(23~24) | 2단계(24~25) | ||||
소음 구분수 | ea | 20% | 미국/SONYC 5ea |
- | 3 | 5종 이상 | 최고 수준 |
소음식별성능 | % | 25% | 미국/Honeywell 70% |
70% | 70% | 75% | 최고 수준 |
소음원 위치 추정 오차 | m | 25% | - | - | ±1 | 최고 수준 | |
Edge컴퓨팅 처리속도 | ea | 10% | 미국 GE 구현가능 | - | 처리속도 5sec |
처리속도 3sec |
- |
음원 탐지 성능 @ 마이크로폰 어레이 모듈 (각도 분해능) | deg | 10% | 미국/Honeywell 20 |
- | 20 | 20 | 최고 수준 |
ML Ops | ea | 5% | - | - | Level 0 | Level 1 | - |
제품크기 | ea | 5% | - | - | - | 300x200x30 미만 | - |
(2) 평가방법 및 평가환경
순번 | 평가항목(성능지표) | 평가방법 | 평가환경 |
1 | 소음 구분수 | 소음 구분 숫자 평가 5개 명시 2륜차(소형엔진), 대형엔진(대형차 미만), 경적음, 공사소음(함마드릴), 비명소리 시료 10sec 기준 50개 투입 후 평가 |
IEC 또는 평가기관 환경 기준 |
2 | 소음식별성능 | 작업자의 작업음을 비롯하여 작업환경 내 다양한 음원의 음 신호를 녹음하여 음원 신호 식별 프로그램에서 식별하고 식별율을 평가함. 실제 작업환경과 유사한 실험 공간에서 3개의 마이크로폰 모듈을 설치하고 중앙 부분에 위치한 작업자의 작업음과 다른 종류의 소음을 수회 측정하며 식별하고 식별율을 평가함. (실 적용 평가) 시료 10sec 기준 50개 투입 후 평가 |
IEC 또는 평가기관 환경 기준 |
3 | 소음원 위치 추정 오차 | 시제작한 마이크로폰 어레이 모듈의 빔 패턴을 실험적으로 얻어서 빔의 HPBW를 계산하여 평가함. 실제 작업환경과 유사한 실험 공간에서 3개의 마이크로폰 모듈을 설치하고 중앙 부분에 위치한 작업자의 위치를 수회 측정하며 추정하고 분산 오차를 평가함. 다양한 측정 조건과 위치에서 측정하고 추정 위치 분산도를 평가함. |
IEC 또는 평가기관 환경 기준 |
4 | Edge컴퓨팅 처리속도 | 10sec 음원 기준 Edge 단말단에서 음원식별 처리 속도 | IEC 또는 평가기관 환경 기준 |
5 | 음원 탐지 성능 @ 마이크로폰 어레이 모듈 (각도 분해능) | 시제작한 마이크로폰 어레이 모듈의 빔 패턴을 실험적으로 얻어서 빔의 HPBW를 계산하여 평가함. 잘 정의된 측정 공간에 마이크로폰 어레이 모듈을 설치하고, 평면파 전파 가정이 성립하도록 충분히 먼 거리에 단일 음원을 고정하여 빔 패턴을 측정함. 각도 조정을 위하여 마이크로폰 어레이에 회전 구조물과 각도 측정기를 고정 설치함. 음원의 주파수는 1 kHz, 음압레벨은 마이크로폰 측정 신호에서 잡음대비 40 dB 이상으로 하며 무지향성을 가져야 함. |
IEC 또는 평가기관 환경 기준 |
6 | ML Ops | 구글에서 정의한 ML Ops의 Level에 부합하는 특징으로 개발 되어 있고, 각각의 특징 기능들이 Pipeline을 통해 유기적으로 동작 되는 과정을 평가함. | 기능구현 확인, 평가기관 환경 기준 |
7 | 제품크기 | 300x200x30 미만 | 외부기관 확인 |
평가기관은 공인기관 또는 KOLAS 시험기관으로 외부기관에서 진행
두 번째 예시는 정성적 항목이 없습니다.
하나는 정성적 목표가 있고 하나는 정성적 목표가 없는데 이 차이는 기획자의 의지와 일치합니다. 만약 정성적 목표가 없다면 그것으로도 문제없습니다. 다만, 일반적으로 정성적 목표는 일반적으로 들어갑니다. 보통 특허, 논문 등이 해당됩니다.
(다음 포스팅에 이어서 계속)