KULLM: Korea University Large Language Model
KULLM(구름)은 고려대학교 NLP & AI 연구실과 HIAI 연구원이 개발한 한국어 Large Language Model (LLM) 입니다.
KULLM(구름)에 대한 더 자세한 내용은 kullm.ai에서 확인하실 수 있습니다.
연구배경
- Leaderboard 순위 및 벤치마크 점수가 ‘말을 잘 하는’ 것을 보장하지 못함
- OpenKo-LLM Leaderboard 순위 = 좋은 모델 순위
- 리더보드용 모델을 제작, 두 평가항목에서 1위
(2024년 2월 19일 기준, 등록된 모델 약 900개) - 하지만 벤치마크형 리더보드가 모델을 잘 평가하지 못한다는 것이 주류 의견
License
- Apache License 2.0
Base Model
- Upstage/SOLAR-10.7B-v1.0
• Empathetic KULLM
• KULLM v3
• 기술 이전 실적
Uracle
(주)유라클
Athena sLLM의 LLM에 KULLM 기술 이전
Athena sLLM: 고성능 한국어 sLLM을 기반으로 한 RAG 기술, 그리고 모바일 플랫폼 구축/운영 경험에서 비롯된 운영 자동화 역량을 결합하여 고객 맞춤형 AI 솔루션을 제공
O2O
(주)에이아이오투오
KULLM 기술 이전 및 이를 이용한 의료 상담 서비스 개발
카멜챗봇: 외부 데이터를 활용하여 정확한 정보를 제공하며 지속적인 데이터 품질 관리가 가능한 AI 챗봇
GaonPlatform
(주)가온플랫폼
KULLM 기술 이전 및 수자원관리 영역 예지보전 상업화 시스템 개발
프로세스 플랜트: 4차 산업혁명 인공지능 기술을 기반으로 에너지 플랜트의 설비 상태감시 및 설비 고장예방 솔루션 가치를 제공하여 플랜트의 비계획 정지를 예방하고 지능형 예지보전을 위한 의사결정 정보를 제공
Hyundai Motor Company
(주)현대자동차
KULLM 기술 이전
EASE: 질의와 관련이 없는 테이블 정보가 포함된 Noisy multi-table QA 상황에서도 강건하게 답변을 생성하는 LLM기반 다중 테이블 질의응답 프레임워크
• Open Ko-LLM LeaderBoard
한국지능정보사회진흥원(NIA)와 업스테이지에 참여하여 한국어 언어 모델의 성능을 평가하고 비교할 수 있는 리더보드에서 KULLM이 개발한 리더보드용 모델이 2개 평가항목에서 1위를 차지하였습니다.
• KULLM3 대화 성능 평가 결과
- 평가
- 모델: GPT-4 Turbo(gpt-4-0125-preview) 사용
- 데이터셋: yizhongw/self-instruct의 휴먼 평가 데이터셋인 user_oriented_instruction.json을 Deepl로 번역한 데이터 셋을 사용
- 주어진 Prompt 데이터에 대한 모델이 응답을 생성하고, 그 응답을 Open AI API를 사용하여 평가하는 방식
- 해당 평가 결과는 Repo에서 재현 가능
• KULLM3 대화 예시
