
인공지능(AI) 파운데이션 모델 개발 및 파인튜닝 과정에서 고품질 한국어 코퍼스(Corpus) 확보가 사활적 과제로 떠오른 가운데, 합법적 라이선스를 기반으로 출판 도서 데이터를 도입할 수 있는 전용 마켓플레이스가 문을 열었다.
AI 데이터 솔루션 전문 기업 멘탯(대표 전병욱)은 인공지능 연구 및 개발 기업을 겨냥한 전용 도서 탐색·유통 플랫폼 ‘멘탯 디스커버리(Mentat Discovery)’를 정식 출시했다고 밝혔다. 이번 플랫폼은 생성형 AI 서비스 개발사가 프로젝트 목적에 부합하는 서적 데이터를 손쉽게 발굴하고, 권리 관계 검토부터 최종 라이선싱 체결까지 일괄 처리할 수 있도록 돕는 솔루션이다.
출판물 카테고리화와 투명한 '토큰 단위' 과금 체계 마련
현재 국내외 AI 업계는 고품질 텍스트 데이터의 고갈과 더불어 원작자 및 출판사와의 저작권 분쟁이라는 이중고를 겪고 있다. 멘탯 디스커버리는 이러한 기술 생태계의 병목 현상을 해소하기 위해 기획됐다.
플랫폼의 핵심 기능은 ▲주제·분야별 심층 카테고리 필터링 ▲토큰(Token) 기반 데이터 용량 표기 ▲도입 전 예상 비용 시뮬레이션 ▲세부 도서 목차 열람 및 라이선스 계약 자동 연계 등으로 구성된다.
특히 전통적인 도서 유통 기준인 '권(Volume)' 단위 과금 방식을 탈피하고, 대형언어모델(LLM)의 실질적 연산·학습 규격인 '토큰' 단위로 데이터 규모를 계량화한 점이 두드러진다. AI 엔지니어와 기획자는 개발하려는 모델의 컨텍스트 윈도우 크기와 예산 한도에 맞춰 필요한 분량과 소요 비용을 사전에 정밀하게 산정할 수 있다.
80억 토큰 규모의 검증된 데이터 풀…출판사 90여 곳과 공조 체계
멘탯 측에 따르면 현재 디스커버리 내에서 즉각 탐색 가능한 텍스트 규모는 약 80억 토큰에 달한다. 멘탯은 이미 국내 주요 출판사 90여 곳과 정식 저작권 이용 협약을 맺고 약 3만 4,000종 이상의 전문 서적에 대한 AI 학습용 라이선스를 선제적으로 확보했다.
기업이 멘탯 디스커버리를 통해 라이선스를 체결할 경우, 법적 분쟁 소지가 없는 클린 데이터만을 정식 승인 절차를 거쳐 공급받게 된다. 이는 무단 웹 크롤링이나 불법 복제 파일 기반 학습으로 발생할 수 있는 잠재적 법적 리스크를 원천적으로 방지하는 효과를 낳는다.
모델 사전학습(Pre-training)과 RAG 인용 파이프라인 맞춤형 2트랙 공급
확보된 데이터는 수요 기업의 서비스 아키텍처에 맞춰 두 가지 독립적인 방식으로 제공된다.
첫째는 파운데이션 모델 사전학습 및 지도미세조정(SFT)에 최적화된 '학습 데이터셋(JSONL 포맷)'공급이다. 정제와 전처리가 완료된 텍스트 파일을 즉각 학습 파이프라인에 주입할 수 있도록 지원한다.
둘째는 지식 검색 증강(RAG) 기반 챗봇 및 검색 엔진을 위한 '실시간 참조·인용 API'방식이다. AI가 답변을 도출하는 과정에서 연관된 도서의 문단과 구절을 실시간 검색해 인용하며, 답변 하단에 정확한 출처 정보를 병기할 수 있는 기술적 환경을 제공한다.
전병욱 멘탯 대표는 "글로벌 AI 경쟁력의 핵심은 정제된 고품질 지식 데이터의 합법적 확보에 있다"라며 "AI 테크 기업이 저작권 우려 없이 신뢰도 높은 도서를 활용할 수 있는 통로를 열어주는 동시에, 책이 AI 생태계에 기여한 만큼 그 가치가 창작자와 출판업계로 환원되는 건전한 선순환 비즈니스 모델을 확장해 나갈 것"이라고 강조했다.
생성형 AI 시대가 성숙기에 접어들며 '합법적인 고품질 데이터의 공급망 확보'가 국가 인공지능 경쟁력을 좌우하는 핵심 축으로 부상했다. 멘탯 디스커버리의 출범은 기술 기업에는 투명한 데이터 조달 창구를, 출판계에는 새로운 디지털 부가가치 창출 통로를 제시하며 AI 데이터 유통 표준화의 마중물이 될 것으로 전망된다.















