사전 과제 1 · 연구보고서 초안

판례 온톨로지 구축 및 평가

작성자 김소정   제출일 2026-11-22

연구 목적

온톨로지 제공에 따른 답변 정확도 변화와 두 구축 방법의 개선 효과를 확인한다.

01 평가 기준

정의
좋은 온톨로지는 판례의 개념과 관계를 정확히 표현하여, LLM이 판례를 해석하고 정확한 답변을 생성하는 데 도움이 되는 구조로 정의했다.
선택 이유
구조가 올바르더라도 LLM의 답변이 더 정확해지는 것은 아니다. 따라서 구조의 적절성과 LLM 답변 정확도 변화를 함께 평가한다. 정답 온톨로지가 없어 구조는 논리 검사와 평가 질문의 표현 가능성으로 검토한다.
측정
구조의 적절성개념·관계·문맥의 표현과 논리적 일관성파일·논리 검사, 평가 질문의 표현 가능성 검토
LLM 답변 정확도같은 원문에서 온톨로지 추가에 따른 LLM 답변 정확도 변화온톨로지 포함(C) − 원문만 제공(B)의 정확도
미사용 판례 적용구축에 사용하지 않은 판례에서의 효과구축 미사용 판례 20건의 결과 분리 집계
문헌 근거
  • LLM-Driven Ontology Construction for Enterprise Knowledge Graphs [1]정답 트리플과의 일치적용: 온톨로지 구축 절차를 베이스라인으로 사용
  • Navigating Ontology Development with Large Language Models [2]질문에 대응하는 질의의 작성 가능성적용: 평가 질문의 표현 가능성 검사
  • Large Language Models Assisting Ontology Evaluation [3]LLM 판정과 사람의 기준 판정 비교적용: LLM 기반 스키마 CQ 충족 여부 평가 방식 참고
  • From human experts to machines: An LLM supported approach to ontology and knowledge graph construction [4]전문가 검토 질문·사람 작성 정답으로 평가적용: LLM 기반 CQ 생성 및 답변 평가 방식 적용
범위
SPARQL 검증·전문가 정답 구축은 수행하지 않는다. 미사용 판례 결과는 탐색적으로 해석한다.

02 베이스라인과 한계

방법
OntoEKG의 공개 코드와 프롬프트 사용 [1]
선정 이유
추출과 계층 판단이 분리되어 있어 단계별 변경 효과를 비교할 수 있음.
조건
구축 사용 판례 80건 · GPT-6 Luna · 한글 온톨로지 구축·평가. 원논문의 성능 재현과는 구분.
구축 절차
  1. 판례 입력 — 구축 사용 판례 80건을 연결
  2. 개념·속성 추출 — 클래스·설명·속성 생성
  3. 계층 판단 — 클래스 설명으로 포함 관계 판단
  4. 결과 통합 — 온톨로지 파일로 저장
한계·대응
원문 문맥 누락계층 판단에 원문 대신 생성된 클래스 설명만 사용대응: 원문 근거 추가
계층 관계 불일치클래스별 판단을 독립적으로 생성한 뒤 통합대응: 순환 관련 계층 재검토
개념 누락·속성 참조 불일치여러 판례를 함께 추출하며 속성 참조 이름을 출력 형식으로 강제하지 않음대응: 직접 수정 대상에서 제외
예시
회사 ⊆ 조직, 조직 ⊆ 회사가 함께 생성되는 경우(가정). 의도하지 않은 동치 여부를 의미상 검토해야 함.
분석 범위
코드 검토에서 예상한 한계. 실제 발생 여부와 빈도는 평가 결과로 확인.

03 개선 방법

실험 1 · 원문 근거 추가

문제
요약된 클래스 설명에서 판례 문맥이 빠질 수 있음
변경
클래스 설명에 관련 판례 구간을 추가해 계층 판단
유지
베이스라인의 클래스·속성·설명
기대 효과
근거가 부족한 관계 감소
한계
검색 잡음과 사건 맥락의 과도한 일반화 가능

실험 2 · 세 계층안 통합

문제
개별 계층 판단의 단순 통합만으로는 대안 간 누락·과잉 연결·방향 불일치를 함께 검토하기 어려움
변경
동일한 클래스·속성·설명에서 계층안 3개를 독립 생성한 뒤, 설명과 세 안을 함께 제공해 최종 계층을 통합 판단
유지
베이스라인의 한글 클래스·속성·설명, 계층 판단 모델, 평가 CQ·채점 기준
문헌 근거
[2]의 GoT: 세 온톨로지 대안을 통합하는 발상을 계층 구성 단계에 한정해 적용. 원논문 전체 절차의 재현은 아님
기대 효과
대안들의 관계와 근거를 비교해 누락·과잉 연결·방향 오류를 줄일 가능성
한계
세 안이 같은 결과를 낼 수 있으며, 통합으로 의미적 정확성이 보장되지는 않음. 후보 생성과 통합이 함께 바뀌므로 통합 단계만의 효과로 분리해 해석할 수 없음

04 평가 설계

평가 질문
판례 원문에서 평가 질문(CQ)과 채점표를 생성·검토한 뒤 고정.
대상·범위
베이스라인·실험 1·실험 2를 동일한 판례별 1문항 표본(95문항)으로 평가. 온톨로지 구축에는 구축 사용 판례 80건, CQ 원본 생성에는 판례 100건을 사용했으며, 검수 통과 CQ가 있는 95건에서 각 1문항을 고정 추출해 재사용.
모델·반복
GPT-6 Luna · 온톨로지별 구축 1회 · 문항별 답변 2회 · 각 답변 채점 1회.
입력 조건
입력ABCD
질문제공제공제공제공
판례 원문—제공제공—
온톨로지——제공제공
채점
원문과 고정 채점표로 의미를 판정. 필수 정보·문맥·개별 주장이 모두 정확해야 정답.
주 지표
C 정확도 − B 정확도같은 판례 원문에 온톨로지를 더했을 때의 LLM 답변 정확도 변화(%p).
개선 효과
각 개선 방법의 C−B에서 베이스라인의 C−B를 뺀 값.
세부 지표
내용 정확성정답으로 판정된 답변의 비율
필수 정보 충족률필수 답변 요소를 정확히 포함한 비율
문맥·관계 정확성주체·주장과 판단·심급·시점·조건을 올바르게 구분한 비율
근거 없는 주장 비율원문과 모순되거나 뒷받침되지 않는 주장의 비율 · 낮을수록 좋음
세부 평가 절차 및 조건 간 비교
  • 온톨로지는 조건별로 한 번 구축한다. 각 문항의 A/B/C/D 답변을 두 번 생성하고 각각 한 번 채점한다. 같은 답변을 두 번 채점하는 것이 아니다. 답변의 조건명을 숨기고 순서를 바꾸지만, 이것만으로 평가 편향이 사라지는 것은 아니다.
  • A 답변은 같은 문항·회차에서 온톨로지 간 공유하고, B/C/D는 조건별로 생성한다. 따라서 방법 간 차이에는 B 답변의 생성 변동도 포함될 수 있다. 최대 3문항을 병렬 처리한다.
  • CQ는 참여자·역할, 청구 관계, 쟁점·사실, 주장·판단, 이유·결론, 심급·주체, 시점·조건, 인용 법령·판례의 목적을 다룬다. 판례당 문항 수는 고정하지 않으며, 검증 실패로 빠진 범위도 보고한다. CQ 자체의 근거 인용 검사는 문자열로 확인하지만 답변 채점은 의미를 판단한다.
  • 스키마 검사는 RDF 파싱, OWL 추론기(HermiT)의 일관성·만족 불가능 클래스, CQ 표현 가능성 판정으로 구성한다. ‘판단 불가’는 성공으로 세지 않는다. 필수 요소·문맥·주장의 비율은 해당 항목의 분자와 분모를 합산하며, 분모가 없으면 0이 아니라 미정(null)으로 기록한다. 판례별 CQ 수가 달라 전체 점수의 비중도 달라질 수 있다.
비교의미
C−B같은 원문에 온톨로지 추가 · 주 지표
D−A원문 없이 온톨로지 추가
B−A온톨로지 없이 원문 추가
C−D같은 온톨로지에 원문 추가
C−A원문과 온톨로지를 함께 추가
D−B원문을 온톨로지로 대체 · 순수 추가 효과가 아님
  • 정확도 = 정답 판정 수 ÷ (공통 CQ 수 × 2). 온톨로지 추가 효과는 이 정확도 차이에 100을 곱해 %p로 표시한다.

05 결과와 사례

내부 품질
방법클래스 / 속성 / 계층RDF 파싱 / 논리 일관성스키마 CQ 충족률
베이스라인51 / 51 / 11성공 / 일관적0.00%
실험 1 · 원문 근거 추가51 / 51 / 17성공 / 일관적0.00%
실험 2 · 세 계층안 통합51 / 51 / 6성공 / 일관적0.00%

스키마 CQ 충족률은 LLM이 온톨로지 구조를 해석해 판정한 값으로, 0%에는 온톨로지의 표현 부족뿐 아니라 LLM의 해석 한계도 영향을 미쳤을 수 있다.

답변 정확도
구축 방법A (%)B (%)C (%)D (%)C−B (%p)
베이스라인0.0086.3280.530.00-5.79
실험 1 · 원문 근거 추가0.0085.7986.840.00+1.05
실험 2 · 세 계층안 통합0.0086.8484.210.00-2.63
추가 효과
구축 방법C−B (%p)베이스라인 대비 변화 (%p)
베이스라인-5.79기준
실험 1 · 원문 근거 추가+1.05+6.84
실험 2 · 세 계층안 통합-2.63+3.16

C−B: 온톨로지 추가 효과. 베이스라인 대비 변화: 각 실험의 C−B − 베이스라인의 C−B.

결과 해석
판단
현재 결과만으로는 LLM 답변 성능에 도움이 되는 온톨로지라고 할 수 없다.
근거
온톨로지 추가 효과(C−B)는 베이스라인 −5.79%p, 실험 1 +1.05%p, 실험 2 −2.63%p였다. 실험 1의 상승은 정답 2개 증가에 해당하며, 일관된 개선으로 이어지지 않았다.
한계
베이스라인 대비 개선과 B 대비 성능 향상은 구분해야 한다. 구축 1회·답변 2회의 결과이며, 독립 반복 구축에서의 재현성과 통계적 유의성은 확인하지 않았다.
관계 변화
계층: 하위 → 상위 · 속성: 주체 → 대상
베이스라인전체 · 51 클래스
G 법원 법원 소송사건 소송사건 법원->소송사건 심리한다 판결 판결 법원->판결 판결한다 소송당사자 소송당사자 소송당사자->소송사건 당사자가된다 청구 청구 소송당사자->청구 제기한다 계약 계약 소송당사자->계약 체결한다 세금 세금 소송당사자->세금 납부한다 부동산 부동산 소송당사자->부동산 소유한다 상표 상표 소송당사자->상표 소유한다 특허발명 특허발명 소송당사자->특허발명 출원한다 보험계약 보험계약 소송당사자->보험계약 체결한다 사실혼 사실혼 소송당사자->사실혼 형성된다 친생자관계 친생자관계 소송당사자->친생자관계 부모가된다 정치자금 정치자금 소송당사자->정치자금 제공한다 범죄 범죄 소송당사자->범죄 저지른다 판결->소송사건 해결한다 행정처분 행정처분 청구->행정처분 판단대상이다 행정청 행정청 행정청->행정처분 발령한다 세금부과처분 세금부과처분 행정청->세금부과처분 부과한다 시험 시험 행정청->시험 실시한다 행정처분->소송당사자 대상으로한다 법령 법령 행정처분->법령 근거로한다 행정처분->세금부과처분 하위 → 상위 납세의무 납세의무 계약->납세의무 발생시킨다 계약->보험계약 하위 → 상위 증거자료 증거자료 증거자료->청구 뒷받침한다 법인 법인 주식 주식 법인->주식 발행한다 근로자 근로자 노동조합 노동조합 근로자->노동조합 소속된다 승진 승진 근로자->승진 승진대상이다 육아휴직 육아휴직 근로자->육아휴직 사용한다 차별 차별 근로자->차별 차별받는다 산업재해 산업재해 근로자->산업재해 입는다 사용자 사용자 사용자->근로자 고용한다 인사평가 인사평가 사용자->인사평가 평가한다 사용자->승진 추천한다 조합 조합 노동조합->조합 하위 → 상위 인사평가->근로자 평가대상이다 납세의무->세금 이행한다 세금부과처분->행정처분 하위 → 상위 세금부과처분->납세의무 대상이다 주주 주주 주주->주식 소유한다 재건축사업 재건축사업 재건축사업->부동산 포함된다 조합->노동조합 하위 → 상위 조합->재건축사업 시행한다 구분소유자 구분소유자 조합->구분소유자 구성된다 상품 상품 상표->상품 사용된다 보험계약->계약 하위 → 상위 보험자 보험자 보험자->법인 하위 → 상위 보험자->보험계약 인수한다 손해배상채권 손해배상채권 보험자->손해배상채권 지급한다 피해자 피해자 교통사고 교통사고 피해자->교통사고 입는다 교통사고->손해배상채권 발생시킨다 가족관계 가족관계 혼인관계 혼인관계 가족관계->혼인관계 구성된다 혼인관계->가족관계 하위 → 상위 친생자관계->가족관계 하위 → 상위 의료기관 의료기관 환자 환자 의료기관->환자 치료한다 수입물품 수입물품 수입물품->상품 하위 → 상위 관세 관세 수입물품->관세 과세된다 추천서 추천서 수입물품->추천서 추천받는다 관세->세금 하위 → 상위 선박 선박 담보권 담보권 담보권->부동산 담보로삼는다 담보권->선박 담보로삼는다 응시자 응시자 응시자->시험 응시한다
실험 1 · 원문 근거 추가전체 · 51 클래스
G 법원 법원 소송사건 소송사건 법원->소송사건 심리한다 판결 판결 법원->판결 판결한다 소송당사자 소송당사자 소송당사자->소송사건 당사자가된다 청구 청구 소송당사자->청구 제기한다 계약 계약 소송당사자->계약 체결한다 세금 세금 소송당사자->세금 납부한다 부동산 부동산 소송당사자->부동산 소유한다 상표 상표 소송당사자->상표 소유한다 특허발명 특허발명 소송당사자->특허발명 출원한다 보험계약 보험계약 소송당사자->보험계약 체결한다 사실혼 사실혼 소송당사자->사실혼 형성된다 친생자관계 친생자관계 소송당사자->친생자관계 부모가된다 정치자금 정치자금 소송당사자->정치자금 제공한다 범죄 범죄 소송당사자->범죄 저지른다 판결->소송사건 해결한다 행정처분 행정처분 청구->행정처분 판단대상이다 행정청 행정청 행정청->행정처분 발령한다 세금부과처분 세금부과처분 행정청->세금부과처분 부과한다 시험 시험 행정청->시험 실시한다 행정처분->소송당사자 대상으로한다 법령 법령 행정처분->법령 근거로한다 행정처분->세금부과처분 하위 → 상위 납세의무 납세의무 계약->납세의무 발생시킨다 계약->보험계약 하위 → 상위 증거자료 증거자료 증거자료->청구 뒷받침한다 법인 법인 주식 주식 법인->주식 발행한다 근로자 근로자 노동조합 노동조합 근로자->노동조합 소속된다 승진 승진 근로자->승진 승진대상이다 육아휴직 육아휴직 근로자->육아휴직 사용한다 차별 차별 근로자->차별 차별받는다 산업재해 산업재해 근로자->산업재해 입는다 사용자 사용자 사용자->근로자 고용한다 인사평가 인사평가 사용자->인사평가 평가한다 사용자->승진 추천한다 조합 조합 노동조합->조합 하위 → 상위 인사평가->근로자 평가대상이다 납세의무->세금 이행한다 관세 관세 세금->관세 하위 → 상위 세금부과처분->행정처분 하위 → 상위 세금부과처분->납세의무 대상이다 주주 주주 주주->주식 소유한다 재건축사업 재건축사업 재건축사업->부동산 포함된다 조합->노동조합 하위 → 상위 조합->재건축사업 시행한다 구분소유자 구분소유자 조합->구분소유자 구성된다 상품 상품 상표->상품 사용된다 수입물품 수입물품 상품->수입물품 하위 → 상위 보험계약->계약 하위 → 상위 보험자 보험자 보험자->보험계약 인수한다 손해배상채권 손해배상채권 보험자->손해배상채권 지급한다 피해자 피해자 교통사고 교통사고 피해자->교통사고 입는다 교통사고->손해배상채권 발생시킨다 가족관계 가족관계 혼인관계 혼인관계 가족관계->혼인관계 구성된다 가족관계->혼인관계 하위 → 상위 가족관계->사실혼 하위 → 상위 가족관계->친생자관계 하위 → 상위 혼인관계->가족관계 하위 → 상위 사실혼->가족관계 하위 → 상위 친생자관계->가족관계 하위 → 상위 의료기관 의료기관 환자 환자 의료기관->환자 치료한다 수입물품->상품 하위 → 상위 수입물품->관세 과세된다 추천서 추천서 수입물품->추천서 추천받는다 관세->세금 하위 → 상위 추천서->증거자료 하위 → 상위 선박 선박 담보권 담보권 담보권->부동산 담보로삼는다 담보권->선박 담보로삼는다 응시자 응시자 응시자->시험 응시한다
실험 2 · 세 계층안 통합전체 · 51 클래스
G 법원 법원 소송사건 소송사건 법원->소송사건 심리한다 판결 판결 법원->판결 판결한다 소송당사자 소송당사자 소송당사자->소송사건 당사자가된다 청구 청구 소송당사자->청구 제기한다 계약 계약 소송당사자->계약 체결한다 세금 세금 소송당사자->세금 납부한다 부동산 부동산 소송당사자->부동산 소유한다 상표 상표 소송당사자->상표 소유한다 특허발명 특허발명 소송당사자->특허발명 출원한다 보험계약 보험계약 소송당사자->보험계약 체결한다 사실혼 사실혼 소송당사자->사실혼 형성된다 친생자관계 친생자관계 소송당사자->친생자관계 부모가된다 정치자금 정치자금 소송당사자->정치자금 제공한다 범죄 범죄 소송당사자->범죄 저지른다 판결->소송사건 해결한다 행정처분 행정처분 청구->행정처분 판단대상이다 행정청 행정청 행정청->행정처분 발령한다 세금부과처분 세금부과처분 행정청->세금부과처분 부과한다 시험 시험 행정청->시험 실시한다 행정처분->소송당사자 대상으로한다 법령 법령 행정처분->법령 근거로한다 납세의무 납세의무 계약->납세의무 발생시킨다 증거자료 증거자료 증거자료->청구 뒷받침한다 법인 법인 주식 주식 법인->주식 발행한다 근로자 근로자 노동조합 노동조합 근로자->노동조합 소속된다 승진 승진 근로자->승진 승진대상이다 육아휴직 육아휴직 근로자->육아휴직 사용한다 차별 차별 근로자->차별 차별받는다 산업재해 산업재해 근로자->산업재해 입는다 사용자 사용자 사용자->근로자 고용한다 인사평가 인사평가 사용자->인사평가 평가한다 사용자->승진 추천한다 조합 조합 노동조합->조합 하위 → 상위 인사평가->근로자 평가대상이다 납세의무->세금 이행한다 세금부과처분->행정처분 하위 → 상위 세금부과처분->납세의무 대상이다 주주 주주 주주->주식 소유한다 재건축사업 재건축사업 재건축사업->부동산 포함된다 조합->재건축사업 시행한다 구분소유자 구분소유자 조합->구분소유자 구성된다 상품 상품 상표->상품 사용된다 보험계약->계약 하위 → 상위 보험자 보험자 보험자->보험계약 인수한다 손해배상채권 손해배상채권 보험자->손해배상채권 지급한다 피해자 피해자 교통사고 교통사고 피해자->교통사고 입는다 교통사고->손해배상채권 발생시킨다 가족관계 가족관계 혼인관계 혼인관계 가족관계->혼인관계 구성된다 혼인관계->가족관계 하위 → 상위 친생자관계->가족관계 하위 → 상위 의료기관 의료기관 환자 환자 의료기관->환자 치료한다 수입물품 수입물품 관세 관세 수입물품->관세 과세된다 추천서 추천서 수입물품->추천서 추천받는다 관세->세금 하위 → 상위 선박 선박 담보권 담보권 담보권->부동산 담보로삼는다 담보권->선박 담보로삼는다 응시자 응시자 응시자->시험 응시한다

클래스를 누르면 창이 닫히고 세 방법의 확대 비교가 갱신됩니다.

답변 사례

B: 원문만 · C: 원문 + 온톨로지.

사례B → C핵심 차이상세
개선오답 → 정답누락 정보 보완
악화정답 → 오답청구 대상 연도 오류
변화 없음정답 → 정답표현 차이 · 판정 동일
사례 해석
관찰
개선·악화·변화 없음이 함께 나타났다.
해석
개별 개선 사례만으로 온톨로지의 전반적인 유용성을 판단할 수 없다.
세부 결과표 · 내부 품질, 네 지표, 반복·구축 사용/미사용 판례

평가 범위

온톨로지 구축에 사용한 판례 80건의 77문항과 사용하지 않은 판례 20건의 18문항을 평가했다.

총 95문항에 대해 각 문항의 답변을 2회 생성했다.

답변의 세부 지표 (%)

방법입력내용 정확성필수 정보문맥·관계근거 없는 주장
베이스라인A0.001.4828.3391.33
베이스라인B86.3296.5696.250.32
베이스라인C80.5395.9096.251.11
베이스라인D0.000.6627.0896.85
실험 1 · 원문 근거 추가A0.001.3126.6792.17
실험 1 · 원문 근거 추가B85.7996.2396.670.40
실험 1 · 원문 근거 추가C86.8496.3997.920.62
실험 1 · 원문 근거 추가D0.000.3325.8399.05
실험 2 · 세 계층안 통합A0.001.4826.6791.64
실험 2 · 세 계층안 통합B86.8496.7296.250.49
실험 2 · 세 계층안 통합C84.2196.7296.670.96
실험 2 · 세 계층안 통합D0.000.0024.1798.85

C−B의 회차·판례별 차이 (%p)

방법1회차2회차구축 사용 · 77문항구축 미사용 · 18문항
베이스라인-4.21-7.37-7.14+0.00
실험 1 · 원문 근거 추가+0.00+2.11+0.65+2.78
실험 2 · 세 계층안 통합-1.05-4.21-1.95-5.56

06 해석과 한계

결과 해석

현재 결과만으로는 LLM 답변 성능에 도움이 되는 온톨로지라고 할 수 없다.

해석의 한계

한계이유결과를 볼 때
LLM의 온톨로지 해석클래스·관계를 형식화한 온톨로지를 LLM에 입력해 평가.낮은 성능이 온톨로지의 문제인지, LLM의 해석·활용 한계인지 구분하기 어려움.
스키마 CQ의 검증 방식SPARQL 검증 대신, LLM이 온톨로지 구조를 해석해 CQ 충족 여부를 판정.온톨로지의 표현 부족과 LLM의 해석 한계를 구분하기 어려움.
LLM 채점의 오류질문·답변·채점을 같은 모델이 담당. 전문가 검증은 없음.채점 결과에도 오류가 있을 수 있음.
구축은 한 번만온톨로지는 한 번 구축하고, 답변만 두 번 생성.다시 구축해도 같은 결과가 나올지는 미확인.

07 후속 실험

해석의 한계대응 후속 실험
LLM의 온톨로지 해석

온톨로지 활용 방식 비교

핵심 방향
후속 연구에서는 구축한 온톨로지를 판례 문서의 구조화 기준으로 활용한다. OG-RAG처럼 온톨로지를 기준으로 문서 속 정보를 정리하고, 그중 질문에 답하는 데 필요한 내용만 골라 LLM에 제공하는 방식을 참고한다.[5]
입력 전환
기존 입력
판례 원문 전체 + 구축한 온톨로지LLM 답변 생성
변경 입력
판례 원문 전체 + 구축한 온톨로지 (온톨로지 기반 문서 구조화) 구조화된 문서 (질문에 필요한 근거 검색) LLM 답변 생성
검증 계획
공통 조건
같은 판례·CQ·답변 모델을 사용한다.
구조화 효과
원문만 / 원문+온톨로지 / 구조화 문서 입력을 비교한다.
검색 효과
질문별 근거 검색을 적용하고, 같은 입력 길이 한도에서 일반 문서 검색과 비교한다.
평가 지표
내부 품질 · 답변 정확도 · 입력 토큰 수·비용
스키마 CQ의 검증 방식

CQ 표현 가능성 검증

실험
사람이 CQ별 SPARQL 질의의 작성 가능성을 검토한다. 실행 검증에는 테스트 사실과 기대 답을 마련하고, 기존 LLM 판정과 비교한다.
확인
CQ별 표현 가능 여부와 LLM 판정의 일치·불일치.
LLM 채점의 오류

독립 채점·전문가 검토

실험
같은 답변과 채점표를 다른 모델로 재채점하고, 전문가가 표본을 검토한다. 불일치 항목의 오판 사유를 확인한다.
확인
채점 일치율과 오판 유형, 재채점 후 방법별 성능 차이.
구축은 한 번만

온톨로지 반복 구축

실험
같은 문서·모델·구축 설정으로 온톨로지를 여러 번 새로 구축하고, 고정한 CQ로 각 결과를 평가한다.
확인
구조·내부 품질·답변 정확도의 평균과 변동.

참고문헌

  1. Oyewale, A. & Soru, T. (2026). LLM-Driven Ontology Construction for Enterprise Knowledge Graphs. ICSC 2026. 코드.
  2. Saeedizade, M. J. & Blomqvist, E. (2024). Navigating Ontology Development with Large Language Models. ESWC 2024, 143–161.
  3. Lippolis, A. S., et al. (2025). Large Language Models Assisting Ontology Evaluation. ISWC 2025, 502–520. DOI.
  4. Kommineni, V. K., König-Ries, B. & Samuel, S. (2024). From human experts to machines: An LLM supported approach to ontology and knowledge graph construction. arXiv:2403.08345, v1.
  5. Sharma, K., Kumar, P. & Li, Y. (2025). OG-RAG: Ontology-grounded retrieval-augmented generation for large language models. EMNLP 2025, 32962–32981. 코드.