사전 과제 1 · 연구보고서 초안

판례 온톨로지 구축 및 평가

원문 근거와 계층 재검토의 효과 비교

작성자   제출일

연구 목적

온톨로지 제공에 따른 답변 정확도 변화와 두 구축 방법의 개선 효과를 확인한다.

초안 · 평가 결과 미기입

01 평가 기준

정의
좋은 온톨로지는 판례의 개념과 관계를 정확히 표현하여, LLM이 판례를 해석하고 정확한 답변을 생성하는 데 도움이 되는 구조로 정의했다.
선택 이유
구조가 올바르더라도 LLM의 답변이 더 정확해지는 것은 아니다. 따라서 구조의 적절성과 LLM 답변 정확도 변화를 함께 평가한다. 정답 온톨로지가 없어 구조는 논리 검사와 평가 질문의 표현 가능성으로 검토한다.
측정
구조의 적절성개념·관계·문맥의 표현과 논리적 일관성파일·논리 검사, 평가 질문의 표현 가능성 검토
LLM 답변 정확도같은 원문에서 온톨로지 추가에 따른 LLM 답변 정확도 변화온톨로지 포함(C) − 원문만 제공(B)의 정확도
미사용 판례 적용구축에 사용하지 않은 판례에서의 효과보류 판례 20건의 결과 분리 집계
문헌 근거
  • LLM-Driven Ontology Construction for Enterprise Knowledge Graphs [1]정답 트리플과의 일치적용: 공개 구축 절차를 베이스라인으로 사용
  • Navigating Ontology Development with Large Language Models [2]질문에 대응하는 질의의 작성 가능성적용: 평가 질문의 표현 가능성 검사
  • Large Language Models Assisting Ontology Evaluation [3]LLM 판정과 사람의 기준 판정 비교적용: 판정 이유를 기록하고 평가 오류를 검토
  • From human experts to machines: An LLM supported approach to ontology and knowledge graph construction [4]전문가 검토 질문·사람 작성 정답으로 평가적용: 원문 근거와 사전 채점표 활용
범위
SPARQL 검증·전문가 정답 구축은 수행하지 않는다. 미사용 판례 결과는 탐색적으로 해석한다.

02 베이스라인과 한계

방법
OntoEKG의 공개 코드와 프롬프트 사용 [1]
선정 이유
추출과 계층 판단이 분리되어 있어 단계별 변경 효과를 비교할 수 있음.
조건
개발 판례 80건 · GPT-6 Luna · 한글 온톨로지 구축·평가. 원논문의 성능 재현과는 구분.
구축 절차
  1. 판례 입력 — 개발 판례 80건을 연결
  2. 개념·속성 추출 — 클래스·설명·속성 생성
  3. 계층 판단 — 클래스 설명으로 포함 관계 판단
  4. 결과 통합 — 온톨로지 파일로 저장
한계·대응
원문 문맥 누락계층 판단에 원문 대신 생성된 클래스 설명만 사용대응: 원문 근거 추가
계층 관계 불일치클래스별 판단을 독립적으로 생성한 뒤 통합대응: 순환 관련 계층 재검토
개념 누락·속성 참조 불일치여러 판례를 함께 추출하며 속성 참조 이름을 출력 형식으로 강제하지 않음대응: 직접 수정 대상에서 제외
예시
회사 ⊆ 조직, 조직 ⊆ 회사가 함께 생성되는 경우(가정). 의도하지 않은 동치 여부를 의미상 검토해야 함.
분석 범위
코드 검토에서 예상한 한계. 실제 발생 여부와 빈도는 평가 결과로 확인.

03 개선 방법

두 방법은 베이스라인과 각각 비교한다. 추출 결과를 공유하며, 두 개선을 결합하지 않는다.

실험 1 · 원문 근거 추가

문제
요약된 클래스 설명에서 판례 문맥이 빠질 수 있음
변경
클래스 설명에 관련 판례 구간을 추가해 계층 판단
유지
베이스라인의 클래스·속성·설명
기대 효과
근거가 부족한 관계 감소
한계
검색 잡음과 사건 맥락의 과도한 일반화 가능

실험 2 · 세 계층안 통합

문제
개별 계층 판단의 단순 통합만으로는 대안 간 누락·과잉 연결·방향 불일치를 함께 검토하기 어려움
변경
동일한 클래스·속성·설명에서 계층안 3개를 독립 생성한 뒤, 설명과 세 안을 함께 제공해 최종 계층을 통합 판단
유지
베이스라인의 한글 클래스·속성·설명, 계층 판단 모델, 평가 CQ·채점 기준
문헌 근거
[2]의 GoT: 세 온톨로지 대안을 통합하는 발상을 계층 구성 단계에 한정해 적용. 원논문 전체 절차의 재현은 아님
기대 효과
대안들의 관계와 근거를 비교해 누락·과잉 연결·방향 오류를 줄일 가능성
한계
세 안이 같은 결과를 낼 수 있으며, 통합으로 의미적 정확성이 보장되지는 않음. 후보 생성과 통합이 함께 바뀌므로 통합 단계만의 효과로 분리해 해석할 수 없음

기대 효과는 검증할 가설이다. 실제 개선 여부는 뒤의 평가 설계으로 확인한다.

04 평가 설계

평가 질문
판례 원문에서 평가 질문(CQ)과 채점표를 생성·검토한 뒤 고정.
대상·범위
베이스라인·실험 1·실험 2를 동일한 판례별 1문항 표본(90문항)으로 평가. 온톨로지 구축에는 개발 판례 80건, CQ 원본 생성에는 판례 100건을 사용했으며, 검수 통과 CQ가 있는 90건에서 각 1문항을 고정 추출해 재사용.
모델·반복
GPT-6 Luna · 온톨로지별 구축 1회 · 문항별 답변 2회 · 각 답변 채점 1회.
입력 조건
입력ABCD
질문제공제공제공제공
판례 원문—제공제공—
온톨로지——제공제공
채점
원문과 고정 채점표로 의미를 판정. 필수 정보·문맥·개별 주장이 모두 정확해야 정답.
주 지표
C 정확도 − B 정확도같은 판례 원문에 온톨로지를 더했을 때의 LLM 답변 정확도 변화(%p).
개선 효과
각 개선 방법의 C−B에서 베이스라인의 C−B를 뺀 값.
세부 지표
내용 정확성정답으로 판정된 답변의 비율
필수 정보 충족률필수 답변 요소를 정확히 포함한 비율
문맥·관계 정확성주체·주장과 판단·심급·시점·조건을 올바르게 구분한 비율
근거 없는 주장 비율원문과 모순되거나 뒷받침되지 않는 주장의 비율 · 낮을수록 좋음
세부 평가 절차 및 조건 간 비교
  • 온톨로지는 조건별로 한 번 구축한다. 각 문항의 A/B/C/D 답변을 두 번 생성하고 각각 한 번 채점한다. 같은 답변을 두 번 채점하는 것이 아니다. 답변의 조건명을 숨기고 순서를 바꾸지만, 이것만으로 평가 편향이 사라지는 것은 아니다.
  • A 답변은 같은 문항·회차에서 온톨로지 간 공유하고, B/C/D는 조건별로 생성한다. 따라서 방법 간 차이에는 B 답변의 생성 변동도 포함될 수 있다. 최대 3문항을 병렬 처리한다.
  • CQ는 참여자·역할, 청구 관계, 쟁점·사실, 주장·판단, 이유·결론, 심급·주체, 시점·조건, 인용 법령·판례의 목적을 다룬다. 판례당 문항 수는 고정하지 않으며, 검증 실패로 빠진 범위도 보고한다. CQ 자체의 근거 인용 검사는 문자열로 확인하지만 답변 채점은 의미를 판단한다.
  • 스키마 검사는 RDF 파싱, OWL 추론기(HermiT)의 일관성·만족 불가능 클래스, CQ 표현 가능성 판정으로 구성한다. ‘판단 불가’는 성공으로 세지 않는다. 필수 요소·문맥·주장의 비율은 해당 항목의 분자와 분모를 합산하며, 분모가 없으면 0이 아니라 미정(null)으로 기록한다. 판례별 CQ 수가 달라 전체 점수의 비중도 달라질 수 있다.
비교의미
C−B같은 원문에 온톨로지 추가 · 주 지표
D−A원문 없이 온톨로지 추가
B−A온톨로지 없이 원문 추가
C−D같은 온톨로지에 원문 추가
C−A원문과 온톨로지를 함께 추가
D−B원문을 온톨로지로 대체 · 순수 추가 효과가 아님
  • 정확도 = 정답 판정 수 ÷ (공통 CQ 수 × 2). 온톨로지 추가 효과는 이 정확도 차이에 100을 곱해 %p로 표시한다.

05 결과와 사례

완료 결과: 공통 95문항 × 답변 2회 = 방법·입력 조건별 190개 답변. 원본 04 블록의 90문항 표기와 달라 본 예시는 완료 평가 파일의 95문항을 기준으로 작성했다.

정확도
구축 방법A (%)B (%)C (%)D (%)C−B (%p)
베이스라인0.0086.3280.530.00-5.79
실험 1 · 원문 근거 추가0.0085.7986.840.00+1.05
실험 2 · 세 계층안 통합0.0086.8484.210.00-2.63
추가 효과
구축 방법C−B (%p)베이스라인 대비 변화 (%p)
베이스라인-5.79기준
실험 1 · 원문 근거 추가+1.05+6.84
실험 2 · 세 계층안 통합-2.63+3.16

C−B: 온톨로지 추가 효과. 베이스라인 대비 변화: 각 실험의 C−B − 베이스라인의 C−B.

결과 해석
현재 결과로는 LLM 성능에 도움이 되는 온톨로지라고 할 수 없다.

베이스라인

−5.79%p

정답 164 → 153

원문만 제공할 때보다 11개 감소

실험 1 · 원문 근거 추가

+1.05%p

정답 163 → 165

2개 증가에 그쳐 재현성 확인 필요

실험 2 · 세 계층안 통합

−2.63%p

정답 165 → 160

구조를 정리해도 5개 감소

관찰
일관된 정확도 개선 없음. 실험 1만 소폭 상승.
구분
베이스라인 대비 개선 ≠ 원문만 제공한 B 대비 성능 향상.
해석 범위
95문항 · 구축 1회 · 답변 2회의 기술통계. 독립 반복 구축이나 유의성은 미검증.
관계 변화

어느 방법의 클래스든 선택하면 나머지 두 방법도 함께 갱신됩니다. 전체 그래프가 작으면 ‘크게 열기’ 또는 클래스 검색을 이용하세요.

전체 그래프에서 클래스를 선택하세요.
베이스라인전체 · 51 클래스
G 법원 법원 소송사건 소송사건 법원->소송사건 심리한다 판결 판결 법원->판결 판결한다 소송당사자 소송당사자 소송당사자->소송사건 당사자가된다 청구 청구 소송당사자->청구 제기한다 계약 계약 소송당사자->계약 체결한다 세금 세금 소송당사자->세금 납부한다 부동산 부동산 소송당사자->부동산 소유한다 상표 상표 소송당사자->상표 소유한다 특허발명 특허발명 소송당사자->특허발명 출원한다 보험계약 보험계약 소송당사자->보험계약 체결한다 사실혼 사실혼 소송당사자->사실혼 형성된다 친생자관계 친생자관계 소송당사자->친생자관계 부모가된다 정치자금 정치자금 소송당사자->정치자금 제공한다 범죄 범죄 소송당사자->범죄 저지른다 판결->소송사건 해결한다 행정처분 행정처분 청구->행정처분 판단대상이다 행정청 행정청 행정청->행정처분 발령한다 세금부과처분 세금부과처분 행정청->세금부과처분 부과한다 시험 시험 행정청->시험 실시한다 행정처분->소송당사자 대상으로한다 법령 법령 행정처분->법령 근거로한다 행정처분->세금부과처분 하위 → 상위 납세의무 납세의무 계약->납세의무 발생시킨다 계약->보험계약 하위 → 상위 증거자료 증거자료 증거자료->청구 뒷받침한다 법인 법인 주식 주식 법인->주식 발행한다 근로자 근로자 노동조합 노동조합 근로자->노동조합 소속된다 승진 승진 근로자->승진 승진대상이다 육아휴직 육아휴직 근로자->육아휴직 사용한다 차별 차별 근로자->차별 차별받는다 산업재해 산업재해 근로자->산업재해 입는다 사용자 사용자 사용자->근로자 고용한다 인사평가 인사평가 사용자->인사평가 평가한다 사용자->승진 추천한다 조합 조합 노동조합->조합 하위 → 상위 인사평가->근로자 평가대상이다 납세의무->세금 이행한다 세금부과처분->행정처분 하위 → 상위 세금부과처분->납세의무 대상이다 주주 주주 주주->주식 소유한다 재건축사업 재건축사업 재건축사업->부동산 포함된다 조합->노동조합 하위 → 상위 조합->재건축사업 시행한다 구분소유자 구분소유자 조합->구분소유자 구성된다 상품 상품 상표->상품 사용된다 보험계약->계약 하위 → 상위 보험자 보험자 보험자->법인 하위 → 상위 보험자->보험계약 인수한다 손해배상채권 손해배상채권 보험자->손해배상채권 지급한다 피해자 피해자 교통사고 교통사고 피해자->교통사고 입는다 교통사고->손해배상채권 발생시킨다 가족관계 가족관계 혼인관계 혼인관계 가족관계->혼인관계 구성된다 혼인관계->가족관계 하위 → 상위 친생자관계->가족관계 하위 → 상위 의료기관 의료기관 환자 환자 의료기관->환자 치료한다 수입물품 수입물품 수입물품->상품 하위 → 상위 관세 관세 수입물품->관세 과세된다 추천서 추천서 수입물품->추천서 추천받는다 관세->세금 하위 → 상위 선박 선박 담보권 담보권 담보권->부동산 담보로삼는다 담보권->선박 담보로삼는다 응시자 응시자 응시자->시험 응시한다
실험 1 · 원문 근거 추가전체 · 51 클래스
G 법원 법원 소송사건 소송사건 법원->소송사건 심리한다 판결 판결 법원->판결 판결한다 소송당사자 소송당사자 소송당사자->소송사건 당사자가된다 청구 청구 소송당사자->청구 제기한다 계약 계약 소송당사자->계약 체결한다 세금 세금 소송당사자->세금 납부한다 부동산 부동산 소송당사자->부동산 소유한다 상표 상표 소송당사자->상표 소유한다 특허발명 특허발명 소송당사자->특허발명 출원한다 보험계약 보험계약 소송당사자->보험계약 체결한다 사실혼 사실혼 소송당사자->사실혼 형성된다 친생자관계 친생자관계 소송당사자->친생자관계 부모가된다 정치자금 정치자금 소송당사자->정치자금 제공한다 범죄 범죄 소송당사자->범죄 저지른다 판결->소송사건 해결한다 행정처분 행정처분 청구->행정처분 판단대상이다 행정청 행정청 행정청->행정처분 발령한다 세금부과처분 세금부과처분 행정청->세금부과처분 부과한다 시험 시험 행정청->시험 실시한다 행정처분->소송당사자 대상으로한다 법령 법령 행정처분->법령 근거로한다 행정처분->세금부과처분 하위 → 상위 납세의무 납세의무 계약->납세의무 발생시킨다 계약->보험계약 하위 → 상위 증거자료 증거자료 증거자료->청구 뒷받침한다 법인 법인 주식 주식 법인->주식 발행한다 근로자 근로자 노동조합 노동조합 근로자->노동조합 소속된다 승진 승진 근로자->승진 승진대상이다 육아휴직 육아휴직 근로자->육아휴직 사용한다 차별 차별 근로자->차별 차별받는다 산업재해 산업재해 근로자->산업재해 입는다 사용자 사용자 사용자->근로자 고용한다 인사평가 인사평가 사용자->인사평가 평가한다 사용자->승진 추천한다 조합 조합 노동조합->조합 하위 → 상위 인사평가->근로자 평가대상이다 납세의무->세금 이행한다 관세 관세 세금->관세 하위 → 상위 세금부과처분->행정처분 하위 → 상위 세금부과처분->납세의무 대상이다 주주 주주 주주->주식 소유한다 재건축사업 재건축사업 재건축사업->부동산 포함된다 조합->노동조합 하위 → 상위 조합->재건축사업 시행한다 구분소유자 구분소유자 조합->구분소유자 구성된다 상품 상품 상표->상품 사용된다 수입물품 수입물품 상품->수입물품 하위 → 상위 보험계약->계약 하위 → 상위 보험자 보험자 보험자->보험계약 인수한다 손해배상채권 손해배상채권 보험자->손해배상채권 지급한다 피해자 피해자 교통사고 교통사고 피해자->교통사고 입는다 교통사고->손해배상채권 발생시킨다 가족관계 가족관계 혼인관계 혼인관계 가족관계->혼인관계 구성된다 가족관계->혼인관계 하위 → 상위 가족관계->사실혼 하위 → 상위 가족관계->친생자관계 하위 → 상위 혼인관계->가족관계 하위 → 상위 사실혼->가족관계 하위 → 상위 친생자관계->가족관계 하위 → 상위 의료기관 의료기관 환자 환자 의료기관->환자 치료한다 수입물품->상품 하위 → 상위 수입물품->관세 과세된다 추천서 추천서 수입물품->추천서 추천받는다 관세->세금 하위 → 상위 추천서->증거자료 하위 → 상위 선박 선박 담보권 담보권 담보권->부동산 담보로삼는다 담보권->선박 담보로삼는다 응시자 응시자 응시자->시험 응시한다
실험 2 · 세 계층안 통합전체 · 51 클래스
G 법원 법원 소송사건 소송사건 법원->소송사건 심리한다 판결 판결 법원->판결 판결한다 소송당사자 소송당사자 소송당사자->소송사건 당사자가된다 청구 청구 소송당사자->청구 제기한다 계약 계약 소송당사자->계약 체결한다 세금 세금 소송당사자->세금 납부한다 부동산 부동산 소송당사자->부동산 소유한다 상표 상표 소송당사자->상표 소유한다 특허발명 특허발명 소송당사자->특허발명 출원한다 보험계약 보험계약 소송당사자->보험계약 체결한다 사실혼 사실혼 소송당사자->사실혼 형성된다 친생자관계 친생자관계 소송당사자->친생자관계 부모가된다 정치자금 정치자금 소송당사자->정치자금 제공한다 범죄 범죄 소송당사자->범죄 저지른다 판결->소송사건 해결한다 행정처분 행정처분 청구->행정처분 판단대상이다 행정청 행정청 행정청->행정처분 발령한다 세금부과처분 세금부과처분 행정청->세금부과처분 부과한다 시험 시험 행정청->시험 실시한다 행정처분->소송당사자 대상으로한다 법령 법령 행정처분->법령 근거로한다 납세의무 납세의무 계약->납세의무 발생시킨다 증거자료 증거자료 증거자료->청구 뒷받침한다 법인 법인 주식 주식 법인->주식 발행한다 근로자 근로자 노동조합 노동조합 근로자->노동조합 소속된다 승진 승진 근로자->승진 승진대상이다 육아휴직 육아휴직 근로자->육아휴직 사용한다 차별 차별 근로자->차별 차별받는다 산업재해 산업재해 근로자->산업재해 입는다 사용자 사용자 사용자->근로자 고용한다 인사평가 인사평가 사용자->인사평가 평가한다 사용자->승진 추천한다 조합 조합 노동조합->조합 하위 → 상위 인사평가->근로자 평가대상이다 납세의무->세금 이행한다 세금부과처분->행정처분 하위 → 상위 세금부과처분->납세의무 대상이다 주주 주주 주주->주식 소유한다 재건축사업 재건축사업 재건축사업->부동산 포함된다 조합->재건축사업 시행한다 구분소유자 구분소유자 조합->구분소유자 구성된다 상품 상품 상표->상품 사용된다 보험계약->계약 하위 → 상위 보험자 보험자 보험자->보험계약 인수한다 손해배상채권 손해배상채권 보험자->손해배상채권 지급한다 피해자 피해자 교통사고 교통사고 피해자->교통사고 입는다 교통사고->손해배상채권 발생시킨다 가족관계 가족관계 혼인관계 혼인관계 가족관계->혼인관계 구성된다 혼인관계->가족관계 하위 → 상위 친생자관계->가족관계 하위 → 상위 의료기관 의료기관 환자 환자 의료기관->환자 치료한다 수입물품 수입물품 관세 관세 수입물품->관세 과세된다 추천서 추천서 수입물품->추천서 추천받는다 관세->세금 하위 → 상위 선박 선박 담보권 담보권 담보권->부동산 담보로삼는다 담보권->선박 담보로삼는다 응시자 응시자 응시자->시험 응시한다
선택 클래스 · 동일 범위 비교직접 연결된 관계(1-hop)
베이스라인선택 대기

클래스를 선택하면
세 방법의 관계가 함께 나타납니다.

관계 목록 확인
    실험 1 · 원문 근거 추가선택 대기

    클래스를 선택하면
    세 방법의 관계가 함께 나타납니다.

    관계 목록 확인
      실험 2 · 세 계층안 통합선택 대기

      클래스를 선택하면
      세 방법의 관계가 함께 나타납니다.

      관계 목록 확인

        확대 그림은 세 방법의 이웃 클래스 합집합으로 위치를 고정합니다. 남색: 계층 관계 · 회색: 속성 관계. 클래스가 없거나 직접 관계가 없으면 별도로 표시합니다. 관계 유무는 아래 목록에서도 확인할 수 있습니다.

        클래스를 누르면 창이 닫히고 세 방법의 확대 비교가 갱신됩니다.

        답변 사례

        B/C 판정 조합별 답변 길이가 가장 짧은 실제 사례를 선택했다. 대표성이나 발생 빈도를 뜻하지 않으며, 특정 간선 변경의 인과 효과를 검증한 사례가 아니다.

        개선판례 69717 · 실험 1 · 원문 근거 추가 · 답변 2회차

        이 사건에서 원고와 피고는 각각 본소와 반소에서 어떤 소송상 지위를 맡았는가?

        B · 원문 오답

        원고는 본소에서 이혼 및 위자료를 청구한 본소 원고이고, 반소에서는 피고가 이혼을 청구한 반소 원고이며 원고는 반소 피고입니다.

        C · 원문 + 온톨로지 정답

        본소에서는 원고가 원고로, 피고가 피고로 소송에 참여했고, 반소에서는 피고가 반소원고로, 원고가 반소피고로 참여했습니다.

        채점 근거 · 질문 ID
        B 채점원고의 본소 원고 지위와 원고·피고의 반소 지위는 정확히 제시했지만, 피고가 본소 피고라는 지위는 명시하지 않았다.
        C 채점본소와 반소의 각 당사자 지위를 모두 정확히 구분했다.

        질문 ID: e7ab8d031e121018dfacd38d85f06b7863520ac8161582b1f6f4e44eb58ee25c

        악화판례 70612 · 베이스라인 · 답변 2회차

        원고들은 누구를 상대방으로 하여 어떤 처분의 취소를 청구했는가?

        B · 원문 정답

        원고들은 피고 울산광역시장을 상대로, 2006년 6월 7일 원고들에 대해 한 승진임용취소처분의 취소를 청구했습니다.

        C · 원문 + 온톨로지 오답

        원고들은 피고 울산광역시장을 상대로, 2005년 6월 7일 원고들에 대한 승진임용을 취소한 처분의 취소를 청구했습니다.

        채점 근거 · 질문 ID
        B 채점원고들, 피고 울산광역시장, 청구 대상 처분 및 취소 청구 내용이 모두 자료와 일치한다.
        C 채점상대방과 취소 청구 내용은 맞지만, 답변의 2005년 날짜는 청구취지에 제시된 청구 대상 처분의 2006년 날짜와 다르다. 자료의 처분 경위에는 별도로 2005년 날짜가 나오지만, 답변은 청구 대상 날짜를 2005년으로 제시했다.

        질문 ID: ff3be3c656a89a6c236835a8ed6a6072f1a11ea845f05d95fb914f48e25596a0

        변화 없음판례 70895 · 실험 1 · 원문 근거 추가 · 답변 2회차

        이 사건에서 원고가 피고를 상대로 구한 내용은 무엇인가?

        B · 원문 정답

        원고는 피고가 자신의 친생자가 아니라는 확인을 구했습니다.

        C · 원문 + 온톨로지 정답

        원고는 피고에 대한 친생을 부인해 달라고 청구했습니다.

        채점 근거 · 질문 ID
        B 채점원고가 피고를 상대로 친생관계를 부인하는 취지의 청구를 했다는 점을 의미상 정확히 표현했고, 별도의 청구 내용을 덧붙이지 않았다.
        C 채점원고가 피고를 상대로 친생을 부인하는 취지의 청구를 했다는 원문 내용을 정확히 요약했고, 별도의 청구를 추가하지 않았다.

        질문 ID: 9a981079a81621c87d895e5669de62bbcf8bbbf7f82b7da5fca4b46e40c4bc25

        사례 해석

        관찰된 사실

        개선과 악화가 함께 발생

        정답 전환 사례 하나로 전체 유용성을 판단할 수 없다.

        비교 단위

        그래프: 구축 방법 간 비교
        답변: 같은 방법의 B/C 비교

        두 비교를 직접적인 인과 관계로 연결하지 않는다.

        결론의 범위

        일관된 성능 향상은 미확인

        특정 관계의 효과는 해당 간선만 바꾸는 후속 실험이 필요하다.

        세부 결과표 · 내부 품질, 네 지표, 반복·보류 판례

        평가 범위

        평가 95문항: 개발 77문항, 보류 18문항. 각 문항 답변 2회. 보류 분할 결과를 독립적인 미접촉 확인 실험으로 해석하지 않는다.

        내부 품질

        방법클래스 / 속성 / 계층RDF 파싱 / 논리 일관성스키마 CQ 충족률
        베이스라인51 / 51 / 11성공 / 일관적0.00%
        실험 1 · 원문 근거 추가51 / 51 / 17성공 / 일관적0.00%
        실험 2 · 세 계층안 통합51 / 51 / 6성공 / 일관적0.00%

        논리 일관성 통과가 계층의 의미적 타당성이나 답변 성능을 보장하지 않는다. 양방향 하위 관계도 OWL에서는 일관적일 수 있다.

        답변의 세부 지표 (%)

        방법입력내용 정확성필수 정보문맥·관계근거 없는 주장
        베이스라인A0.001.4828.3391.33
        베이스라인B86.3296.5696.250.32
        베이스라인C80.5395.9096.251.11
        베이스라인D0.000.6627.0896.85
        실험 1 · 원문 근거 추가A0.001.3126.6792.17
        실험 1 · 원문 근거 추가B85.7996.2396.670.40
        실험 1 · 원문 근거 추가C86.8496.3997.920.62
        실험 1 · 원문 근거 추가D0.000.3325.8399.05
        실험 2 · 세 계층안 통합A0.001.4826.6791.64
        실험 2 · 세 계층안 통합B86.8496.7296.250.49
        실험 2 · 세 계층안 통합C84.2196.7296.670.96
        실험 2 · 세 계층안 통합D0.000.0024.1798.85

        C−B의 회차·판례별 차이 (%p)

        방법1회차2회차개발보류
        베이스라인-4.21-7.37-7.14+0.00
        실험 1 · 원문 근거 추가+0.00+2.11+0.65+2.78
        실험 2 · 세 계층안 통합-1.05-4.21-1.95-5.56

        출처와 집계 확인

        수치는 results.json과 각 방법의 04_evaluation/summary.json에서 확인했다. 그래프는 ontology.json의 실제 계층 및 속성으로 생성했다. 제외 판례: 210163, 239405, 70641, 236443, 70866 (5건).

        A/D의 근거 없는 주장 비율에는 정보 부족을 표현한 답변에 대한 채점도 포함되어 있어, 이 수치를 곧바로 환각 발생률로 해석하지 않는다.

        06 해석과 한계

        설계상 한계는 기재하고, 결과 해석과 결론은 평가 완료 후 작성한다.

        결과 해석

        해석 요약
         

        해석의 한계

        한계이유결과를 볼 때
        구조와 답변의 차이관계를 고쳐도 답변은 그대로일 수 있음.관계와 답변이 실제로 어떻게 바뀌었는지 함께 확인.
        LLM 채점의 오류질문·답변·채점을 같은 모델이 담당. 전문가 검증은 없음.채점 결과에도 오류가 있을 수 있음.
        구축은 한 번만온톨로지는 한 번 구축하고, 답변만 두 번 생성.다시 구축해도 같은 결과가 나올지는 미확인.
        보류 판례의 사용구축에 쓰지 않은 판례의 질문과 결과도 함께 검토.보류 판례 성적을 독립적인 최종 검증으로 보기는 어려움.
        D 조건의 정보 부족D에는 원문 없이 온톨로지만 제공. 사건별 사실은 부족.D 점수가 낮아도 온톨로지가 쓸모없다고 단정할 수 없음.

        결론

        개선 효과
         
        미해결 문제
         
        후속 검증
         

        07 후속 실험

        6단계에서 확인한 평가의 한계를 보완하는 방안과, 구축 방법을 바꾸는 실험 후보를 구분했다. 아래 내용은 후속 검증 계획이다.

        평가 한계 보완

        구조와 답변의 차이

        바뀐 관계와 관련된 CQ를 연결해 전후 답변을 확인.

        구조 변화가 실제 답변 개선으로 이어지는지 분석.
        LLM 채점의 오류

        다른 모델과 사람의 표본 검토를 병행.

        판정 일치율과 오판 사례를 확인.
        구축 반복 부족

        같은 조건으로 온톨로지를 여러 번 구축.

        구축 결과와 정확도의 평균·변동을 비교.
        보류 판례의 독립성

        방법을 확정한 뒤 별도 판례로 최종 평가.

        CQ·채점표도 평가 전에 고정하고 결과를 튜닝에 사용하지 않음.
        D 조건의 정보 부족

        스키마만 제공하는 조건과 사건별 사실까지 연결한 조건을 구분.

        온톨로지 구조의 효과와 사건 정보 추가 효과를 나눠 평가.

        온톨로지 구축 방법의 추가 실험

        이번 비교에 포함하지 않은 후속 실험 후보다. 개선 효과는 별도 실험으로 확인한다.

        속성 참조 일치성

        문제 속성의 domain·range가 클래스 목록과 일치하지 않을 가능성.

        변경 후보 참조 지시 강화, 클래스·속성 분리 추출, 추출 후 참조 검사·수정.

        확인할 점 참조 불일치율, 수정 과정의 개념 손실, LLM 답변 정확도 변화.

        입력 분할·점진 구축

        문제 여러 판례를 한 번에 처리할 때 세부 개념 누락이나 문맥 혼합 가능성.

        변경 후보 판례 1·5·10·20건씩 추출 후 통합, 또는 기존 구조를 다음 배치에 전달하며 갱신.

        확인할 점 개념 누락·중복, 입력 순서에 따른 변동, 답변 정확도와 비용.

        추출 모델 변경

        문제 추출 모델에 따라 개념 범위와 설명의 품질이 달라질 가능성.

        변경 후보 입력·프롬프트·계층 판단 모델을 고정하고 추출 모델만 변경.

        확인할 점 질문의 표현 가능성, LLM 답변 정확도, 추출 비용.

        계층 판단 모델 변경

        문제 같은 클래스 설명을 주어도 모델에 따라 포함 관계 판단이 달라질 가능성.

        변경 후보 추출 결과와 판단 근거를 고정하고 계층 판단 모델만 변경.

        확인할 점 관계 방향·의도하지 않은 동치, LLM 답변 정확도, 판단 비용.

        공통 CQ와 채점표를 고정하고 한 번에 한 조건만 바꾼다. 보류 판례 결과로 방법을 선택했다면 최종 검증에는 별도 판례를 사용한다.

        참고문헌

        1. Oyewale, A. & Soru, T. (2026). LLM-Driven Ontology Construction for Enterprise Knowledge Graphs. ICSC 2026. 코드.
        2. Saeedizade, M. J. & Blomqvist, E. (2024). Navigating Ontology Development with Large Language Models. ESWC 2024, 143–161.
        3. Lippolis, A. S., et al. (2025). Large Language Models Assisting Ontology Evaluation. ISWC 2025, 502–520. DOI.
        4. Kommineni, V. K., König-Ries, B. & Samuel, S. (2024). From human experts to machines: An LLM supported approach to ontology and knowledge graph construction. arXiv:2403.08345, v1.