사전 과제 1 · 연구보고서 초안
판례 온톨로지 구축 및 평가
원문 근거와 계층 재검토의 효과 비교
온톨로지 제공에 따른 답변 정확도 변화와 두 구축 방법의 개선 효과를 확인한다.
초안 · 평가 결과 미기입
01 평가 기준
- 정의
- 좋은 온톨로지는 판례의 개념과 관계를 정확히 표현하여, LLM이 판례를 해석하고 정확한 답변을 생성하는 데 도움이 되는 구조로 정의했다.
- 선택 이유
- 구조가 올바르더라도 LLM의 답변이 더 정확해지는 것은 아니다. 따라서 구조의 적절성과 LLM 답변 정확도 변화를 함께 평가한다. 정답 온톨로지가 없어 구조는 논리 검사와 평가 질문의 표현 가능성으로 검토한다.
- 측정
- 구조의 적절성개념·관계·문맥의 표현과 논리적 일관성파일·논리 검사, 평가 질문의 표현 가능성 검토LLM 답변 정확도같은 원문에서 온톨로지 추가에 따른 LLM 답변 정확도 변화온톨로지 포함(C) − 원문만 제공(B)의 정확도미사용 판례 적용구축에 사용하지 않은 판례에서의 효과구축 미사용 판례 20건의 결과 분리 집계
- 문헌 근거
- LLM-Driven Ontology Construction for Enterprise Knowledge Graphs [1]정답 트리플과의 일치적용: 공개 구축 절차를 베이스라인으로 사용
- Navigating Ontology Development with Large Language Models [2]질문에 대응하는 질의의 작성 가능성적용: 평가 질문의 표현 가능성 검사
- Large Language Models Assisting Ontology Evaluation [3]LLM 판정과 사람의 기준 판정 비교적용: 판정 이유를 기록하고 평가 오류를 검토
- From human experts to machines: An LLM supported approach to ontology and knowledge graph construction [4]전문가 검토 질문·사람 작성 정답으로 평가적용: 원문 근거와 사전 채점표 활용
- 범위
- SPARQL 검증·전문가 정답 구축은 수행하지 않는다. 미사용 판례 결과는 탐색적으로 해석한다.
02 베이스라인과 한계
- 방법
- OntoEKG의 공개 코드와 프롬프트 사용 [1]
- 선정 이유
- 추출과 계층 판단이 분리되어 있어 단계별 변경 효과를 비교할 수 있음.
- 조건
- 구축 사용 판례 80건 · GPT-6 Luna · 한글 온톨로지 구축·평가. 원논문의 성능 재현과는 구분.
- 구축 절차
- 판례 입력 — 구축 사용 판례 80건을 연결
- 개념·속성 추출 — 클래스·설명·속성 생성
- 계층 판단 — 클래스 설명으로 포함 관계 판단
- 결과 통합 — 온톨로지 파일로 저장
- 한계·대응
- 원문 문맥 누락계층 판단에 원문 대신 생성된 클래스 설명만 사용대응: 원문 근거 추가계층 관계 불일치클래스별 판단을 독립적으로 생성한 뒤 통합대응: 순환 관련 계층 재검토개념 누락·속성 참조 불일치여러 판례를 함께 추출하며 속성 참조 이름을 출력 형식으로 강제하지 않음대응: 직접 수정 대상에서 제외
- 예시
- 회사 ⊆ 조직, 조직 ⊆ 회사가 함께 생성되는 경우(가정). 의도하지 않은 동치 여부를 의미상 검토해야 함.
- 분석 범위
- 코드 검토에서 예상한 한계. 실제 발생 여부와 빈도는 평가 결과로 확인.
03 개선 방법
두 방법은 베이스라인과 각각 비교한다. 추출 결과를 공유하며, 두 개선을 결합하지 않는다.
실험 1 · 원문 근거 추가
- 문제
- 요약된 클래스 설명에서 판례 문맥이 빠질 수 있음
- 변경
- 클래스 설명에 관련 판례 구간을 추가해 계층 판단
- 유지
- 베이스라인의 클래스·속성·설명
- 기대 효과
- 근거가 부족한 관계 감소
- 한계
- 검색 잡음과 사건 맥락의 과도한 일반화 가능
실험 2 · 세 계층안 통합
- 문제
- 개별 계층 판단의 단순 통합만으로는 대안 간 누락·과잉 연결·방향 불일치를 함께 검토하기 어려움
- 변경
- 동일한 클래스·속성·설명에서 계층안 3개를 독립 생성한 뒤, 설명과 세 안을 함께 제공해 최종 계층을 통합 판단
- 유지
- 베이스라인의 한글 클래스·속성·설명, 계층 판단 모델, 평가 CQ·채점 기준
- 문헌 근거
- [2]의 GoT: 세 온톨로지 대안을 통합하는 발상을 계층 구성 단계에 한정해 적용. 원논문 전체 절차의 재현은 아님
- 기대 효과
- 대안들의 관계와 근거를 비교해 누락·과잉 연결·방향 오류를 줄일 가능성
- 한계
- 세 안이 같은 결과를 낼 수 있으며, 통합으로 의미적 정확성이 보장되지는 않음. 후보 생성과 통합이 함께 바뀌므로 통합 단계만의 효과로 분리해 해석할 수 없음
기대 효과는 검증할 가설이다. 실제 개선 여부는 뒤의 평가 설계으로 확인한다.
04 평가 설계
- 평가 질문
- 판례 원문에서 평가 질문(CQ)과 채점표를 생성·검토한 뒤 고정.
- 대상·범위
- 베이스라인·실험 1·실험 2를 동일한 판례별 1문항 표본(95문항)으로 평가. 온톨로지 구축에는 구축 사용 판례 80건, CQ 원본 생성에는 판례 100건을 사용했으며, 검수 통과 CQ가 있는 95건에서 각 1문항을 고정 추출해 재사용.
- 모델·반복
- GPT-6 Luna · 온톨로지별 구축 1회 · 문항별 답변 2회 · 각 답변 채점 1회.
- 입력 조건
입력 A B C D 질문 제공 제공 제공 제공 판례 원문 — 제공 제공 — 온톨로지 — — 제공 제공 - 채점
- 원문과 고정 채점표로 의미를 판정. 필수 정보·문맥·개별 주장이 모두 정확해야 정답.
- 주 지표
- C 정확도 − B 정확도같은 판례 원문에 온톨로지를 더했을 때의 LLM 답변 정확도 변화(%p).
- 개선 효과
- 각 개선 방법의 C−B에서 베이스라인의 C−B를 뺀 값.
- 세부 지표
- 내용 정확성정답으로 판정된 답변의 비율필수 정보 충족률필수 답변 요소를 정확히 포함한 비율문맥·관계 정확성주체·주장과 판단·심급·시점·조건을 올바르게 구분한 비율근거 없는 주장 비율원문과 모순되거나 뒷받침되지 않는 주장의 비율 · 낮을수록 좋음
세부 평가 절차 및 조건 간 비교
- 온톨로지는 조건별로 한 번 구축한다. 각 문항의 A/B/C/D 답변을 두 번 생성하고 각각 한 번 채점한다. 같은 답변을 두 번 채점하는 것이 아니다. 답변의 조건명을 숨기고 순서를 바꾸지만, 이것만으로 평가 편향이 사라지는 것은 아니다.
- A 답변은 같은 문항·회차에서 온톨로지 간 공유하고, B/C/D는 조건별로 생성한다. 따라서 방법 간 차이에는 B 답변의 생성 변동도 포함될 수 있다. 최대 3문항을 병렬 처리한다.
- CQ는 참여자·역할, 청구 관계, 쟁점·사실, 주장·판단, 이유·결론, 심급·주체, 시점·조건, 인용 법령·판례의 목적을 다룬다. 판례당 문항 수는 고정하지 않으며, 검증 실패로 빠진 범위도 보고한다. CQ 자체의 근거 인용 검사는 문자열로 확인하지만 답변 채점은 의미를 판단한다.
- 스키마 검사는 RDF 파싱, OWL 추론기(HermiT)의 일관성·만족 불가능 클래스, CQ 표현 가능성 판정으로 구성한다. ‘판단 불가’는 성공으로 세지 않는다. 필수 요소·문맥·주장의 비율은 해당 항목의 분자와 분모를 합산하며, 분모가 없으면 0이 아니라 미정(null)으로 기록한다. 판례별 CQ 수가 달라 전체 점수의 비중도 달라질 수 있다.
| 비교 | 의미 |
|---|---|
| C−B | 같은 원문에 온톨로지 추가 · 주 지표 |
| D−A | 원문 없이 온톨로지 추가 |
| B−A | 온톨로지 없이 원문 추가 |
| C−D | 같은 온톨로지에 원문 추가 |
| C−A | 원문과 온톨로지를 함께 추가 |
| D−B | 원문을 온톨로지로 대체 · 순수 추가 효과가 아님 |
- 정확도 = 정답 판정 수 ÷ (공통 CQ 수 × 2). 온톨로지 추가 효과는 이 정확도 차이에 100을 곱해 %p로 표시한다.
05 결과와 사례
- 내부 품질
방법 클래스 / 속성 / 계층 RDF 파싱 / 논리 일관성 스키마 CQ 충족률 베이스라인 51 / 51 / 11 성공 / 일관적 0.00% 실험 1 · 원문 근거 추가 51 / 51 / 17 성공 / 일관적 0.00% 실험 2 · 세 계층안 통합 51 / 51 / 6 성공 / 일관적 0.00% 스키마 CQ 충족률은 LLM이 온톨로지 구조를 해석해 판정한 값으로, 0%에는 온톨로지의 표현 부족뿐 아니라 LLM의 해석 한계도 영향을 미쳤을 수 있다.
- 정확도
구축 방법 A (%) B (%) C (%) D (%) C−B (%p) 베이스라인 0.00 86.32 80.53 0.00 -5.79 실험 1 · 원문 근거 추가 0.00 85.79 86.84 0.00 +1.05 실험 2 · 세 계층안 통합 0.00 86.84 84.21 0.00 -2.63 - 추가 효과
구축 방법 C−B (%p) 베이스라인 대비 변화 (%p) 베이스라인 -5.79 기준 실험 1 · 원문 근거 추가 +1.05 +6.84 실험 2 · 세 계층안 통합 -2.63 +3.16 C−B: 온톨로지 추가 효과. 베이스라인 대비 변화: 각 실험의 C−B − 베이스라인의 C−B.
- 결과 해석
- 판단
- 현재 결과만으로는 LLM 답변 성능에 도움이 되는 온톨로지라고 할 수 없다.
- 근거
- 온톨로지 추가 효과(C−B)는 베이스라인 −5.79%p, 실험 1 +1.05%p, 실험 2 −2.63%p였다. 실험 1의 상승은 정답 2개 증가에 해당하며, 일관된 개선으로 이어지지 않았다.
- 한계
- 베이스라인 대비 개선과 B 대비 성능 향상은 구분해야 한다. 구축 1회·답변 2회의 결과이며, 독립 반복 구축에서의 재현성과 통계적 유의성은 확인하지 않았다.
- 관계 변화
베이스라인전체 · 51 클래스 실험 1 · 원문 근거 추가전체 · 51 클래스 실험 2 · 세 계층안 통합전체 · 51 클래스 베이스라인선택 대기 클래스를 선택하면
세 방법의 관계가 함께 나타납니다.관계 목록 확인
실험 1 · 원문 근거 추가선택 대기 클래스를 선택하면
세 방법의 관계가 함께 나타납니다.관계 목록 확인
실험 2 · 세 계층안 통합선택 대기 클래스를 선택하면
세 방법의 관계가 함께 나타납니다.관계 목록 확인
- 답변 사례
B: 원문만 · C: 원문 + 온톨로지.
사례 B → C 핵심 차이 상세 개선 오답 → 정답 누락 정보 보완 개선 · 상세 답변질문이 사건에서 원고와 피고는 각각 본소와 반소에서 어떤 소송상 지위를 맡았는가?
B원문만오답원고는 본소에서 이혼 및 위자료를 청구한 본소 원고이고, 반소에서는 피고가 이혼을 청구한 반소 원고이며 원고는 반소 피고입니다.
채점 근거원고의 본소 원고 지위와 원고·피고의 반소 지위는 정확히 제시했지만, 피고가 본소 피고라는 지위는 명시하지 않았다.C원문 + 온톨로지정답본소에서는 원고가 원고로, 피고가 피고로 소송에 참여했고, 반소에서는 피고가 반소원고로, 원고가 반소피고로 참여했습니다.
채점 근거본소와 반소의 각 당사자 지위를 모두 정확히 구분했다.악화 정답 → 오답 청구 대상 연도 오류 악화 · 상세 답변질문원고들은 누구를 상대방으로 하여 어떤 처분의 취소를 청구했는가?
B원문만정답원고들은 피고 울산광역시장을 상대로, 2006년 6월 7일 원고들에 대해 한 승진임용취소처분의 취소를 청구했습니다.
채점 근거원고들, 피고 울산광역시장, 청구 대상 처분 및 취소 청구 내용이 모두 자료와 일치한다.C원문 + 온톨로지오답원고들은 피고 울산광역시장을 상대로, 2005년 6월 7일 원고들에 대한 승진임용을 취소한 처분의 취소를 청구했습니다.
채점 근거상대방과 취소 청구 내용은 맞지만, 답변의 2005년 날짜는 청구취지에 제시된 청구 대상 처분의 2006년 날짜와 다르다. 자료의 처분 경위에는 별도로 2005년 날짜가 나오지만, 답변은 청구 대상 날짜를 2005년으로 제시했다.변화 없음 정답 → 정답 표현 차이 · 판정 동일 변화 없음 · 상세 답변질문이 사건에서 원고가 피고를 상대로 구한 내용은 무엇인가?
B원문만정답원고는 피고가 자신의 친생자가 아니라는 확인을 구했습니다.
채점 근거원고가 피고를 상대로 친생관계를 부인하는 취지의 청구를 했다는 점을 의미상 정확히 표현했고, 별도의 청구 내용을 덧붙이지 않았다.C원문 + 온톨로지정답원고는 피고에 대한 친생을 부인해 달라고 청구했습니다.
채점 근거원고가 피고를 상대로 친생을 부인하는 취지의 청구를 했다는 원문 내용을 정확히 요약했고, 별도의 청구를 추가하지 않았다.- 사례 해석
- 관찰
- 개선·악화·변화 없음이 함께 나타났다.
- 해석
- 개별 개선 사례만으로 온톨로지의 전반적인 유용성을 판단할 수 없다.
세부 결과표 · 내부 품질, 네 지표, 반복·구축 사용/미사용 판례
평가 범위
온톨로지 구축에 사용한 판례 80건의 77문항과 사용하지 않은 판례 20건의 18문항을 평가했다.
총 95문항에 대해 각 문항의 답변을 2회 생성했다.
답변의 세부 지표 (%)
방법 입력 내용 정확성 필수 정보 문맥·관계 근거 없는 주장 베이스라인 A 0.00 1.48 28.33 91.33 베이스라인 B 86.32 96.56 96.25 0.32 베이스라인 C 80.53 95.90 96.25 1.11 베이스라인 D 0.00 0.66 27.08 96.85 실험 1 · 원문 근거 추가 A 0.00 1.31 26.67 92.17 실험 1 · 원문 근거 추가 B 85.79 96.23 96.67 0.40 실험 1 · 원문 근거 추가 C 86.84 96.39 97.92 0.62 실험 1 · 원문 근거 추가 D 0.00 0.33 25.83 99.05 실험 2 · 세 계층안 통합 A 0.00 1.48 26.67 91.64 실험 2 · 세 계층안 통합 B 86.84 96.72 96.25 0.49 실험 2 · 세 계층안 통합 C 84.21 96.72 96.67 0.96 실험 2 · 세 계층안 통합 D 0.00 0.00 24.17 98.85 C−B의 회차·판례별 차이 (%p)
방법 1회차 2회차 구축 사용 · 77문항 구축 미사용 · 18문항 베이스라인 -4.21 -7.37 -7.14 +0.00 실험 1 · 원문 근거 추가 +0.00 +2.11 +0.65 +2.78 실험 2 · 세 계층안 통합 -1.05 -4.21 -1.95 -5.56
06 해석과 한계
결과 해석
현재 결과만으로는 LLM 답변 성능에 도움이 되는 온톨로지라고 할 수 없다.
해석의 한계
한계 이유 결과를 볼 때 LLM의 온톨로지 해석 클래스·관계를 형식화한 온톨로지를 LLM에 입력해 평가. 낮은 성능이 온톨로지의 문제인지, LLM의 해석·활용 한계인지 구분하기 어려움. 스키마 CQ의 검증 방식 SPARQL 검증 대신, LLM이 온톨로지 구조를 해석해 CQ 충족 여부를 판정. 온톨로지의 표현 부족과 LLM의 해석 한계를 구분하기 어려움. LLM 채점의 오류 질문·답변·채점을 같은 모델이 담당. 전문가 검증은 없음. 채점 결과에도 오류가 있을 수 있음. 구축은 한 번만 온톨로지는 한 번 구축하고, 답변만 두 번 생성. 다시 구축해도 같은 결과가 나올지는 미확인. 결론
- 핵심 방향
- 후속 연구에서는 구축한 온톨로지를 판례 문서의 구조화 기준으로 활용한다. OG-RAG처럼 온톨로지를 기준으로 문서 속 정보를 정리하고, 그중 질문에 답하는 데 필요한 내용만 골라 LLM에 제공하는 방식을 참고한다.[5]
- 입력 전환
판례 원문 + 구축한 온톨로지 → 온톨로지 기반 구조화 문서 → 질문 관련 근거 → LLM 답변
당사자·역할, 주장·판단, 시점·조건을 구분해 원문 근거와 연결한다. 원문 전체와 온톨로지를 함께 넣던 입력을, 구조화한 사건 정보와 필요한 근거로 바꾸는 방향이다.
- 검증 계획
- 먼저 같은 판례·CQ·답변 모델에서 원문만, 원문+온톨로지, 구조화 문서 입력을 비교해 구조화의 효과를 확인한다. 이후 질문별 근거 검색을 적용하고, 같은 입력 길이 한도에서 일반 문서 검색과 비교한다. 답변 정확도, 필수 정보 누락, 근거 추적성과 입력 토큰 수·비용을 평가한다.
07 후속 실험
6단계에서 확인한 평가의 한계를 보완하는 방안과, 구축 방법을 바꾸는 실험 후보를 구분했다. 아래 내용은 후속 검증 계획이다.
평가 한계 보완
- 구조와 답변의 차이
바뀐 관계와 관련된 CQ를 연결해 전후 답변을 확인.
구조 변화가 실제 답변 개선으로 이어지는지 분석.- LLM 채점의 오류
다른 모델과 사람의 표본 검토를 병행.
판정 일치율과 오판 사례를 확인.- 구축 반복 부족
같은 조건으로 온톨로지를 여러 번 구축.
구축 결과와 정확도의 평균·변동을 비교.- 구축 미사용 판례의 독립성
방법을 확정한 뒤 별도 판례로 최종 평가.
CQ·채점표도 평가 전에 고정하고 결과를 튜닝에 사용하지 않음.- D 조건의 정보 부족
스키마만 제공하는 조건과 사건별 사실까지 연결한 조건을 구분.
온톨로지 구조의 효과와 사건 정보 추가 효과를 나눠 평가.
온톨로지 구축 방법의 추가 실험
이번 비교에 포함하지 않은 후속 실험 후보다. 개선 효과는 별도 실험으로 확인한다.
- 속성 참조 일치성
문제 속성의 domain·range가 클래스 목록과 일치하지 않을 가능성.
변경 후보 참조 지시 강화, 클래스·속성 분리 추출, 추출 후 참조 검사·수정.
확인할 점 참조 불일치율, 수정 과정의 개념 손실, LLM 답변 정확도 변화.
- 입력 분할·점진 구축
문제 여러 판례를 한 번에 처리할 때 세부 개념 누락이나 문맥 혼합 가능성.
변경 후보 판례 1·5·10·20건씩 추출 후 통합, 또는 기존 구조를 다음 배치에 전달하며 갱신.
확인할 점 개념 누락·중복, 입력 순서에 따른 변동, 답변 정확도와 비용.
- 추출 모델 변경
문제 추출 모델에 따라 개념 범위와 설명의 품질이 달라질 가능성.
변경 후보 입력·프롬프트·계층 판단 모델을 고정하고 추출 모델만 변경.
확인할 점 질문의 표현 가능성, LLM 답변 정확도, 추출 비용.
- 계층 판단 모델 변경
문제 같은 클래스 설명을 주어도 모델에 따라 포함 관계 판단이 달라질 가능성.
변경 후보 추출 결과와 판단 근거를 고정하고 계층 판단 모델만 변경.
확인할 점 관계 방향·의도하지 않은 동치, LLM 답변 정확도, 판단 비용.
공통 CQ와 채점표를 고정하고 한 번에 한 조건만 바꾼다. 구축 미사용 판례 결과로 방법을 선택했다면 최종 검증에는 별도 판례를 사용한다.
참고문헌
- Oyewale, A. & Soru, T. (2026). LLM-Driven Ontology Construction for Enterprise Knowledge Graphs. ICSC 2026. 코드.
- Saeedizade, M. J. & Blomqvist, E. (2024). Navigating Ontology Development with Large Language Models. ESWC 2024, 143–161.
- Lippolis, A. S., et al. (2025). Large Language Models Assisting Ontology Evaluation. ISWC 2025, 502–520. DOI.
- Kommineni, V. K., König-Ries, B. & Samuel, S. (2024). From human experts to machines: An LLM supported approach to ontology and knowledge graph construction. arXiv:2403.08345, v1.
- Sharma, K., Kumar, P. & Li, Y. (2025). OG-RAG: Ontology-grounded retrieval-augmented generation for large language models. EMNLP 2025, 32962–32981. 코드.