사전 과제 1 · 연구보고서 초안
판례 온톨로지 구축 및 평가
온톨로지 제공에 따른 답변 정확도 변화와 두 구축 방법의 개선 효과를 확인한다.
01 평가 기준
- 정의
- 좋은 온톨로지는 판례의 개념과 관계를 정확히 표현하여, LLM이 판례를 해석하고 정확한 답변을 생성하는 데 도움이 되는 구조로 정의했다.
- 선택 이유
- 구조가 올바르더라도 LLM의 답변이 더 정확해지는 것은 아니다. 따라서 구조의 적절성과 LLM 답변 정확도 변화를 함께 평가한다. 정답 온톨로지가 없어 구조는 논리 검사와 평가 질문의 표현 가능성으로 검토한다.
- 측정
- 구조의 적절성개념·관계·문맥의 표현과 논리적 일관성파일·논리 검사, 평가 질문의 표현 가능성 검토LLM 답변 정확도같은 원문에서 온톨로지 추가에 따른 LLM 답변 정확도 변화온톨로지 포함(C) − 원문만 제공(B)의 정확도미사용 판례 적용구축에 사용하지 않은 판례에서의 효과구축 미사용 판례 20건의 결과 분리 집계
- 문헌 근거
- LLM-Driven Ontology Construction for Enterprise Knowledge Graphs [1]정답 트리플과의 일치적용: 온톨로지 구축 절차를 베이스라인으로 사용
- Navigating Ontology Development with Large Language Models [2]질문에 대응하는 질의의 작성 가능성적용: 평가 질문의 표현 가능성 검사
- Large Language Models Assisting Ontology Evaluation [3]LLM 판정과 사람의 기준 판정 비교적용: LLM 기반 스키마 CQ 충족 여부 평가 방식 참고
- From human experts to machines: An LLM supported approach to ontology and knowledge graph construction [4]전문가 검토 질문·사람 작성 정답으로 평가적용: LLM 기반 CQ 생성 및 답변 평가 방식 적용
- 범위
- SPARQL 검증·전문가 정답 구축은 수행하지 않는다. 미사용 판례 결과는 탐색적으로 해석한다.
02 베이스라인과 한계
- 방법
- OntoEKG의 공개 코드와 프롬프트 사용 [1]
- 선정 이유
- 추출과 계층 판단이 분리되어 있어 단계별 변경 효과를 비교할 수 있음.
- 조건
- 구축 사용 판례 80건 · GPT-6 Luna · 한글 온톨로지 구축·평가. 원논문의 성능 재현과는 구분.
- 구축 절차
- 판례 입력 — 구축 사용 판례 80건을 연결
- 개념·속성 추출 — 클래스·설명·속성 생성
- 계층 판단 — 클래스 설명으로 포함 관계 판단
- 결과 통합 — 온톨로지 파일로 저장
- 한계·대응
- 원문 문맥 누락계층 판단에 원문 대신 생성된 클래스 설명만 사용대응: 원문 근거 추가계층 관계 불일치클래스별 판단을 독립적으로 생성한 뒤 통합대응: 순환 관련 계층 재검토개념 누락·속성 참조 불일치여러 판례를 함께 추출하며 속성 참조 이름을 출력 형식으로 강제하지 않음대응: 직접 수정 대상에서 제외
- 예시
- 회사 ⊆ 조직, 조직 ⊆ 회사가 함께 생성되는 경우(가정). 의도하지 않은 동치 여부를 의미상 검토해야 함.
- 분석 범위
- 코드 검토에서 예상한 한계. 실제 발생 여부와 빈도는 평가 결과로 확인.
03 개선 방법
실험 1 · 원문 근거 추가
- 문제
- 요약된 클래스 설명에서 판례 문맥이 빠질 수 있음
- 변경
- 클래스 설명에 관련 판례 구간을 추가해 계층 판단
- 유지
- 베이스라인의 클래스·속성·설명
- 기대 효과
- 근거가 부족한 관계 감소
- 한계
- 검색 잡음과 사건 맥락의 과도한 일반화 가능
실험 2 · 세 계층안 통합
- 문제
- 개별 계층 판단의 단순 통합만으로는 대안 간 누락·과잉 연결·방향 불일치를 함께 검토하기 어려움
- 변경
- 동일한 클래스·속성·설명에서 계층안 3개를 독립 생성한 뒤, 설명과 세 안을 함께 제공해 최종 계층을 통합 판단
- 유지
- 베이스라인의 한글 클래스·속성·설명, 계층 판단 모델, 평가 CQ·채점 기준
- 문헌 근거
- [2]의 GoT: 세 온톨로지 대안을 통합하는 발상을 계층 구성 단계에 한정해 적용. 원논문 전체 절차의 재현은 아님
- 기대 효과
- 대안들의 관계와 근거를 비교해 누락·과잉 연결·방향 오류를 줄일 가능성
- 한계
- 세 안이 같은 결과를 낼 수 있으며, 통합으로 의미적 정확성이 보장되지는 않음. 후보 생성과 통합이 함께 바뀌므로 통합 단계만의 효과로 분리해 해석할 수 없음
04 평가 설계
- 평가 질문
- 판례 원문에서 평가 질문(CQ)과 채점표를 생성·검토한 뒤 고정.
- 대상·범위
- 베이스라인·실험 1·실험 2를 동일한 판례별 1문항 표본(95문항)으로 평가. 온톨로지 구축에는 구축 사용 판례 80건, CQ 원본 생성에는 판례 100건을 사용했으며, 검수 통과 CQ가 있는 95건에서 각 1문항을 고정 추출해 재사용.
- 모델·반복
- GPT-6 Luna · 온톨로지별 구축 1회 · 문항별 답변 2회 · 각 답변 채점 1회.
- 입력 조건
입력 A B C D 질문 제공 제공 제공 제공 판례 원문 — 제공 제공 — 온톨로지 — — 제공 제공 - 채점
- 원문과 고정 채점표로 의미를 판정. 필수 정보·문맥·개별 주장이 모두 정확해야 정답.
- 주 지표
- C 정확도 − B 정확도같은 판례 원문에 온톨로지를 더했을 때의 LLM 답변 정확도 변화(%p).
- 개선 효과
- 각 개선 방법의 C−B에서 베이스라인의 C−B를 뺀 값.
- 세부 지표
- 내용 정확성정답으로 판정된 답변의 비율필수 정보 충족률필수 답변 요소를 정확히 포함한 비율문맥·관계 정확성주체·주장과 판단·심급·시점·조건을 올바르게 구분한 비율근거 없는 주장 비율원문과 모순되거나 뒷받침되지 않는 주장의 비율 · 낮을수록 좋음
세부 평가 절차 및 조건 간 비교
- 온톨로지는 조건별로 한 번 구축한다. 각 문항의 A/B/C/D 답변을 두 번 생성하고 각각 한 번 채점한다. 같은 답변을 두 번 채점하는 것이 아니다. 답변의 조건명을 숨기고 순서를 바꾸지만, 이것만으로 평가 편향이 사라지는 것은 아니다.
- A 답변은 같은 문항·회차에서 온톨로지 간 공유하고, B/C/D는 조건별로 생성한다. 따라서 방법 간 차이에는 B 답변의 생성 변동도 포함될 수 있다. 최대 3문항을 병렬 처리한다.
- CQ는 참여자·역할, 청구 관계, 쟁점·사실, 주장·판단, 이유·결론, 심급·주체, 시점·조건, 인용 법령·판례의 목적을 다룬다. 판례당 문항 수는 고정하지 않으며, 검증 실패로 빠진 범위도 보고한다. CQ 자체의 근거 인용 검사는 문자열로 확인하지만 답변 채점은 의미를 판단한다.
- 스키마 검사는 RDF 파싱, OWL 추론기(HermiT)의 일관성·만족 불가능 클래스, CQ 표현 가능성 판정으로 구성한다. ‘판단 불가’는 성공으로 세지 않는다. 필수 요소·문맥·주장의 비율은 해당 항목의 분자와 분모를 합산하며, 분모가 없으면 0이 아니라 미정(null)으로 기록한다. 판례별 CQ 수가 달라 전체 점수의 비중도 달라질 수 있다.
| 비교 | 의미 |
|---|---|
| C−B | 같은 원문에 온톨로지 추가 · 주 지표 |
| D−A | 원문 없이 온톨로지 추가 |
| B−A | 온톨로지 없이 원문 추가 |
| C−D | 같은 온톨로지에 원문 추가 |
| C−A | 원문과 온톨로지를 함께 추가 |
| D−B | 원문을 온톨로지로 대체 · 순수 추가 효과가 아님 |
- 정확도 = 정답 판정 수 ÷ (공통 CQ 수 × 2). 온톨로지 추가 효과는 이 정확도 차이에 100을 곱해 %p로 표시한다.
05 결과와 사례
- 내부 품질
방법 클래스 / 속성 / 계층 RDF 파싱 / 논리 일관성 스키마 CQ 충족률 베이스라인 51 / 51 / 11 성공 / 일관적 0.00% 실험 1 · 원문 근거 추가 51 / 51 / 17 성공 / 일관적 0.00% 실험 2 · 세 계층안 통합 51 / 51 / 6 성공 / 일관적 0.00% 스키마 CQ 충족률은 LLM이 온톨로지 구조를 해석해 판정한 값으로, 0%에는 온톨로지의 표현 부족뿐 아니라 LLM의 해석 한계도 영향을 미쳤을 수 있다.
- 답변 정확도
구축 방법 A (%) B (%) C (%) D (%) C−B (%p) 베이스라인 0.00 86.32 80.53 0.00 -5.79 실험 1 · 원문 근거 추가 0.00 85.79 86.84 0.00 +1.05 실험 2 · 세 계층안 통합 0.00 86.84 84.21 0.00 -2.63 - 추가 효과
구축 방법 C−B (%p) 베이스라인 대비 변화 (%p) 베이스라인 -5.79 기준 실험 1 · 원문 근거 추가 +1.05 +6.84 실험 2 · 세 계층안 통합 -2.63 +3.16 C−B: 온톨로지 추가 효과. 베이스라인 대비 변화: 각 실험의 C−B − 베이스라인의 C−B.
- 결과 해석
- 판단
- 현재 결과만으로는 LLM 답변 성능에 도움이 되는 온톨로지라고 할 수 없다.
- 근거
- 온톨로지 추가 효과(C−B)는 베이스라인 −5.79%p, 실험 1 +1.05%p, 실험 2 −2.63%p였다. 실험 1의 상승은 정답 2개 증가에 해당하며, 일관된 개선으로 이어지지 않았다.
- 한계
- 베이스라인 대비 개선과 B 대비 성능 향상은 구분해야 한다. 구축 1회·답변 2회의 결과이며, 독립 반복 구축에서의 재현성과 통계적 유의성은 확인하지 않았다.
- 관계 변화
베이스라인전체 · 51 클래스 실험 1 · 원문 근거 추가전체 · 51 클래스 실험 2 · 세 계층안 통합전체 · 51 클래스 베이스라인선택 대기 클래스를 선택하면
세 방법의 관계가 함께 나타납니다.관계 목록 확인
실험 1 · 원문 근거 추가선택 대기 클래스를 선택하면
세 방법의 관계가 함께 나타납니다.관계 목록 확인
실험 2 · 세 계층안 통합선택 대기 클래스를 선택하면
세 방법의 관계가 함께 나타납니다.관계 목록 확인
- 답변 사례
B: 원문만 · C: 원문 + 온톨로지.
사례 B → C 핵심 차이 상세 개선 오답 → 정답 누락 정보 보완 개선 · 상세 답변질문이 사건에서 원고와 피고는 각각 본소와 반소에서 어떤 소송상 지위를 맡았는가?
B원문만오답원고는 본소에서 이혼 및 위자료를 청구한 본소 원고이고, 반소에서는 피고가 이혼을 청구한 반소 원고이며 원고는 반소 피고입니다.
채점 근거원고의 본소 원고 지위와 원고·피고의 반소 지위는 정확히 제시했지만, 피고가 본소 피고라는 지위는 명시하지 않았다.C원문 + 온톨로지정답본소에서는 원고가 원고로, 피고가 피고로 소송에 참여했고, 반소에서는 피고가 반소원고로, 원고가 반소피고로 참여했습니다.
채점 근거본소와 반소의 각 당사자 지위를 모두 정확히 구분했다.악화 정답 → 오답 청구 대상 연도 오류 악화 · 상세 답변질문원고들은 누구를 상대방으로 하여 어떤 처분의 취소를 청구했는가?
B원문만정답원고들은 피고 울산광역시장을 상대로, 2006년 6월 7일 원고들에 대해 한 승진임용취소처분의 취소를 청구했습니다.
채점 근거원고들, 피고 울산광역시장, 청구 대상 처분 및 취소 청구 내용이 모두 자료와 일치한다.C원문 + 온톨로지오답원고들은 피고 울산광역시장을 상대로, 2005년 6월 7일 원고들에 대한 승진임용을 취소한 처분의 취소를 청구했습니다.
채점 근거상대방과 취소 청구 내용은 맞지만, 답변의 2005년 날짜는 청구취지에 제시된 청구 대상 처분의 2006년 날짜와 다르다. 자료의 처분 경위에는 별도로 2005년 날짜가 나오지만, 답변은 청구 대상 날짜를 2005년으로 제시했다.변화 없음 정답 → 정답 표현 차이 · 판정 동일 변화 없음 · 상세 답변질문이 사건에서 원고가 피고를 상대로 구한 내용은 무엇인가?
B원문만정답원고는 피고가 자신의 친생자가 아니라는 확인을 구했습니다.
채점 근거원고가 피고를 상대로 친생관계를 부인하는 취지의 청구를 했다는 점을 의미상 정확히 표현했고, 별도의 청구 내용을 덧붙이지 않았다.C원문 + 온톨로지정답원고는 피고에 대한 친생을 부인해 달라고 청구했습니다.
채점 근거원고가 피고를 상대로 친생을 부인하는 취지의 청구를 했다는 원문 내용을 정확히 요약했고, 별도의 청구를 추가하지 않았다.- 사례 해석
- 관찰
- 개선·악화·변화 없음이 함께 나타났다.
- 해석
- 개별 개선 사례만으로 온톨로지의 전반적인 유용성을 판단할 수 없다.
세부 결과표 · 내부 품질, 네 지표, 반복·구축 사용/미사용 판례
평가 범위
온톨로지 구축에 사용한 판례 80건의 77문항과 사용하지 않은 판례 20건의 18문항을 평가했다.
총 95문항에 대해 각 문항의 답변을 2회 생성했다.
답변의 세부 지표 (%)
방법 입력 내용 정확성 필수 정보 문맥·관계 근거 없는 주장 베이스라인 A 0.00 1.48 28.33 91.33 베이스라인 B 86.32 96.56 96.25 0.32 베이스라인 C 80.53 95.90 96.25 1.11 베이스라인 D 0.00 0.66 27.08 96.85 실험 1 · 원문 근거 추가 A 0.00 1.31 26.67 92.17 실험 1 · 원문 근거 추가 B 85.79 96.23 96.67 0.40 실험 1 · 원문 근거 추가 C 86.84 96.39 97.92 0.62 실험 1 · 원문 근거 추가 D 0.00 0.33 25.83 99.05 실험 2 · 세 계층안 통합 A 0.00 1.48 26.67 91.64 실험 2 · 세 계층안 통합 B 86.84 96.72 96.25 0.49 실험 2 · 세 계층안 통합 C 84.21 96.72 96.67 0.96 실험 2 · 세 계층안 통합 D 0.00 0.00 24.17 98.85 C−B의 회차·판례별 차이 (%p)
방법 1회차 2회차 구축 사용 · 77문항 구축 미사용 · 18문항 베이스라인 -4.21 -7.37 -7.14 +0.00 실험 1 · 원문 근거 추가 +0.00 +2.11 +0.65 +2.78 실험 2 · 세 계층안 통합 -1.05 -4.21 -1.95 -5.56
06 해석과 한계
결과 해석
현재 결과만으로는 LLM 답변 성능에 도움이 되는 온톨로지라고 할 수 없다.
해석의 한계
한계 이유 결과를 볼 때 LLM의 온톨로지 해석 클래스·관계를 형식화한 온톨로지를 LLM에 입력해 평가. 낮은 성능이 온톨로지의 문제인지, LLM의 해석·활용 한계인지 구분하기 어려움. 스키마 CQ의 검증 방식 SPARQL 검증 대신, LLM이 온톨로지 구조를 해석해 CQ 충족 여부를 판정. 온톨로지의 표현 부족과 LLM의 해석 한계를 구분하기 어려움. LLM 채점의 오류 질문·답변·채점을 같은 모델이 담당. 전문가 검증은 없음. 채점 결과에도 오류가 있을 수 있음. 구축은 한 번만 온톨로지는 한 번 구축하고, 답변만 두 번 생성. 다시 구축해도 같은 결과가 나올지는 미확인.
07 후속 실험
| 해석의 한계 | 대응 후속 실험 |
|---|---|
| LLM의 온톨로지 해석 | 온톨로지 활용 방식 비교
|
| 스키마 CQ의 검증 방식 | CQ 표현 가능성 검증
|
| LLM 채점의 오류 | 독립 채점·전문가 검토
|
| 구축은 한 번만 | 온톨로지 반복 구축
|
참고문헌
- Oyewale, A. & Soru, T. (2026). LLM-Driven Ontology Construction for Enterprise Knowledge Graphs. ICSC 2026. 코드.
- Saeedizade, M. J. & Blomqvist, E. (2024). Navigating Ontology Development with Large Language Models. ESWC 2024, 143–161.
- Lippolis, A. S., et al. (2025). Large Language Models Assisting Ontology Evaluation. ISWC 2025, 502–520. DOI.
- Kommineni, V. K., König-Ries, B. & Samuel, S. (2024). From human experts to machines: An LLM supported approach to ontology and knowledge graph construction. arXiv:2403.08345, v1.
- Sharma, K., Kumar, P. & Li, Y. (2025). OG-RAG: Ontology-grounded retrieval-augmented generation for large language models. EMNLP 2025, 32962–32981. 코드.