베이스라인
−5.79%p정답 164 → 153
원문만 제공할 때보다 11개 감소
사전 과제 1 · 연구보고서 초안
원문 근거와 계층 재검토의 효과 비교
온톨로지 제공에 따른 답변 정확도 변화와 두 구축 방법의 개선 효과를 확인한다.
초안 · 평가 결과 미기입
두 방법은 베이스라인과 각각 비교한다. 추출 결과를 공유하며, 두 개선을 결합하지 않는다.
기대 효과는 검증할 가설이다. 실제 개선 여부는 뒤의 평가 설계으로 확인한다.
| 입력 | A | B | C | D |
|---|---|---|---|---|
| 질문 | 제공 | 제공 | 제공 | 제공 |
| 판례 원문 | — | 제공 | 제공 | — |
| 온톨로지 | — | — | 제공 | 제공 |
| 비교 | 의미 |
|---|---|
| C−B | 같은 원문에 온톨로지 추가 · 주 지표 |
| D−A | 원문 없이 온톨로지 추가 |
| B−A | 온톨로지 없이 원문 추가 |
| C−D | 같은 온톨로지에 원문 추가 |
| C−A | 원문과 온톨로지를 함께 추가 |
| D−B | 원문을 온톨로지로 대체 · 순수 추가 효과가 아님 |
완료 결과: 공통 95문항 × 답변 2회 = 방법·입력 조건별 190개 답변. 원본 04 블록의 90문항 표기와 달라 본 예시는 완료 평가 파일의 95문항을 기준으로 작성했다.
| 구축 방법 | A (%) | B (%) | C (%) | D (%) | C−B (%p) |
|---|---|---|---|---|---|
| 베이스라인 | 0.00 | 86.32 | 80.53 | 0.00 | -5.79 |
| 실험 1 · 원문 근거 추가 | 0.00 | 85.79 | 86.84 | 0.00 | +1.05 |
| 실험 2 · 세 계층안 통합 | 0.00 | 86.84 | 84.21 | 0.00 | -2.63 |
| 구축 방법 | C−B (%p) | 베이스라인 대비 변화 (%p) |
|---|---|---|
| 베이스라인 | -5.79 | 기준 |
| 실험 1 · 원문 근거 추가 | +1.05 | +6.84 |
| 실험 2 · 세 계층안 통합 | -2.63 | +3.16 |
C−B: 온톨로지 추가 효과. 베이스라인 대비 변화: 각 실험의 C−B − 베이스라인의 C−B.
정답 164 → 153
원문만 제공할 때보다 11개 감소
정답 163 → 165
2개 증가에 그쳐 재현성 확인 필요
정답 165 → 160
구조를 정리해도 5개 감소
어느 방법의 클래스든 선택하면 나머지 두 방법도 함께 갱신됩니다. 전체 그래프가 작으면 ‘크게 열기’ 또는 클래스 검색을 이용하세요.
클래스를 선택하면
세 방법의 관계가 함께 나타납니다.
클래스를 선택하면
세 방법의 관계가 함께 나타납니다.
클래스를 선택하면
세 방법의 관계가 함께 나타납니다.
확대 그림은 세 방법의 이웃 클래스 합집합으로 위치를 고정합니다. 남색: 계층 관계 · 회색: 속성 관계. 클래스가 없거나 직접 관계가 없으면 별도로 표시합니다. 관계 유무는 아래 목록에서도 확인할 수 있습니다.
B/C 판정 조합별 답변 길이가 가장 짧은 실제 사례를 선택했다. 대표성이나 발생 빈도를 뜻하지 않으며, 특정 간선 변경의 인과 효과를 검증한 사례가 아니다.
이 사건에서 원고와 피고는 각각 본소와 반소에서 어떤 소송상 지위를 맡았는가?
원고는 본소에서 이혼 및 위자료를 청구한 본소 원고이고, 반소에서는 피고가 이혼을 청구한 반소 원고이며 원고는 반소 피고입니다.
본소에서는 원고가 원고로, 피고가 피고로 소송에 참여했고, 반소에서는 피고가 반소원고로, 원고가 반소피고로 참여했습니다.
질문 ID: e7ab8d031e121018dfacd38d85f06b7863520ac8161582b1f6f4e44eb58ee25c
원고들은 누구를 상대방으로 하여 어떤 처분의 취소를 청구했는가?
원고들은 피고 울산광역시장을 상대로, 2006년 6월 7일 원고들에 대해 한 승진임용취소처분의 취소를 청구했습니다.
원고들은 피고 울산광역시장을 상대로, 2005년 6월 7일 원고들에 대한 승진임용을 취소한 처분의 취소를 청구했습니다.
질문 ID: ff3be3c656a89a6c236835a8ed6a6072f1a11ea845f05d95fb914f48e25596a0
이 사건에서 원고가 피고를 상대로 구한 내용은 무엇인가?
원고는 피고가 자신의 친생자가 아니라는 확인을 구했습니다.
원고는 피고에 대한 친생을 부인해 달라고 청구했습니다.
질문 ID: 9a981079a81621c87d895e5669de62bbcf8bbbf7f82b7da5fca4b46e40c4bc25
개선과 악화가 함께 발생
정답 전환 사례 하나로 전체 유용성을 판단할 수 없다.
그래프: 구축 방법 간 비교
답변: 같은 방법의 B/C 비교
두 비교를 직접적인 인과 관계로 연결하지 않는다.
일관된 성능 향상은 미확인
특정 관계의 효과는 해당 간선만 바꾸는 후속 실험이 필요하다.
평가 95문항: 개발 77문항, 보류 18문항. 각 문항 답변 2회. 보류 분할 결과를 독립적인 미접촉 확인 실험으로 해석하지 않는다.
| 방법 | 클래스 / 속성 / 계층 | RDF 파싱 / 논리 일관성 | 스키마 CQ 충족률 |
|---|---|---|---|
| 베이스라인 | 51 / 51 / 11 | 성공 / 일관적 | 0.00% |
| 실험 1 · 원문 근거 추가 | 51 / 51 / 17 | 성공 / 일관적 | 0.00% |
| 실험 2 · 세 계층안 통합 | 51 / 51 / 6 | 성공 / 일관적 | 0.00% |
논리 일관성 통과가 계층의 의미적 타당성이나 답변 성능을 보장하지 않는다. 양방향 하위 관계도 OWL에서는 일관적일 수 있다.
| 방법 | 입력 | 내용 정확성 | 필수 정보 | 문맥·관계 | 근거 없는 주장 |
|---|---|---|---|---|---|
| 베이스라인 | A | 0.00 | 1.48 | 28.33 | 91.33 |
| 베이스라인 | B | 86.32 | 96.56 | 96.25 | 0.32 |
| 베이스라인 | C | 80.53 | 95.90 | 96.25 | 1.11 |
| 베이스라인 | D | 0.00 | 0.66 | 27.08 | 96.85 |
| 실험 1 · 원문 근거 추가 | A | 0.00 | 1.31 | 26.67 | 92.17 |
| 실험 1 · 원문 근거 추가 | B | 85.79 | 96.23 | 96.67 | 0.40 |
| 실험 1 · 원문 근거 추가 | C | 86.84 | 96.39 | 97.92 | 0.62 |
| 실험 1 · 원문 근거 추가 | D | 0.00 | 0.33 | 25.83 | 99.05 |
| 실험 2 · 세 계층안 통합 | A | 0.00 | 1.48 | 26.67 | 91.64 |
| 실험 2 · 세 계층안 통합 | B | 86.84 | 96.72 | 96.25 | 0.49 |
| 실험 2 · 세 계층안 통합 | C | 84.21 | 96.72 | 96.67 | 0.96 |
| 실험 2 · 세 계층안 통합 | D | 0.00 | 0.00 | 24.17 | 98.85 |
| 방법 | 1회차 | 2회차 | 개발 | 보류 |
|---|---|---|---|---|
| 베이스라인 | -4.21 | -7.37 | -7.14 | +0.00 |
| 실험 1 · 원문 근거 추가 | +0.00 | +2.11 | +0.65 | +2.78 |
| 실험 2 · 세 계층안 통합 | -1.05 | -4.21 | -1.95 | -5.56 |
수치는 results.json과 각 방법의 04_evaluation/summary.json에서 확인했다. 그래프는 ontology.json의 실제 계층 및 속성으로 생성했다. 제외 판례: 210163, 239405, 70641, 236443, 70866 (5건).
A/D의 근거 없는 주장 비율에는 정보 부족을 표현한 답변에 대한 채점도 포함되어 있어, 이 수치를 곧바로 환각 발생률로 해석하지 않는다.
설계상 한계는 기재하고, 결과 해석과 결론은 평가 완료 후 작성한다.
| 한계 | 이유 | 결과를 볼 때 |
|---|---|---|
| 구조와 답변의 차이 | 관계를 고쳐도 답변은 그대로일 수 있음. | 관계와 답변이 실제로 어떻게 바뀌었는지 함께 확인. |
| LLM 채점의 오류 | 질문·답변·채점을 같은 모델이 담당. 전문가 검증은 없음. | 채점 결과에도 오류가 있을 수 있음. |
| 구축은 한 번만 | 온톨로지는 한 번 구축하고, 답변만 두 번 생성. | 다시 구축해도 같은 결과가 나올지는 미확인. |
| 보류 판례의 사용 | 구축에 쓰지 않은 판례의 질문과 결과도 함께 검토. | 보류 판례 성적을 독립적인 최종 검증으로 보기는 어려움. |
| D 조건의 정보 부족 | D에는 원문 없이 온톨로지만 제공. 사건별 사실은 부족. | D 점수가 낮아도 온톨로지가 쓸모없다고 단정할 수 없음. |
6단계에서 확인한 평가의 한계를 보완하는 방안과, 구축 방법을 바꾸는 실험 후보를 구분했다. 아래 내용은 후속 검증 계획이다.
바뀐 관계와 관련된 CQ를 연결해 전후 답변을 확인.
구조 변화가 실제 답변 개선으로 이어지는지 분석.다른 모델과 사람의 표본 검토를 병행.
판정 일치율과 오판 사례를 확인.같은 조건으로 온톨로지를 여러 번 구축.
구축 결과와 정확도의 평균·변동을 비교.방법을 확정한 뒤 별도 판례로 최종 평가.
CQ·채점표도 평가 전에 고정하고 결과를 튜닝에 사용하지 않음.스키마만 제공하는 조건과 사건별 사실까지 연결한 조건을 구분.
온톨로지 구조의 효과와 사건 정보 추가 효과를 나눠 평가.이번 비교에 포함하지 않은 후속 실험 후보다. 개선 효과는 별도 실험으로 확인한다.
문제 속성의 domain·range가 클래스 목록과 일치하지 않을 가능성.
변경 후보 참조 지시 강화, 클래스·속성 분리 추출, 추출 후 참조 검사·수정.
확인할 점 참조 불일치율, 수정 과정의 개념 손실, LLM 답변 정확도 변화.
문제 여러 판례를 한 번에 처리할 때 세부 개념 누락이나 문맥 혼합 가능성.
변경 후보 판례 1·5·10·20건씩 추출 후 통합, 또는 기존 구조를 다음 배치에 전달하며 갱신.
확인할 점 개념 누락·중복, 입력 순서에 따른 변동, 답변 정확도와 비용.
문제 추출 모델에 따라 개념 범위와 설명의 품질이 달라질 가능성.
변경 후보 입력·프롬프트·계층 판단 모델을 고정하고 추출 모델만 변경.
확인할 점 질문의 표현 가능성, LLM 답변 정확도, 추출 비용.
문제 같은 클래스 설명을 주어도 모델에 따라 포함 관계 판단이 달라질 가능성.
변경 후보 추출 결과와 판단 근거를 고정하고 계층 판단 모델만 변경.
확인할 점 관계 방향·의도하지 않은 동치, LLM 답변 정확도, 판단 비용.
공통 CQ와 채점표를 고정하고 한 번에 한 조건만 바꾼다. 보류 판례 결과로 방법을 선택했다면 최종 검증에는 별도 판례를 사용한다.