<aside> 💡

G-Eval, CheckEval을 위한 요약 평가 루브릭 브레인 스토밍

</aside>

1. 정확성

정의: 요약문이 원본 이메일의 핵심 내용을 얼마나 정확하게 반영하는가?

측정 방법

• 요약문에 포함된 정보가 원문 내용과 정확하게 일치하는지 확인.
  • 주의: 원문의 모든 정보가 포함되지 않아도 됨.
• 잘못된 정보나 왜곡된 내용이 없는지 평가 (예: Groundness check 사용 가능).예시
• 원문: "회의는 내일 오전 10시에 진행됩니다."
  • 올바른 요약문: "회의는 내일 오전 10시에 열립니다."
  • 잘못된 요약문: "회의는 내일 오후 10시에 열립니다." → 오류 (감점).

2. 포괄성

정의: 요약문이 이메일의 목적과 관련된 주요 정보를 빠뜨리지 않고 포함하고 있는가?

측정 방법

• 원문에서 중요한 정보(핵심 메시지)가 누락됐는지 평가.
  • 중요 정보의 정의: 이메일의 목적을 달성하기 위해 필요한 정보.
• 불필요한 세부정보 대신 주요 메시지에 집중했는지 확인.예시
• 원문: "회의 주제는 프로젝트 일정과 역할 분담입니다."
  • 올바른 요약문: "회의는 프로젝트 일정과 역할 분담을 논의합니다."
  • 잘못된 요약문: "회의가 예정되어 있습니다." → 핵심 정보(주제)가 누락 (감점).

3. 간결성

정의: 요약문이 동일한 정보를 전달하면서 불필요한 장황함 없이 간결하게 작성되었는가?

측정 방법

• 동일한 정보를 전달하며 더 짧고 간단한 표현이 가능한지 평가.
• 불필요한 수식어, 반복 문구가 포함되었는지 확인.