<aside> 🚧

실험 시 다음 순서에 따를 것

1. 하단의 데이터베이스에 메일 개수/개별 요약/분류/최종 리포트를 설정하여 계획
2. 평가 진행 </aside>

• 토큰 사용량 관련 실험에서 최종 리포트 생성 시 Self-refine max_iteration 횟수 1로 제한

이메일 실험 기준

• 분류 기준(human evaluation 포함) - 15개

  • 10개의 경우 Figuer 1’s result 메일까지

  • 왜 선우가 보낸 겨울에는 이게 딱이지~ 실내 전시·프로그램 모았.zip 메일은 15개로 설정하면 안 불러와지지?

    

Confusion Matrix 출력 해석하기

• 연두색 글씨가 모델이 잘 작동하는 것 → True Negative(40), True Positive(20)

• 빨간색 글씨가 모델이 잘 동작하지 않는 것 → False Negative(10), False Positive(0)

  True Negative	False Positive
  False Negative	True Positive

실험 및 관찰 결과

실험 및 관찰 결과

발표용

bge-m3 와 upstage 비교

document 를 embedding 하는 모델을 찾고 있었음

RAG 할때 bge-m3를 사용함

현재 SOTA

sentence embedding 을 쓰

가격 절감 측면에서 bge-m3: 2.5gb 라는 리소스를 절감

클러스터링을 진행하려고함