RAG란 무엇인가?

RAG(Retrieval-Augmented Generation)는 검색(Retrieval)을 결합한 생성 모델로, 기존 LLM이 제공하지 못하는 최신 정보나 데이터 기반의 답변을 생성하는 데 활용됩니다. LLM(대규모 언어 모델)의 한계를 보완하여 더욱 신뢰할 수 있는 답변을 제공합니다.

왜 RAG를 사용해야 하는가?

RAG를 사용하지 않으면 LLM이 "그 부분은 알 수 없습니다"라는 답변을 내놓을 수밖에 없습니다. 그러나 RAG를 사용하면 LLM이 외부 데이터를 참조하여 가족관계증명서와 같은 문맥적 정보에 기반한 답변을 생성할 수 있습니다. 이 과정에서 RAG는 Hallucination(모델이 존재하지 않는 정보를 생성하는 현상)을 줄이고, 최신 정보를 반영하는 데 유리한 기술입니다.

RAG의 패러다임 변화

RAG는 기술 발전에 따라 여러 단계로 나뉩니다:

- Naive RAG: 간단한 검색과 생성의 조합. 초기 단계의 RAG로, 검색된 정보를 그대로 LLM에 제공.
- Advanced RAG: 더 나은 검색과 생성을 위해 세부적인 기술들이 도입된 고급 방법론.
- Modular RAG: 프로덕션 레벨에서 유지보수와 효율적인 설계를 고려하여 유연한 구조를 제공합니다.

Naive RAG의 한계

Naive RAG는 쿼리와 문서 간의 의미론적 유사성만을 기준으로 정보를 검색하여, 심층적 관계 탐색이 부족합니다. 또한 모든 검색된 정보를 LLM에 직접 공급하는 것은 때때로 비효율적일 수 있습니다.

Advanced RAG: 더 발전된 검색 및 생성 기법

Advanced RAG는 다양한 고급 방법론을 적용하여 Naive RAG의 한계를 극복합니다.

- Indexing: 연도, 출처 등의 메타데이터를 추가하여 검색 범위를 좁히고, 필요한 정보를 더욱 정교하게 추출.
- Chunking Strategy: 의미상 유사한 단락을 기준으로 문서를 나누고, 더 작은 Chunk 단위로 임베딩한 후 검색하는 기법.
- Pre-Retrieval: Query를 재작성하거나 확장하여 검색의 정확도를 높이는 기법.
- Post-Retrieval: 검색된 문서를 재배치하거나 관련성을 재평가하여 더욱 정교한 정보를 제공합니다.

Advanced RAG의 핵심 기술

- Hybrid Search: 키워드 검색과 시맨틱 검색을 결합하여 더 나은 검색 결과를 도출.
- Reranker: 이미 검색된 문서들 중에서 가장 관련성이 높은 정보를 재평가하여 상위에 배치.
- Context Reorder: LLM이 입력 텍스트의 시작과 끝 부분을 더 잘 활용하도록 문서의 순서를 재조정.
- Compressor: 관련성이 낮은 정보를 제거하여 컨텍스트의 품질을 높이고, LLM의 처리 속도를 향상.

Modular RAG: LEGO처럼 유연한 RAG 구조

Modular RAG는 각 단계를 독립적으로 설계하여 다양한 모듈을 추가하거나 변경할 수 있는 유연한 구조를 제공합니다. 여러 하위 모듈을 동시에 실행하고 병합하는 병렬 구조와, 필요에 따라 분기 처리하는 동적 구조를 통해 RAG의 확장성을 극대화할 수 있습니다.

Modular RAG의 장점

- 독립성: 각 모듈이 독립적으로 작동하여 유지보수가 용이.
- 유연성 및 확장성: 필요한 모듈을 추가하거나 변경할 수 있는 유연한 프레임워크.
- 동적 처리: 상황에 따라 분기 처리 가능, 그래프 형식의 흐름 구성.

다양한 RAG 패턴: 상황에 맞는 패턴 적용

Modular RAG에서는 다양한 패턴을 활용할 수 있습니다.

- Linear Pattern: 가장 단순한 패턴으로, 검색과 생성을 한 번에 처리.
- Branching Pattern: 검색 소스나 프롬프트를 여러 경로로 처리한 후 결과를 병합.
- Loop Pattern: 반복적인 검색-생성 과정을 통해 답변의 품질을 향상.
- Tree of Clarification: 모호한 질문을 구체화하여 Long Form 답변을 생성.
- Adaptive Pattern: Retrieval이 필요한지를 동적으로 판단하여 필요한 경우에만 검색을 수행.

결론: RAG의 미래와 발전

RAG는 LLM의 환각 현상을 줄이고, 최신 정보를 기반으로 더 신뢰할 수 있는 답변을 제공합니다. 또한, 파인튜닝보다 구축 비용이 적게 들며 최신 정보를 빠르게 반영할 수 있어 비용 대비 효과가 뛰어납니다. 향후 RAG 기술은 다양한 모듈화 기법을 통해 더욱 발전하고, 프로덕션 레벨에서의 유연성과 확장성을 높이는 방향으로 나아갈 것입니다.

LLM 파인튜닝: 이제 선택이 아닌 필수

AI 도입 트렌드와 CI/CD 파이프라인 전략: 모델 모니터링의 핵심

최적화된 AI 클라우드 기반 데이터셋 및 SLM 모델 구축 전략

LLM 파인튜닝의 필요성

최근 AI 및 머신러닝 기술의 발전과 함께, LLM(대규모 언어 모델)의 파인튜닝은 선택이 아닌 필수 요소로 자리잡았습니다. 파인튜닝은 단순한 모델 사용을 넘어, 특정 작업에 최적화된 성능을 제공하고 사용자 경험을 개선하는 핵심 역할을 합니다.

LLM의 특징과 한계

LLM은 훈련된 후 매우 민감한 블랙박스 상태가 됩니다. 버전 관리가 어렵고, 시스템 업그레이드는 큰 서비스 중단을 초래할 수 있습니다. 하지만 LLM을 적절히 제어하는 방법으로 프롬프트 엔지니어링과 파인튜닝이 있으며, 두 가지 접근 방식의 차이는 매우 중요합니다.

• 프롬프트 엔지니어링: 수동으로 하이퍼파라미터를 조정하여 모델의 동작을 제어하는 방법.
• 파인튜닝: 보다 자동화되고, 특정 작업에 맞춘 모델 성능을 높이기 위한 방법.

파인튜닝을 통해 토큰 사용을 줄이고 예기치 않은 오류를 방지할 수 있다는 점에서, 서비스 LLM을 사용할 때보다 더 많은 이점이 존재합니다.

LLM 파이프라인의 핵심: LLMOps

LLMOps는 LLM을 운영하고 관리하는 데 필요한 일련의 절차를 말합니다. 이는 단순한 아이디어에서 시작해 데이터 수집, 합성, 평가를 통해 모델을 최적화하는 과정을 포함합니다.

• 커버리지 개념: LLM에서의 프롬프트는 전통적인 프로그래밍에서 함수와 같습니다. 유닛 테스트를 통해 프롬프트의 성능을 평가하고, 작동하는 프롬프트가 많을수록 커버리지도 높아집니다.
• 데이터 합성: 민감한 정보를 숨기기 위해 합성 데이터를 사용하는 것이 중요하며, 이는 프롬프트 엔지니어링 기술에 크게 의존합니다.
• 평가: LLM 평가 방법 중 하나는 LLM을 판정자로 사용하는 것입니다. 일관된 평가 기준을 설정하고, 모델의 성능을 꾸준히 점검할 수 있습니다.

파인튜닝과 서비스 LLM의 비교

파인튜닝된 LLM과 서비스 LLM은 각각의 장단점이 있습니다.

• 서비스 LLM: 개발 및 PoC 단계에서 매우 유용하며, 높은 접근성과 생산성을 제공합니다. 하지만 파인튜닝을 통해 모델을 더 구체적이고 정밀하게 조정할 수 있습니다.
• 파인튜닝의 이점: 토큰 사용 감소, 예측 불가능한 오류 감소, 특정 작업에 맞춘 모델 최적화가 가능합니다.

LLM 평가 및 비용 효과성

파인튜닝 작업은 비용이 수반됩니다. 단일 실행에는 약 50달러의 비용이 발생하며, 여러 번의 반복적인 실행은 약 1,000달러 정도의 비용이 들 수 있습니다. 하지만 이런 비용은 LLM의 성능 향상을 위한 투자로 생각해야 합니다.

모델 평가 전략

LLM을 평가할 때는 합성 데이터셋을 사용하고, 다양한 작업과 판정 기준을 적용하여 모델의 성능을 점검할 수 있습니다. 이 과정에서 평가의 일관성이 중요하며, 이를 통해 비용 효과적인 모델 최적화를 달성할 수 있습니다.

파인튜닝의 필수성

결론적으로, LLM의 파인튜닝은 이제 선택이 아닌 필수입니다. 최근 출시된 LLM들을 맹목적으로 따르는 것보다는, 각 기업의 사용 사례에 맞춘 데이터 품질과 반복적인 실험이 중요합니다. 모델이 왜 필요한지에 대한 근본적인 질문을 던지며 파인튜닝 전략을 세우는 것이 성공의 열쇠입니다.

결론: 데이터 품질과 반복 실험의 중요성

LLM 파인튜닝을 통해 사용자 경험을 개선하고, 특정 작업에 최적화된 모델을 구축하는 것이 중요합니다. 벤치마크는 좋은 참고 자료가 될 수 있지만, 사용 사례에 맞춘 데이터 품질 개선이 우선되어야 합니다. 다양한 설정으로 실험을 반복하고, 그 과정에서 지속적인 평가를 통해 성공적인 파인튜닝 전략을 수립해야 합니다.

AI 도입 트렌드와 CI/CD 파이프라인 전략: 모델 모니터링의 핵심

최적화된 AI 클라우드 기반 데이터셋 및 SLM 모델 구축 전략

왜 CI/CD 파이프라인이 중요한가?

AI 도입과 모델 관리에서 CI/CD(Continuous Integration/Continuous Deployment) 파이프라인은 필수적인 역할을 합니다. 이 시스템을 통해 모델의 성능을 유지하고, 데이터를 안정적으로 관리하며, 빠른 개발 및 배포 주기를 실현할 수 있습니다.

CI/CD 파이프라인의 장점

• 간소화된 개발 파이프라인: 수동 개입을 줄여 개발 과정에서 발생할 수 있는 오류를 최소화합니다.
• 자동화된 테스트 및 배포: 모델 성능을 지속적으로 검증하며, 최신 상태의 모델을 지연 없이 배포할 수 있습니다.
• 버전 관리: 코드, 데이터, 모델 파라미터의 변경사항을 추적하여 언제든 롤백이 가능합니다.
• 빠른 반복 및 배포: 코드 커밋에서 실제 배포까지 신속하게 처리할 수 있어 서비스 중단 없이 기능을 개선할 수 있습니다.

MLOps와 Github Actions의 역할

CI/CD 파이프라인을 보다 효율적으로 운영하기 위해 MLOps(Machine Learning Operations)를 도입할 수 있습니다. 특히 Github Actions는 워크플로우를 자동화하고, 확장성 있는 배포 환경을 제공합니다.

• Github Actions: 맞춤형 워크플로우를 제공하며, Github-호스팅 러너를 통해 확장성이 뛰어납니다.
• 자동화된 워크플로우: 사전 빌드된 액션을 통해 복잡한 워크플로우를 간단하게 구현할 수 있습니다.

배포 전략 및 모델 업그레이드

모델의 배포 과정에서는 점진적인 배포와 롤백 전략이 중요합니다. 이를 통해 새로운 기능을 안정적으로 통합하고, 문제가 발생했을 때 신속하게 대처할 수 있습니다.

• 점진적 배포: 트래픽 피크 시간을 피하는 일정 조정이 필요하며, 기존 시스템과의 통합 과정에서 철저한 테스트가 요구됩니다.
• 테스트 방법: A/B 테스트나 카나리아 테스트를 통해 모델 업그레이드 전에 다양한 시나리오를 테스트합니다.
• 성능 테스트: 유닛 테스트, 통합 테스트, 성능 테스트 등을 통해 배포 전에 철저한 검증을 거칩니다.

데이터 품질 및 파이프라인 모니터링의 중요성

AI 모델은 과거 데이터로 훈련되기 때문에, 시간이 지나면서 성능이 저하될 수 있습니다. 이를 방지하기 위해서는 지속적인 데이터 품질 및 파이프라인 모니터링이 필요합니다.

데이터 품질 모니터링

• 데이터 드리프트: 학습 데이터와 실제 운영 데이터 간의 분포 변화를 모니터링하여 성능 저하를 조기에 감지할 수 있습니다.
• 데이터 무결성: 누락되거나 불완전한 데이터, 범위 및 유형 불일치 여부를 감지하여 데이터 신뢰성을 확보합니다.
• 데이터 이상 감지: 실시간 데이터에서 비정상적인 패턴이나 이상치를 감지하고 경고를 발송합니다.
• 스키마 유효성 검사: 데이터 구조가 일관성 있게 유지되는지 확인하여 모델의 신뢰성을 높입니다.

데이터 파이프라인 모니터링

효율적인 데이터 파이프라인을 운영하려면 지연 시간(Latency)과 처리량(Throughput)을 모니터링하고, 리소스 사용률을 최적화하는 것이 중요합니다.

• 지연 시간 및 처리량: 데이터가 파이프라인을 통과하는 속도를 모니터링하여 실시간 처리 성능을 평가합니다.
• 자원 사용률 모니터링: CPU, GPU, 메모리, 스토리지의 사용률을 추적하여 파이프라인 성능을 최적화합니다.
• 오류 처리 및 재시도: 데이터 수집 실패 및 오류를 감지하고, 재시도 메커니즘을 통해 데이터 손실을 방지합니다.

결론: 안정적 서비스 제공을 위한 데이터 모니터링 강화

CI/CD 파이프라인과 데이터 모니터링은 AI 모델의 안정적 운영과 성능 유지를 위한 핵심 전략입니다. 성인 교육 시장까지 확장하려면 지금부터 데이터 품질과 파이프라인 모니터링을 강화해 안정적인 인프라를 구축하는 것이 중요합니다.

최적화된 AI 클라우드 기반 데이터셋 및 SLM 모델 구축 전략

AI 클라우드와 파인튜닝의 중요성

AI 모델의 성능을 극대화하기 위해서는 단순히 하나의 모델을 사용하는 것이 아닌, 다양한 도메인과 요구사항에 맞춘 파인튜닝이 필요합니다. 특히 AI 클라우드 기반으로 데이터셋과 모델을 구축하는 과정에서 파인튜닝은 필수적인 요소로 자리 잡고 있습니다.

왜 파인튜닝이 중요한가? (비즈니스 관점)

AI 모델을 비즈니스에 효과적으로 활용하려면 'One size does not fit all' 원칙을 고려해야 합니다. 2023년까지는 단일 모델을 활용하는 것이 일반적이었으나, 이제는 비즈니스마다 각기 다른 모델이 필요합니다. 설문조사에 따르면 2024년까지 46%의 응답자가 오픈소스 모델을 선호하며, 다양한 사용 사례를 지원하기 위한 커스터마이징 작업이 증가할 것입니다.

왜 파인튜닝이 중요한가? (기술적 관점)

AI와 ML 인프라 및 도구의 발전 덕분에 진입 장벽은 낮아졌으나, 비용 문제는 여전히 중요합니다. LLM API 사용에는 비용, 지연 시간, 처리량 등의 제한이 존재하며, 특히 데이터 보안과 프라이버시 문제는 해결해야 할 주요 이슈로 떠오르고 있습니다. 파인튜닝을 통해 이러한 문제를 해결하고 특정 도메인에 맞춘 성능 향상을 기대할 수 있습니다.

RAG vs. 파인튜닝: 무엇을 선택할 것인가?

• RAG(정보 검색 기반 생성)는 실시간 외부 데이터를 사용하여 대량의 정보에서 가장 관련성 높은 데이터를 검색하는 데 유리합니다. 하지만 인프라 설정과 실행 비용이 큽니다.
• 파인튜닝은 특정 도메인에 맞춘 정확한 답변을 생성하는 데 적합하며, 초기 비용은 낮으나 호스팅 및 서비스 비용이 높은 것이 특징입니다.

일반적으로 RAG를 우선적으로 적용한 후 파인튜닝을 추가하는 것이 유리한 전략입니다.

파인튜닝에 대한 오해

많은 사람들이 파인튜닝에 대해 '수학이 필요하다'거나 'GPU가 많이 필요하다'는 오해를 갖고 있습니다. 하지만 파인튜닝의 핵심은 고품질 데이터를 확보하고, LLM이나 SLM을 평가하고, 빠른 반복을 통해 지속적으로 모델을 개선하는 데 있습니다.

Azure ML Studio는 이러한 파인튜닝을 간단하게 할 수 있는 도구를 제공하며, 데이터를 수집하고 평가한 후 빠르게 배포할 수 있는 환경을 제공합니다.

합성 데이터의 필요성

프라이버시 보호 및 확장성을 고려할 때, 합성 데이터의 활용은 필수적입니다. 합성 데이터는 실제 데이터를 사용하지 않음으로써 프라이버시와 보안을 보장하며, 새로운 시나리오에 대한 예측과 훈련을 가능하게 합니다.

합성 데이터 활용을 위한 의사 결정 트리

• 시드 데이터 생성: OpenAI 모델을 사용해 시드 데이터셋을 생성하여 커버리지 데이터를 확보합니다.
• 페르소나 생성: OpenAI를 통해 페르소나를 생성하고 이를 통해 다양한 시나리오를 테스트합니다.
• 다중 에이전트 생성: Autogen을 사용하여 여러 시나리오를 생성함으로써 다양한 상황을 처리할 수 있는 모델을 구축합니다.

Azure AI를 활용한 파인튜닝

Azure AI는 PDF, CSV, TXT 등의 비구조적 데이터에서 QnA 데이터셋을 추출하고, 이를 기반으로 OpenAI 모델을 파인튜닝하여 배포하는 과정을 지원합니다. 차등 프라이버시(DP)를 사용하여 프라이버시 문제를 해결할 수 있으며, 새로운 데이터 생성 및 성능 개선을 위한 Evolve-Instruct 모델도 제공합니다.

파인튜닝과 성능 향상

파인튜닝 작업을 통해 모델 성능을 향상시키기 위해서는 고품질의 데이터를 기반으로 한 작은 사이클부터 시작하여 점진적으로 사이클 크기를 확대해 나가는 것이 중요합니다. 특히, 다국어 지원 모델에서는 한국어 데이터의 양보다 질이 더 중요한 요소로 작용하며, 이를 고려한 모델 구축이 필요합니다.

결론: AI 클라우드 기반 파인튜닝과 합성 데이터의 가치

AI 클라우드에서의 데이터셋 구축과 SLM 모델 파인튜닝은 비즈니스와 기술적 요구를 충족시키는 중요한 과정입니다. 합성 데이터를 활용해 프라이버시와 성능 문제를 해결하면서, 점진적으로 모델을 개선해 나가는 전략이 성공적인 AI 도입의 핵심입니다.

간단한 MBTI 테스트

짧은 시간 안에 단 질문 4개로 MBTI 검사 결과 즉시 확인하기

간단한 1분 MBTI 검사를 위해, 4개의 질문으로 구성된 빠른 테스트를 제공할 수 있습니다. 각 질문에 해당하는 두 가지 선택지 중 하나를 고르면 됩니다. 20~30분 동안 수백가지 질문으로 검사하는 것보다 정확도가 낮지만 간단하고 빠르게 즉석에서 MBTI를 확인하는 쉬운 버전으로는 꽤 효과가 높고, 유용합니다. 특히 부모님 MBTI를 알고 싶은데, 핸드폰 화면의 빼곡한 질문리스트를 드리기 번거롭다 생각하셨을겁니다. 부모님 MBTI 확인 하는 질문으로 활용해보시면 좋습니다. 

---

아래에는 총 2종류의 질문리스트가 있습니다. 직관적인 질의응답은 1유형으로 진행하시고, 상황을 예시로 드는 비유적인 질의응답이 좋다고 판단되면 B유형으로 진행해보세요.

부모님, 친구, 연인 MBTI 1분 만에 쉽게 검사하기 

1유형 (직관형)

질문1. 에너지를 얻는 방식

• A. 사람들과 어울리면 에너지가 생긴다.
• B. 혼자만의 시간을 보내야 에너지가 충전된다.

질문2. 정보를 수집하는 방식

• A. 현실적이고 구체적인 사실에 집중한다.
• B. 직관적으로 전체적인 그림을 본다.

질문3. 결정을 내리는 방식

• A. 논리적이고 객관적으로 판단한다.
• B. 감정과 상황을 고려하여 결정한다.

질문4. 생활하는 방식

• A. 계획을 세우고 체계적으로 진행하는 것을 선호한다.
• B. 상황에 따라 유연하게 대처하는 것을 선호한다.

결과 해석:

• 각 질문의 선택지를 모아 4개의 알파벳으로 결과가 나옵니다.
  1. A → E / B → I
  2. A → S / B → N
  3. A → T / B → F
  4. A → J / B → P

예를 들어, 선택지가 A, B, A, B라면 결과는 ESFP가 됩니다.

반응형

---

2유형 (비유형)

번역생성품질평가지표 'BLEU, ROUGE, METEOR' 정의

이 지표들은 각각 다른 방식으로 텍스트의 품질을 평가하지만,. 공통적으로 모델이 사람이 작성한 것처럼 자연스럽고 정확한 텍스트를 생성했는지를 평가하는데 사용된다. 비전공자라도 이 지표들을 통해 모델이 잘 작동했는지, 개선이 필요한지 이해할 수 있다. 쉽게 말해 BLEU, ROUGE, METEOR는 생성된 텍스트가 얼마나 잘 만들어졌는지 숫자로 알려주는 점수표라고 생각하면 된다.

BLEU 정의

💡 BLEU (Bilingual Evaluation Uderstudy 다중언어평가연구)가 무엇인가?

BLEU는 번역된 텍스트(모델이 생성한 텍스트)가 참조 텍스트(사람이 번역한 텍스트)와 얼마나 유사한지를 평가하는 지표

 💡 어떻게 작동하나? BLEU는 모델이 생성한 텍스트에서 n-그램이라는 작은 단어 묶음을 참조 텍스트와 비교한다. 예를 들어, “The cat is on the mat”라는 문장에서 2-그램은 ”The cat”, “cat is”, “is on”등이 된다. BLUE는 이처럼 작은 단어 묶음들이 참조 텍스트와 얼마나 겹치는지를 계산해 점수를 매긴다

 💡 쉽게 설명하면 : BLEU는 사람처럼 문장을 얼마나 비슷하게 생성했는지를 숫자로 표현하는 것이라고 생각하면 된다.점수가 높을수록 더 정확한 번역이나 생성이라고 볼 수 있다.

(개인적인 의견) 같은 문장이라도 사람마다 다르게 번역하는 경우가 많다. 참조 텍스트 자체에 사람간의 격차, 차이가 있을 수 있다는 한계점이 있다.

ROUGE 정의

💡 ROUGE (Recall-Oriented Understudy for Gisting Evaluation, 회수 지향 요약 평가 보조자)은 무엇인가요? ROUGE는 주로 ‘텍스트 요약‘의 품질을 평가하는 데 사용한다. 생성된 요약문이 원본 텍스트에서 얼마나 많은 중요한 단어나 구절을 포함하는지 측정한다.

📌 지표 이름의 ‘Recall(회수)’는 참조 텍스트(사람이 번역한 텍스트)에서 중요한 부분을 얼마나 잘 “회수”했는지를 뜻하는 개념이다.

💡 어떻게 작동하나? ROUGE는 참조 요약문과 생성된 요약문을 비교해 중복된 단어(ROUGE-N)나 중복된 문장(ROUGE-L)의 수를 세고, 얼마나 잘 요약했는지를 점수로 계산한다.

💡 쉽게 설명하면 : ROUGE는 모델이 요약을 얼마나 잘했는지를 확인하는 방법이다. 중요한 내용을 놓치지 않고 잘 요약했는지 보는 것이다.

METEOR의 정의

💡 METERO (Metric for Evalutaion for Translation with Explicit ORdering, 명시적 순서를 가진 번역 평가 지표)가 무엇인가? BLEU와 비슷하지만, 좀 더 정밀하게 번역의 품질을 평가하는 지표이다. 단어의 형태나 순서까지 고려해서 점수를 매긴다.

📌  지표 이름의 ‘Explicit ORdering(명시적 순서)’는 텍스트의 단어 순서까지 고려하는 점을 강조한 표현이다.

💡 어떻게 작동하나? 생성된 텍스트와 참조 텍스트 사이의 어휘 일치뿐만 아니라 형태소(단어의 기본 형태)나 동의어까지 고려해 점수를 계산한다. 예를 들어, “run”과 “ran”같은 동사 형태로 인식될 수 있다.

💡 쉽게 설명하면 : 번역된 문장이 사람의 번역과 얼마나 비슷한지 더욱 세밀하게 평가하는 지표이다. 단어 선택이나 순서까지 고려하는 것이다.

G-Eval은 무슨 뜻인가요? | AI 모델의 성능 평가 방법론

Edu GPT와 Chat GPT의 차이점 | 인공지능 1:1 과외 선생님 만들기

G-Eval의 정의

G-Eval은 “Generative Evaluation”의 약자로, 주로 생성형 AI 모델의 성능을 평가하는 방법론을 의미한다.G-Eval은 생성형 AI가 만들어낸 텍스트, 이미지, 음악 등 다양한 생성물의 품질을 평가하고, 모델의 성능을 개선하는데 사용한다.

G-EVal의 객관적 평가

• 객관적 평가 (Objective Evaluation):
  1. 자동화된 지표를 사용해 모델의 출력물의 정확성, 일관성, 유창성 등을 측정한다. 예를 들어, 텍스트 생성 모델의 경우 BLEU, ROUGE, METEOR 등의 지표가 사용된다.
     1. BLEU, ROUGE, METEOR (번역생성품질평가지표들)
     2. 장점 : 대규모 데이터에 대해서는 빠르게 평가가 가능하다.
     3. 단점 : 인간의 주관적인 판단을 완전히 반경하지 못한다.

💡 ‘자동화된 평가 지표’

컴퓨터가 텍스트의 품질을 자동으로 평가할 수 있도록 설계된 지표이다. 사람이 직접 평가하지 않고, 알고리즘이 텍스트의 특정 특징을 분석해 점수를 부여한다. 이런 지표들은 대량의 데이터를 빠르고 일관되게 평가할 수 있다는 장점이 있다.

💡 ’자동화되지 않은 평가지표’

사람이 직접 텍스트를 평가하는 방식이다. 이 방법은 주로 텍스트의 창의성, 유창성, 자연스러움 같은 더 복잡하고 주관적인 요소를 평가할 때 사용한다. 인간 평가자들이 결과물을 직접 읽고, 느끼고, 판단해 점수를 매긴다. 예를 들어, 사람이 텍스트를 읽고 창의적이라고 느끼는 정도를 평가하거나 직접 텍스트를 읽으면서 어색하지 않은지로 자연스러움의 정도를 평가한다.

G-EVal의 주관적 평가

• 주관적 평가 (Subjective Evaluation):
  • 인간 평가자들이 직접 생성된 결과물을 평가하는 방식이다. 생성된 텍스트나 이미지를 인간이 읽거나 보면서 자연스러움, 창의성, 유용성 등을 기준으로 평가한다.
  • 장점 : 실제 사용자 경험(중요)을 반영할 수 있다.
  • 단점 : 시간과 비용이 많이 든다.

평가 지표에 대한 이해

1. 모델 성능 분석: 생성형AI 모델이 어떻게 작동하는지 분석할 수 있어야 한다.모델의 출력물에 대한 오류 패턴을 파악하고, 이를 개선하기 위한 방법을 제안할 수 있어야 한다.
   1. 사례: 자동 텍스트 요약 모델의 오류 분석
      1. 모델 선택 : 텍스트 요약 모델 하나를 선택하여 사용한다.
      2. 출력물 수집 : 여러 기사나 문서를 입력하고, 모델이 생성한 요약문을 수집한다.
      3. 오류 패턴 파악 :
         1. 단계1: 모델의 요약문을 참조 요약문(사람이 작성한 요약)과 비교한다.
         2. 단계2: 다음과 같은 오류 패턴을 찾는다.
            1. 중요한 정보 누락: 모델이 원문에서 중요한 정보를 요약하지 못했는지 확인
            2. 의미 왜곡: 모델이 원문과 다른 의미로 요약했는지 분석
            3. 중복: 요약문에 불필요한 중복이 있는지 확인
      4. 개선 제안: 만약 중요한 정보를 자주 누락한다면, 학습 데이터에 더 많은 중요 정보가 포함된 예시를 추가하거나, 모델의 손실 함수를 수정해 특정 단어의 가중치를 높이는 방법을 제안할 수 있다.
2. 사용자 피드백 수집 및 분석: 실제 사용자들의 피드백을 통해서 모델의 성능을 평가하는 방법을 익혀야 한다. 설문조사 또는 A/B테스트 등을 활용해서 주관적 평가 데이터를 수집하고 분석할 수 있어야 한다.
   1. 사례1: 챗봇과 대화를 마친 사용자 대상 설문조사
   2. 설문 항목:
      1. 대화의 자연스러움 (1~5점)
      2. 질문에 대한 정확한 답변 (1~5점)
      3. 대화의 유용성 (1~5점)
   3. 사례2: 서로 다른 버전의 챗봇에 대한 A/B테스트
      1. 예를 들어, 한 버전은 기본 모델로, 다른 버전은 사전 훈련된 데이터셋을 추가해 학습한 모델로 대화를 시도하게 하여, 두 버전의 사용자 행동을 비교하거나 설문조사 결과를 비교
   4. 개선 제안 : 만약 ‘자연스러움’이 낮은 점수를 받았다면, 해당 영역을 개선하기 위해 모델의 파인튜닝(Fine-tuning)이나 데이터셋 추가를 제안한다.

PoC 완벽 파헤치기 | 비전공자도 이해하는 용어 개념

Edu GPT와 Chat GPT의 차이점 | 인공지능 1:1 과외 선생님 만들기

AI 모델의 성능을 결정짓는 핵심, 손실 함수란? (Loss Function)

BLEU, ROUGE, METEOR 은 무슨 뜻인가요? | 번역생성품질평가지표들