RAG는 왜 문제일까...

두가지 관점이 생겼다. 

벡터 라이징을 통한 데이타관리 관점과 AI서비스 UseCase를 만들수있는 WorkFlow와는 분리해서 
적용해야할거 같다.
자연어 질의와 비정형문서의 내용을 결합하여 문맥을 이해한 답변을 보장할까?
"벡터 임베팅은 단순한 쿼리에서도 결과가 관련성을 갖도록 보장하지 않는다."
쿼리 컨텍스트로 문제가 해결되지 않는다. 즉 유사도를 기반으로 하는 검색의 결과는 항상 정확하지 않기때문이다.
AI 어플리케이션은 사용자관점은 모든 만능이라고 생각하고 있지만 RAG연동은 구멍이 많이 있다.
벡터임베딩은 수백만개 문서를 저장할수 있고 상위3개의 청킹에서 답변을 찾을수 있다라고 하지만 
실제는 마음속에는 불안한 마음만 있다. 

다양한 개선점의 제안
1.Reranking 
파인튜닝된 Reranking 모델이라고 하더라도 정확도가 확 높아지지 않고 오히려 더 낮아진다는 연구결과 존재
2.GraphRAG와 KG-RAG(지식그래프)
일반 임베팅보다 낮은 점수도 나오고 더 뛰어난 결과를 보이지도 않는다는 발표사례 존재 
3.BM25
키워드 하이브리드 검색의 경우도 정확도 측면에서 실용적이지 않다 
4.Big LLM
파라미터 사이즈가 큰모델의 경우도 환각률이 여전히 높다(RAG연동기준), 많은 컨텍스트를 처리하는것은 더욱 느려지고
환각률을 높인다.

 

너무 비관적인가....^^