AI 기반의 지능형 PII 탐지 파이프라인 소개

룰기반 개인정보 탐지 솔루션에 오탐이 많다는 고객의 니즈가 발생했다.PoC로 Presidio와 LLM를 사용하여 솔루션에서 오탐한 Input 텍스트를 대상으로 신한DS AI파트에서 준비한 PoC정보를 공유한다.

RAGAS를 이용한 검색평가, 답변평가를 진행하고 있다. 1차, 2차, 3차 진행예정으로 현재 1차평가를 공유하고자 한다.대상 RAG는 상용솔루션, 벡터DB는 Qdrant, LLM은 업스테이지 솔라프로를 대상으로 진행하였다.

AI관련 정보와 시사점만 정리했다.

open ai o1이 나온후에 시스템1과 시스템2가 병합된 모델이 나와야 진정한 AI모델이지 않을까라는 생각을 했었다.근데 벌써 나오다니 충격적이고 자체 테스트를 해보니 MoE아키텍처 기반이라 응답속도가 거의 sLLM급에 RAG연동도 훌륭한 성능을 보여주었다. 현존하는 오픈모델중의 최고의 모델이다.AGI가 25년에 더빨리 다가올듯하다.

오픈AI에서 O3를 발표하므로써 AGI로 가는길에 이정표를 세운 느낌이다. 오픈모델도 중국의 약진이 두드러지고 생각보다 빠른 COT모델들이 나오고 있다. 이제는 점점 실제 AI가 되가고 있는것 같다

두가지 관점이 생겼다. 벡터 라이징을 통한 데이타관리 관점과 AI서비스 UseCase를 만들수있는 WorkFlow와는 분리해서  적용해야할거 같다. 자연어 질의와 비정형문서의 내용을 결합하여 문맥을 이해한 답변을 보장할까? "벡터 임베팅은 단순한 쿼리에서도 결과가 관련성을 갖도록 보장하지 않는다." 쿼리 컨텍스트로 문제가 해결되지 않는다. 즉 유사도를 기반으로 하는 검색의 결과는 항상 정확하지 않기때문이다. AI 어플리케이션은 사용자관점은 모든 만능이라고 생각하고 있지만 RAG연동은 구멍이 많이 있다. 벡터임베딩은 수백만개 문서를 저장할수 있고 상위3개의 청킹에서 답변을 찾을수 있다라고 하지만  실제는 마음속에는 불안한 마음만 있다.  다양한 개선점의 제안 1.Reranking  파인튜닝된 Reranki..

여러 회사에서 RAG기반의 지식베이스 구축이 시작되고 있는 시점이다.구축시 RAG와 LLM의 정량적인 평가가 중요하고 목적에 맞는 시스템 구현이 됐는지가 관건이 되고있다 해당 Ragas관점에 필요한 부분을 작성했기에 공유드린다. (당사 R&D 담당 직원 작성)