구글에서 발표한 새로운 신경망 아키텍처가 기대된다.  시사점은 기존 LLM모델과 다르게 메모리의사용, 적은 파라미터로 대용량 파라미터를 능가하는 성능을 제공하기 때문이다.앞으로 노트북, 핸드폰, 온디바이스등의 장비에 적용되면 앞으로의 미래가 어떻게 될지 모르겠다.70B모델대비 0.7B모델이 더 뛰어난성능을 보여주는것이기에 기대해 볼만한 발표인듯하다.트랜스포머 아키텍쳐 > 큐스타 아키텍처 > Titans 아키텍처로 가는것인지 두고 보자

대용량의 문서가 벡터라이징 된 벡터DB에서 검색 히팅율을 올리는것은 많은 기법이 필요하다특히 금융권 상품문서의 경우 비슷한게 너무많다예를들면 A란 상품을 판매하고 있는데 그것을 약간 수정해서 AA란 상품을 만들고 또 약간 수정해서 AAA란 상품을 만드는것이일반화 되어있기때문에 질문에 대한 맞는 유사도검색을 통한 검색 히팅율을 좋아지기가 매우어렵다그중에서도 사용자의 질문을 확장하고 검색에 맞는 질문변환등의 질문전처리가 필요하고검색을 키워드검색, 시멘틱검색을 같이하는 하이브리드 검색이 보편화 되어있다.청킹된 데이타와 질문을 비교하여 재순위설정 하는 리랭킹모델도 보통 적용하게 되어있는데여기서 소개하는것은 벡터DB에서 BM25를 제공하지만 성능이 좋지못하고 개선하고자 하는경우에 해당된다.

RAG시스템 구축시 비정형문서를 AI-OCR를 이용해서 파싱하고 청킹처리하게 된다. 특히 금융권 문서는 대용량이기도 하고 다양한 문서처리 노하우가 필요하단걸 절실히 느끼고 있다. 문서 파싱시 중요한것은 테이블을 처리하는것인데 테이블에 테이블 처리는 현존하는 어떤 AI-OCR도 복합 테이블 파싱은 어렵다. 또한 테이블 안에 셀정보가 좌측하고 동일하다는 의미로 "좌동", 위에 셀정보가 동일하다는 의미로 "상동"등의 용어가 심심찮게 나오는데 이것들을 시스템 프롬프트로 읽어 낼수 있을까 라는 의문을 가지고 테스트한 결과를 남기고자 한다. AI-OCR에서는 파싱결과를 마크다운 또는 HTML로 전환할수 있기에 두가지 경우 테스트를 진행했다. 일관성을 포함한 정확성에서 3개의 모델이 준수한 결과를 보여준다. anth..

룰기반 개인정보 탐지 솔루션에 오탐이 많다는 고객의 니즈가 발생했다.PoC로 Presidio와 LLM를 사용하여 솔루션에서 오탐한 Input 텍스트를 대상으로 신한DS AI파트에서 준비한 PoC정보를 공유한다.

RAGAS를 이용한 검색평가, 답변평가를 진행하고 있다. 1차, 2차, 3차 진행예정으로 현재 1차평가를 공유하고자 한다.대상 RAG는 상용솔루션, 벡터DB는 Qdrant, LLM은 업스테이지 솔라프로를 대상으로 진행하였다.

AI관련 정보와 시사점만 정리했다.

open ai o1이 나온후에 시스템1과 시스템2가 병합된 모델이 나와야 진정한 AI모델이지 않을까라는 생각을 했었다.근데 벌써 나오다니 충격적이고 자체 테스트를 해보니 MoE아키텍처 기반이라 응답속도가 거의 sLLM급에 RAG연동도 훌륭한 성능을 보여주었다. 현존하는 오픈모델중의 최고의 모델이다.AGI가 25년에 더빨리 다가올듯하다.