구글에서 발표한 새로운 신경망 아키텍처가 기대된다.  시사점은 기존 LLM모델과 다르게 메모리의사용, 적은 파라미터로 대용량 파라미터를 능가하는 성능을 제공하기 때문이다.앞으로 노트북, 핸드폰, 온디바이스등의 장비에 적용되면 앞으로의 미래가 어떻게 될지 모르겠다.70B모델대비 0.7B모델이 더 뛰어난성능을 보여주는것이기에 기대해 볼만한 발표인듯하다.트랜스포머 아키텍쳐 > 큐스타 아키텍처 > Titans 아키텍처로 가는것인지 두고 보자

대용량의 문서가 벡터라이징 된 벡터DB에서 검색 히팅율을 올리는것은 많은 기법이 필요하다특히 금융권 상품문서의 경우 비슷한게 너무많다예를들면 A란 상품을 판매하고 있는데 그것을 약간 수정해서 AA란 상품을 만들고 또 약간 수정해서 AAA란 상품을 만드는것이일반화 되어있기때문에 질문에 대한 맞는 유사도검색을 통한 검색 히팅율을 좋아지기가 매우어렵다그중에서도 사용자의 질문을 확장하고 검색에 맞는 질문변환등의 질문전처리가 필요하고검색을 키워드검색, 시멘틱검색을 같이하는 하이브리드 검색이 보편화 되어있다.청킹된 데이타와 질문을 비교하여 재순위설정 하는 리랭킹모델도 보통 적용하게 되어있는데여기서 소개하는것은 벡터DB에서 BM25를 제공하지만 성능이 좋지못하고 개선하고자 하는경우에 해당된다.