실제로 모델이 제공하는 컨텍스트 사이즈를 최대활용이 가능한가라는 의문에서 시작했다. “이론적으로 32k, 64k, 100k+” 같은 큰 컨텍스트를 지원한다고 알려진 모델들도 실제로는 해당 최대 길이에 도달하기 전부터 성능이 크게 저하되거나, 안정적으로 높은 정확도를 유지하지 못한다는 점을 확인할 수 있습니다. 즉, 모델이 명시적으로 ‘최대 컨텍스트 길이’를 제공한다고 해도, 실제로 그 전 구간에서 이미 성능이 무너질 수 있다는 것   이 표는 “큰 컨텍스트 사이즈”가 곧바로 “안정적으로 높은 정확도”를 의미하지 않는다는 사실을 잘 보여주며,  모델 선택 시 이론상 최대 컨텍스트 길이와 실제 활용 가능한 길이를 구분해봐야 한다는 점 보여주는 중요자료이다. 1.명시된 최대 컨텍스트와 실제 활용 가능 컨텍스트..

RAG 시스템에서 LLM이 활용하는 컨텍스트사이즈 크기도 중요하고 참조문건(chunk)의 프롬프트 구조에 맞게 세팅하는것도 중요하다는 것을 놓친것 같아 정리할 필요을 느낀바 아래와같이 적어본다.

조대협님이 LLM까지 하실줄이야 너무 좋은자료라 공유한다. RAG의 저장방법은 이게 답일듯... 부분발췌Langchain을 이용한 LLM 애플리케이션 개발 #9 - RAG를 이용한 문서 참조. 문서 저장하기출처: https://bcho.tistory.com/1415 [조대협의 블로그:티스토리] Parent Child Chunking문서들을 작은 Chunk 단위로 나눠서 벡터 임베딩 데이터베이스 (Vector Embedding DB)에 저장하는 과정은 같다. 이때, 필드에 임베딩과 문장의 내용을 저장하는 것이 아니라, 이 문장이 속해 있는 문서의 인덱스를 저장한다. 각 문서는 redis나 DB, 파일 시스템등에 저장해놓는다.다음으로 문서를 검색할때는 벡터 임베딩 데이터 베이스에서 해당 문장과 유사한 문장..

요새가장 큰 관심사중 하나이고, 이제 AI 에이전트 방향성에서 WorkFlow기능이 없이는 시장의 흐름을 따라갈수 없다. 당사의 AI 메인개발자가 작성한 소개서를 공유합니다.

빠르게 변하는 AI 아키텍처관련해서 당사 AI기획자가 작성한 자료 공유드립니다.

구글에서 발표한 새로운 신경망 아키텍처가 기대된다.  시사점은 기존 LLM모델과 다르게 메모리의사용, 적은 파라미터로 대용량 파라미터를 능가하는 성능을 제공하기 때문이다.앞으로 노트북, 핸드폰, 온디바이스등의 장비에 적용되면 앞으로의 미래가 어떻게 될지 모르겠다.70B모델대비 0.7B모델이 더 뛰어난성능을 보여주는것이기에 기대해 볼만한 발표인듯하다.트랜스포머 아키텍쳐 > 큐스타 아키텍처 > Titans 아키텍처로 가는것인지 두고 보자