RAG -VectorDB

금융권은 이제 생성형 AI 도입이 시작되는 느낌이다. 점차 다양한 유즈케이스가 생겨나고, 시스템화가 늘어날것으로 생각된다.그중에서 가장 중요한것이 회사별 지식베이스 구축이다. 대용량의 지식을 벡터화 하여 구축하는것이 시작점일 것이다.실제 실무에서 구축하다보면 대용량, 고가용성은 중요키워드이고 벡터DB에 대한 중요성이 강조되고 있다. 실무적관점에서 자료를 정리해보았으니 참고부탁드린다.

대고객용 프로젝트에서 비기능 요소에서 가장 중요한 요소라 생각한다.빠름에 대한 생각이 있으면 고민할 필요가 있다.

전반적인 AI 역사정보가 있어서 관심있는 분들은 보면 재미있을것 같습니다. 다운로드링크 https://drive.google.com/file/d/1yC3xO7DcJ-ol7t67z7SXZAUcKdKHRdUQ/view?usp=sharing

현재 금융권은 10여년동안 망분리로 인한 다양한 문제점이 제기되어 왔다.  다양한 뉴스에서 완화된다고 2024년 상반기에 뉴스가 많이 나왔었고 하반기에는 금융위에서 발표 할것이다 생각해 왔다. 생각보다 빠르게 2024.08.13 금융분야 망분리 규제 개선 로드맵을 발표했다.아래의 내용이 주요 내용이다. 쉽게 애기해서 외부 API를 활용한 생성형 AI, SaaS기반 서비스를 허용및 확대 하겠다는 발표다각 금융회사별로 별도의 보안대책이 중요하게 대두되고 있다.팀원들과 점심먹으면서 다양한 애기를 하다가 우리도 우리만의 보안대책에 대한 논의를 했었고 아래장표는 그결과로 만들어졌다. 실제 테스트와 개발을 진행하여 좀더 구체적인 모습을 만들예정이다.

IT분야는 점점 AI에 대한 관심도가 커지고 있고 투자나 구축도 인공지능외는 앞으로 점점 없어질듯 하다.LLM 분야에서 상반기에 키워드는 도입기를 지나 하반기부터는 AI 플랫폼 구축이 확대 될것으로 보인다.금융의 환경이 망분리 규제 완화가 화두이긴 한테 조만간 정리될것으로 보이고, Saas기반 이던 온프라미스 기반이던 둘다 대응가능한 AI 전략이 필요할 것이다.LLM모델의 발전속도는 하루가 다르게 변화되고 있고, 국외에 다양한 오픈소스 모델이나 폐쇠형 모델 등의 추이를 잘 살펴보고있어야 한다. 국내에서는 업스테이지 솔라가 가장 우위를 보이고 있고, 가장 많은 고객을 확보할것이다.LLM 모델에 대한 연구보다는 모델에 대한 파인튜닝 기법에 대한 연구가 더 효율성이 있어보인다.AI 플랫폼은 LLM모델에 대한 ..

다양한 로컬LLM 구축시 AI어플리케이션중 Dify를 우리는 선택했다 다양한 기능이 훌륭하고 커스터마이징해서 사용중인데 기본적인 사용 메뉴얼을 공유한다.

GPU 장착된 PC에서 S-LLM 연구를 하기위해서 환경을 구축하는 방법을 문서화 하였다. 현재 제 노트북에서도 세팅은 완료하였고, 다양한 LLM모델로 테스트를 진행하고 있다. 파라미터가 작은 모델로 시스템 프롬프트, 파인튜닝, 다양한 연구및 실습을 할수 있는 첫단추는 환경구축이라고 할수 있다. 올해 LLM 파인튜닝 전문가를 목표로 저도 열심히 해보려 합니다~^^

2023.11월에 시험을 봤다. 시험 탈락이었다. 다시 한번의 기회가 더 있기에 준비를 철저히 해야겠다. 쉽지 않다. 우선 영어를 정확하게 이해하고, 명령어기반으로 문제를 풀어야 한다. 내 나이가 영어 손놓은지 20년이 넘어서 더 힘들었다 정확한 문제의 이해가 중요하다 실무랑 시험은 다르다. 시험은 시험을 위한 준비가 필요하다.