RAG -VectorDB

금융권은 이제 생성형 AI 도입이 시작되는 느낌이다. 점차 다양한 유즈케이스가 생겨나고, 시스템화가 늘어날것으로 생각된다.그중에서 가장 중요한것이 회사별 지식베이스 구축이다. 대용량의 지식을 벡터화 하여 구축하는것이 시작점일 것이다.실제 실무에서 구축하다보면 대용량, 고가용성은 중요키워드이고 벡터DB에 대한 중요성이 강조되고 있다. 실무적관점에서 자료를 정리해보았으니 참고부탁드린다.

전반적인 AI 역사정보가 있어서 관심있는 분들은 보면 재미있을것 같습니다. 다운로드링크 https://drive.google.com/file/d/1yC3xO7DcJ-ol7t67z7SXZAUcKdKHRdUQ/view?usp=sharing

현재 금융권은 10여년동안 망분리로 인한 다양한 문제점이 제기되어 왔다.  다양한 뉴스에서 완화된다고 2024년 상반기에 뉴스가 많이 나왔었고 하반기에는 금융위에서 발표 할것이다 생각해 왔다. 생각보다 빠르게 2024.08.13 금융분야 망분리 규제 개선 로드맵을 발표했다.아래의 내용이 주요 내용이다. 쉽게 애기해서 외부 API를 활용한 생성형 AI, SaaS기반 서비스를 허용및 확대 하겠다는 발표다각 금융회사별로 별도의 보안대책이 중요하게 대두되고 있다.팀원들과 점심먹으면서 다양한 애기를 하다가 우리도 우리만의 보안대책에 대한 논의를 했었고 아래장표는 그결과로 만들어졌다. 실제 테스트와 개발을 진행하여 좀더 구체적인 모습을 만들예정이다.

다양한 로컬LLM 구축시 AI어플리케이션중 Dify를 우리는 선택했다 다양한 기능이 훌륭하고 커스터마이징해서 사용중인데 기본적인 사용 메뉴얼을 공유한다.

GPU 장착된 PC에서 S-LLM 연구를 하기위해서 환경을 구축하는 방법을 문서화 하였다. 현재 제 노트북에서도 세팅은 완료하였고, 다양한 LLM모델로 테스트를 진행하고 있다. 파라미터가 작은 모델로 시스템 프롬프트, 파인튜닝, 다양한 연구및 실습을 할수 있는 첫단추는 환경구축이라고 할수 있다. 올해 LLM 파인튜닝 전문가를 목표로 저도 열심히 해보려 합니다~^^

개발을 위해 외부에 Back-end 환경구성을 해보았다 기본적으로 EC2에 Tomcat, MariaDB, SSL인증서, Redis, RabbitMQ로 구성하고 도메인은 duck dns 가입 및 무료 도메인 신청하여 사용 1. AWS EC2 서버 구성 인스턴스 유형 : Ubuntu 22.04.1 LTS, t2.large, 200G 고정IP : AWS에서 고정IP 추가 SSH 접속시 ID/Password로 할수있게 설정 sudo vi /etc/ssh/sshd_config > PasswordAuthentication yes 주석풀기 sudo systemctl restart sshd locale : Asia/Seoul /LANG=ko_KR.UTF-8 Installed Program : - Apache Tomca..

드디어 AWS Polly를 활용한 TTS 관련 내용도 마지막이 되었다. 이번에는 DynamoDB에 저장된 TTS 관련 정보 조회와 S3에 저장된 MP3를 다운로드를 하도록 하겠다. 이전 장에서 살펴봤던 DynamoDB 조회 함수 중에서 scan함수를 활용하여 DynamoDB를 조회하도록 하겠다. getNewInfo 함수는 아래와 같이 작성을 한다. import json import os import boto3 from boto3.dynamodb.conditions import Key, Attr def lambda_handler(event, context): # TODO implement client = boto3.client('dynamodb') # Table에 있는 전체 내역을 조회할 수 있음. res..

1편부터 8편까지 해서 TTS변환 mp3를 S3에 저장을 하였다. 또한 클라이언트(웹 브라우저)와 Lambda사이에 Cognito을 활용하여 연결하였다. 이제는 DynamoDB에 있는 TTS 정보를 조회하고 mp3 다운로드, 실시간 스트리밍을 지원하면 이번 프로젝트는 종료가 된다. Lambda를 통한 DynamoDB 조회를 진행하기 전에 번외 편으로 DynamoDB의 조회 함수를 정리할 필요성을 느꼈다. 따라서 이번에는 DynamoDB 조회 함수에 대해서 정리하겠다. DynamoDB에서 테이블의 데이터를 조회할 수 있는 방법은 대표적으로 4가지가 존재한다. get_item batch_get_item query scan 대표적인 4개의 조회 함수를 사용하기 전에 한가지 전제조건을 확인하자. REG_DT :..