IT 세계의 후아

https://hoooa.tistory.com/67 [AI]RAG 기본 이론&실습(2)https://hoooa.tistory.com/65 에서 정리했던 RAG의 기본 파이프라인(Data Load, Text Split, Indexing, Retrieval, Generation)을 한층 자세하게 들어가보자~ [AI]RAG 기본 이론&실습(1)RAG에 대해선 이전에 아주 짧게 다뤄hoooa.tistory.com에 이어서  마지막 RAG 정리글!4. Vector Store임베딩 벡터를 효육적으로 저장&검색하는 시스템(DB) - 벡터 저장: 고차원 임베딩 벡터(텍스트/이미지/소리 등)를 처리 가능한 데이터 저장 구조 필요- 벡터 검색: 저장벡터 중 사용자 쿼리에 가장 유사한 벡터를 찾는 과정, ex) 코사인 유사..

https://hoooa.tistory.com/65 에서 정리했던 RAG의 기본 파이프라인(Data Load, Text Split, Indexing, Retrieval, Generation)을 한층 자세하게 들어가보자~ [AI]RAG 기본 이론&실습(1)RAG에 대해선 이전에 아주 짧게 다뤄봤어서 공부가 필요한 상황,,,경진대회 문제라도 제대로 풀려면 해야된다 아자아자!!! (이제는 더 이상 물러설 곳이 없다)  https://hoooa.tistory.com/58에 이어서 Langhoooa.tistory.com 1. Data Load불러오고자 하는 데이터의 형태에 따라 다양한 Document Loader를 활용할 수 있음!웹 문서 WebBaseLoader 특정 웹 페이지에서 문서를 가져오기import b..

RAG에 대해선 이전에 아주 짧게 다뤄봤어서 공부가 필요한 상황,,,경진대회 문제라도 제대로 풀려면 해야된다 아자아자!!! (이제는 더 이상 물러설 곳이 없다)  https://hoooa.tistory.com/58에 이어서 LangChain과 관련된 RAG를 공부 및 실습해보고자 한다! 코드를 크게 변경하지 않고도 모델 교체/대체 가능≫ 언어모델 용도" data-og-host="hoooa.tistory.com" data-og-source-url="https://hoooa.tistory.com/58" data-og-url="https://hoooa.tistory.com/58" data-og-image="https://scrap.kakaocdn.net/dn/bWidDH/hyWKJ63dRE/Mntw8oAFa..

※범용 LLMFoundation Model, 그 자체로 API처럼 활용해서 솔루션을 갖다 쓸 수 있음주로 클라우드 시스템(앤스로픽-Cloude3, 오픈AI-chatGPT, 구글-Gemini) ※버티컬 AI(sLLM)오픈소스로 제공됨, 파인튜닝 등을 거쳐 최적화해서 만듦 ⇒ 다양한 목적에 따라 세분화 ex)SORA(오픈AI-영상 생성)온디바이스 AI-클라우드를 거치지 않고 직접 활용됨(활용도 G) ※LMMLLM 기반의 거대 멀티모델, 영상/이미지 생성  → AI가 현실 세계의 물리법칙을 이해하기 시작 ※RAG(검색 증강 생성)LLM의 환각현상(Hallucination)을 방지하고, 알고있던 것에만 의존하지 않고 지식 저장소를 추가함LLM은 정보를 업데이트 하지 않아 기존의 지식만으로 답변을 내놓음 ⇒ 그 ..