IT 세계의 후아

https://wikidocs.net/231375 랭체인 LLM 실습 도중 오류 발생Parameters {'presence_penalty', 'frequency_penalty', 'stop'} should be specified explicitly. Instead they were passed in as part of `model_kwargs` parameter. (type=value_error)# LLMfrom langchain_openai import ChatOpenAIparams = {# 기본 파라미터 "temperature": 0.7, "max_tokens": 100,}kwargs = {# 선택 파라미터 "frequency_penalty": 0.5, "presence_pena..

LangChain이 제공하는 언어 모델 두 가지 ※ LLM단일 요청에 대한 복잡한 출력 생성 ex) 문서 요약, 질문 답변 생성, etc텍스트 문자열 in → 텍스트 문자열 out+표준화된 인터페이스 → 다양한 LLM 제공 업체 간 호환성 → 유연한 모델 전환/다중 LLM 통합 가 ※ ChatModel사용자와의 상호작용을 통한 연속적 대화 관리 ex) 챗봇메시지 리스트 in → 하나의 메시지 out대화의 맥락을 유지하며 적절한 응답 생성+다양한 모델 제공 업체/작동 모드※ LLM 모델 파라미터-Temperature: 생성된 텍스트의 다양성 조정- Max Tokens: 생성할 최대 토큰 수(텍스트 길이 제한)- Top P(Probability): 생성 과정에서 특정 확률 분포 내 상위 P% 토큰만 고려- ..

이번에 데이콘의 재정정보 검색 알고리즘 대회https://dacon.io/competitions/official/236295/overview/description에 참여하게 되어 재정정보 AI 검색 알고리즘 경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io 관련 기술인 LangChain과 RAG에 대해 공부하고 실습해보고자 한다(1년 동안 쉰 백수는 너무나 빠르게 흘러간 AI를 뒤쫓기 바쁘다 흑흑) ※ Langchain 대규모 언어 모델(LLM)과 애플리케이션의 통합을 간소화하는 SDK API를 노출하여 기본 LLM의 구현 세부 사항을 요약 => 코드를 크게 변경하지 않고도 모델 교체/대체 가능≫ 언어모델 용도 변경, AI 개발 간소화, 개발..

※범용 LLMFoundation Model, 그 자체로 API처럼 활용해서 솔루션을 갖다 쓸 수 있음주로 클라우드 시스템(앤스로픽-Cloude3, 오픈AI-chatGPT, 구글-Gemini) ※버티컬 AI(sLLM)오픈소스로 제공됨, 파인튜닝 등을 거쳐 최적화해서 만듦 ⇒ 다양한 목적에 따라 세분화 ex)SORA(오픈AI-영상 생성)온디바이스 AI-클라우드를 거치지 않고 직접 활용됨(활용도 G) ※LMMLLM 기반의 거대 멀티모델, 영상/이미지 생성  → AI가 현실 세계의 물리법칙을 이해하기 시작 ※RAG(검색 증강 생성)LLM의 환각현상(Hallucination)을 방지하고, 알고있던 것에만 의존하지 않고 지식 저장소를 추가함LLM은 정보를 업데이트 하지 않아 기존의 지식만으로 답변을 내놓음 ⇒ 그 ..