IT 세계의 후아

https://hoooa.tistory.com/65 에서 정리했던 RAG의 기본 파이프라인(Data Load, Text Split, Indexing, Retrieval, Generation)을 한층 자세하게 들어가보자~ [AI]RAG 기본 이론&실습(1)RAG에 대해선 이전에 아주 짧게 다뤄봤어서 공부가 필요한 상황,,,경진대회 문제라도 제대로 풀려면 해야된다 아자아자!!! (이제는 더 이상 물러설 곳이 없다)  https://hoooa.tistory.com/58에 이어서 Langhoooa.tistory.com 1. Data Load불러오고자 하는 데이터의 형태에 따라 다양한 Document Loader를 활용할 수 있음!웹 문서 WebBaseLoader 특정 웹 페이지에서 문서를 가져오기import b..

RAG에 대해선 이전에 아주 짧게 다뤄봤어서 공부가 필요한 상황,,,경진대회 문제라도 제대로 풀려면 해야된다 아자아자!!! (이제는 더 이상 물러설 곳이 없다)  https://hoooa.tistory.com/58에 이어서 LangChain과 관련된 RAG를 공부 및 실습해보고자 한다! 코드를 크게 변경하지 않고도 모델 교체/대체 가능≫ 언어모델 용도" data-og-host="hoooa.tistory.com" data-og-source-url="https://hoooa.tistory.com/58" data-og-url="https://hoooa.tistory.com/58" data-og-image="https://scrap.kakaocdn.net/dn/bWidDH/hyWKJ63dRE/Mntw8oAFa..

※ 프롬프트사용자와 언어 모델 간의 대화 속 질문/요청 형태의 입력문→ 프롬프트 템플릿 중요 ※ 작성 원칙- 명확성&구체성: 질문이 모호해서는 안 됨- 배경 정보 포함: 문맥을 이해할 수 있도록 정보 제공 → Hallucination↓ 응답 관련도↑- 간결성: 불필요한 정보 B, 최대한 간결하게 G- 열린 질문: 예/아니오 B, 많은 정보를 제공받을 수 있도록 열린 질문 G- 명확한 목표: 얻고자 하는 정보/결과를 정확하게 정의- 언어/문체: 맥락에 적합하게  ※ 프롬프트 템플릿(PromptTemplate)단일문장 or 간단한 명령 == 문자열 기반"langchain_core.prompts" 모듈의 "PromptTemplate" 클래스 사용PromptTemplatefrom langchain_core.pr..

이번에 데이콘의 재정정보 검색 알고리즘 대회https://dacon.io/competitions/official/236295/overview/description에 참여하게 되어 재정정보 AI 검색 알고리즘 경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io 관련 기술인 LangChain과 RAG에 대해 공부하고 실습해보고자 한다(1년 동안 쉰 백수는 너무나 빠르게 흘러간 AI를 뒤쫓기 바쁘다 흑흑) ※ Langchain 대규모 언어 모델(LLM)과 애플리케이션의 통합을 간소화하는 SDK API를 노출하여 기본 LLM의 구현 세부 사항을 요약 => 코드를 크게 변경하지 않고도 모델 교체/대체 가능≫ 언어모델 용도 변경, AI 개발 간소화, 개발..

관련 회사/분야  헤드라인(요약과 압축)기사링크데이터센터·환경·전력·AI 아우르는 ‘큰 그림 정책’ 세워라 덩치 커지는 데이터센터…지구와 ‘건강한 공존’ 하려면 https://n.news.naver.com/mnews/hotissue/article/032/0003309450?type=series&cid=2002206본문AI 발전에 데이터 소비량 폭증연간 전력 사용량 국가와 맞먹어탄소중립 위협하는 ‘최대 복병’‘친환경 산업 발전’ 해법 찾아야오늘도 누군가는 모바일 메신저로 수다를 떨고 사회관계망서비스(SNS)를 들여다본다. 일터에선 e메일로 업무를 처리하는가 하면 동영상 콘텐츠를 보며 휴식한다. 택시를 부르거나 반찬거리를 사는 일도 스마트폰 안에서 이뤄진다. 인공지능(AI)이 질문에 자연스럽게 답해주는 것을..

관련 회사/분야  헤드라인(요약과 압축)기사링크" AI 반도체 주도권 달렸다…'유리 기판' 선점 경쟁" 산업 리포트글로벌 시장 연간 6% 성장인텔·SK·삼성·LG '4파전' https://n.news.naver.com/mnews/article/015/0005006753본문인공지능(AI) 열풍으로 고성능 반도체 수요가 급증하자 글라스 기판(유리 기판) 시장을 선점하기 위한 SKC, 삼성전기, LG이노텍 등 국내 3사 간 경쟁도 치열해지고 있다. 유리 기판은 빠른 속도로 방대한 양의 데이터를 처리하고 에너지 효율성이 뛰어나 ‘꿈의 기판’으로 불린다. 이 시장을 누가 먼저 선점하느냐에 따라 반도체업계에서 입지가 갈릴 것이란 전망이 나온다.유리 기판은 현재의 플라스틱 소재 대신 유리를 사용한 차세대 기판이다. ..

관련 회사/분야  헤드라인(요약과 압축)기사링크" AI 클라우드 쉽게 쓴다…금융 '망분리' 규제완화"https://n.news.naver.com/mnews/article/015/0005005837본문‘ 앞으로 금융회사의 정보기술(IT) 개발자가 내부 PC에서 챗GPT 등 외부와 연결된 인공지능(AI) 서비스를 쓸 수 있게 된다. 외부 클라우드 사용도 가능해진다. 내부 전산망을 외부와 완전히 단절하도록 한 ‘망 분리 규제’가 10년 만에 대폭 완화되면서다.4일 금융권에 따르면 금융위원회는 망 분리 규제를 대폭 완화하기로 결정하고, 이르면 이달 말 공식 발표하기로 했다. 내부망 PC에서 인터넷을 기반으로 작동하는 클라우드 서비스 등을 쉽게 쓸 수 있도록 허용하는 쪽으로 가닥을 잡았다. 프로그램 개발 업무에 ..

※범용 LLMFoundation Model, 그 자체로 API처럼 활용해서 솔루션을 갖다 쓸 수 있음주로 클라우드 시스템(앤스로픽-Cloude3, 오픈AI-chatGPT, 구글-Gemini) ※버티컬 AI(sLLM)오픈소스로 제공됨, 파인튜닝 등을 거쳐 최적화해서 만듦 ⇒ 다양한 목적에 따라 세분화 ex)SORA(오픈AI-영상 생성)온디바이스 AI-클라우드를 거치지 않고 직접 활용됨(활용도 G) ※LMMLLM 기반의 거대 멀티모델, 영상/이미지 생성  → AI가 현실 세계의 물리법칙을 이해하기 시작 ※RAG(검색 증강 생성)LLM의 환각현상(Hallucination)을 방지하고, 알고있던 것에만 의존하지 않고 지식 저장소를 추가함LLM은 정보를 업데이트 하지 않아 기존의 지식만으로 답변을 내놓음 ⇒ 그 ..

관련 회사/분야  헤드라인(요약과 압축)기사링크"이미 중국판인데"…전세계 발칵 뒤집어 놓은 中로봇의 '파격' 레드테크의 역습(4) 中 1위 휴머노이드 기업, 유비테크 中 '로봇굴기'…美 턱밑 추격유비테크 등 4~5곳, 눈·손으로 사물인식휴머노이드 기술 강자…산업용 로봇도 주도 https://n.news.naver.com/mnews/article/015/0004979526본문“EPL(영국 프리미어리그) 선수들을 가뿐히 이기는 로봇 축구팀을 만들겠다.”지난달 22일 중국 선전 본사에서 만난 로봇기업 유비테크의 마이클 탐 최고브랜드책임자(CBO)는 “2040년께 가능할 것”이라며 이같이 말했다. 중국 1위 휴머노이드 업체인 유비테크는 지난달 초 사람의 명령을 받고 티셔츠를 척척 손으로 정리하고, 상황에 따라 ..

관련 회사/분야  헤드라인(요약과 압축)기사링크“뉴스 콘텐츠 제값 내고”···빅테크, 언론사와 AI 콘텐츠 사용 계약 잇따라 https://n.news.naver.com/mnews/article/032/0003293853본문생성형 인공지능(AI)을 둘러싼 저작권 침해 논란이 확산하는 가운데 글로벌 빅테크들이 레거시 미디어와 잇따라 콘텐츠 사용 계약을 맺고 있다.구글이 월스트리트저널(WSJ)을 보유한 미국 뉴스코퍼레이션(뉴스코프)과 AI 콘텐츠 이용 및 제품 개발을 위한 계약을 체결했다고 정보통신(IT) 전문 매체 디인포메이션이 지난달 30일(현지시간) 보도했다.세계 최대 미디어그룹인 뉴스코프는 WSJ을 발행하는 다우존스와 대형 출판사 하퍼콜린스, 영국 더타임스 등을 보유하고 있다. 구글은 자사의 AI 모..