IT 세계의 후아

https://hoooa.tistory.com/65 에서 정리했던 RAG의 기본 파이프라인(Data Load, Text Split, Indexing, Retrieval, Generation)을 한층 자세하게 들어가보자~ [AI]RAG 기본 이론&실습(1)RAG에 대해선 이전에 아주 짧게 다뤄봤어서 공부가 필요한 상황,,,경진대회 문제라도 제대로 풀려면 해야된다 아자아자!!! (이제는 더 이상 물러설 곳이 없다)  https://hoooa.tistory.com/58에 이어서 Langhoooa.tistory.com 1. Data Load불러오고자 하는 데이터의 형태에 따라 다양한 Document Loader를 활용할 수 있음!웹 문서 WebBaseLoader 특정 웹 페이지에서 문서를 가져오기import b..

RAG에 대해선 이전에 아주 짧게 다뤄봤어서 공부가 필요한 상황,,,경진대회 문제라도 제대로 풀려면 해야된다 아자아자!!! (이제는 더 이상 물러설 곳이 없다)  https://hoooa.tistory.com/58에 이어서 LangChain과 관련된 RAG를 공부 및 실습해보고자 한다! 코드를 크게 변경하지 않고도 모델 교체/대체 가능≫ 언어모델 용도" data-og-host="hoooa.tistory.com" data-og-source-url="https://hoooa.tistory.com/58" data-og-url="https://hoooa.tistory.com/58" data-og-image="https://scrap.kakaocdn.net/dn/bWidDH/hyWKJ63dRE/Mntw8oAFa..

※ 프롬프트사용자와 언어 모델 간의 대화 속 질문/요청 형태의 입력문→ 프롬프트 템플릿 중요 ※ 작성 원칙- 명확성&구체성: 질문이 모호해서는 안 됨- 배경 정보 포함: 문맥을 이해할 수 있도록 정보 제공 → Hallucination↓ 응답 관련도↑- 간결성: 불필요한 정보 B, 최대한 간결하게 G- 열린 질문: 예/아니오 B, 많은 정보를 제공받을 수 있도록 열린 질문 G- 명확한 목표: 얻고자 하는 정보/결과를 정확하게 정의- 언어/문체: 맥락에 적합하게  ※ 프롬프트 템플릿(PromptTemplate)단일문장 or 간단한 명령 == 문자열 기반"langchain_core.prompts" 모듈의 "PromptTemplate" 클래스 사용PromptTemplatefrom langchain_core.pr..

이번에 데이콘의 재정정보 검색 알고리즘 대회https://dacon.io/competitions/official/236295/overview/description에 참여하게 되어 재정정보 AI 검색 알고리즘 경진대회 - DACON분석시각화 대회 코드 공유 게시물은 내용 확인 후 좋아요(투표) 가능합니다.dacon.io 관련 기술인 LangChain과 RAG에 대해 공부하고 실습해보고자 한다(1년 동안 쉰 백수는 너무나 빠르게 흘러간 AI를 뒤쫓기 바쁘다 흑흑) ※ Langchain 대규모 언어 모델(LLM)과 애플리케이션의 통합을 간소화하는 SDK API를 노출하여 기본 LLM의 구현 세부 사항을 요약 => 코드를 크게 변경하지 않고도 모델 교체/대체 가능≫ 언어모델 용도 변경, AI 개발 간소화, 개발..

관련 회사/분야 기사링크https://n.news.naver.com/mnews/hotissue/article/032/0003309450?type=series&cid=2002206본문의 근거(객관적인 수치)- 데이터센터와 관련된 다양한 문제 有→ 소비전력이 증가할수록 전기를 생산하기 위한 화석연료 사용도 늘어나고 온실가스 배출이 증가 → 열을 식히기 위한 냉각수로 쓰는 물 사용량 ㄴ 환경 문제와 전력 설비 부족, 인허가 문제, 지역 주민 반발 등 - 고효율 냉각 시스템 적용 등을 강조- AI 데이터센터에 대한 기본 요금이 상승해 최종 소비자의 비용 부담으로 작용할 수 있음ㄴ경쟁력이 떨어지면 AI에 대한 투자 감소로 이어져 발전이 더뎌질 수 있음추가조사할내용 또는 결과(기사의 근거를 통해 바뀐 수치는 무엇..

관련 회사/분야 기사링크https://n.news.naver.com/mnews/article/015/0005006753본문의 근거(객관적인 수치)- 고성능 컴퓨팅 수요가 커질수록 유리 기판 시장도 폭발적으로 성장할 수밖에 없다 → 기존 플라스틱 기판:  반도체 회로가 점점 얇고 복잡해지면서 기존 플라스틱 기판에 초미세 회로를 얹기엔 표면이 거칠고 열에 취약해 반도체 성능이 떨어짐↔ 유리 기판: 표면이 매끈해 성능을 배가하고, 반도체 칩과 메인 기판을 연결하는 중간기판(인터포저)도 필요 없어 두께를 기존보다 25% 이상 얇게 만들 수 있다, 열에 강해 고온에서도 휨 현상이 없다. - 인텔, SKC 등 여러 회사들이 사업 준비 중추가조사할내용 또는 결과(기사의 근거를 통해 바뀐 수치는 무엇인가?)1. 유리기..

관련 회사/분야 기사링크https://n.news.naver.com/mnews/article/015/0005005837본문의 근거(객관적인 수치)- 내부 전산망을 외부와 완전히 단절하도록 한 ‘망 분리 규제’가 10년 만에 대폭 완화 → AI 클라우드 서비스 활용 등은 폭넓게 허용하되, 해킹 등으로부터 고객정보를 안전하게 지킬 수 있도록 관리한다는 방침 ㄴ 규제 샌드박스(혁신금융서비스) 제도를 통해 도입할 수 있는 서비스형 소프트웨어(SaaS) 범위를 대폭 확대 ㄴ 화상회의와 파일 공유, 문서 공동 작성 등에 활용할 수 있는 협업용 클라우드 서비스에 대해서만 허가 - 규제 샌드박스 제도를 통해 금융사가 쓸 수 있는 클라우드 서비스의 범위를 넓힌 뒤, 안전성이 검증되면 금융사가 별도 신청 없이도 해당 서비..

※범용 LLMFoundation Model, 그 자체로 API처럼 활용해서 솔루션을 갖다 쓸 수 있음주로 클라우드 시스템(앤스로픽-Cloude3, 오픈AI-chatGPT, 구글-Gemini) ※버티컬 AI(sLLM)오픈소스로 제공됨, 파인튜닝 등을 거쳐 최적화해서 만듦 ⇒ 다양한 목적에 따라 세분화 ex)SORA(오픈AI-영상 생성)온디바이스 AI-클라우드를 거치지 않고 직접 활용됨(활용도 G) ※LMMLLM 기반의 거대 멀티모델, 영상/이미지 생성  → AI가 현실 세계의 물리법칙을 이해하기 시작 ※RAG(검색 증강 생성)LLM의 환각현상(Hallucination)을 방지하고, 알고있던 것에만 의존하지 않고 지식 저장소를 추가함LLM은 정보를 업데이트 하지 않아 기존의 지식만으로 답변을 내놓음 ⇒ 그 ..