앞의 포스팅에서 RAG가 무엇인지에 대해 알아봤는데요.이번 포스팅에서는 RAG를 만들기 위한 재료를 어떻게 가져오는지 알아볼게요!그 재료를 가져오는 것을 바로 Document Loader라고 부릅니다. 하나씩 자세히 알아볼게요!혹시나 RAG 전반적인 개념이 궁금하시면 아래 포스팅 참고해주세요! RAG(Retrieval-Augmented Generation) 기본 개념 정리 및 Langchain코드 예제최근 ChatGPT의 등장으로 LLM에 대한 관심이 커지고 있습니다.하지만 써보신 분들은 아시겠지만, 분명히 LLM도 한계점이 존재합니다.예를 들어,최신 정보 반영이 안되어 있다거나,특정 기업 내에서jaeyoon-95.tistory.comDocument Loader란?RAG시스템을 구축 할 때, 참고할 데이..
최근 ChatGPT의 등장으로 LLM에 대한 관심이 커지고 있습니다.하지만 써보신 분들은 아시겠지만, 분명히 LLM도 한계점이 존재합니다.예를 들어,최신 정보 반영이 안되어 있다거나,특정 기업 내에서 쓰는 비밀 문서 등ChatGPT가 답변할 수 없는 부분도 있습니다.그렇다면 이 정보를 넣기 위해 큰 모델을 다시 학습시켜야할까요? 아뇨! 꼭 그럴 필요는 없습니다.관련된 문서를 프롬프트로 같이 넣어줌으로써 ChatGPT가 이를 이해하고, 답변해 줄 수 있습니다.이것이 바로 RAG의 개념입니다.ChatGPT에게 관련 문서를 던져주면서 "이게 관련 정보니까 내가 묻는말에 답해!"라고 하는 것과 같습니다. 그럼 이번 포스팅에서 더 자세히 알아볼게요!더 나아가 실습까지 할 예정이니 끝까지 봐주시면 더 좋겠습니다. ..
ChatGPT가 나오고 나서 프롬프트 엔지니어링이 정말 중요해졌죠.실제로 비개발자 분들도 프롬프트 엔지니어링을 잘 하시면앱, 웹 등 쉽게 만드실 수 있습니다.이번 포스팅에서는 프롬프트 엔지니어링을 어떻게하면 더 잘하는지엔드류응 교수님께서 직접 올려주신 강의를 토대로 정리해볼게요. 프롬프트 엔지니어링 잘하는 방법명확하고 구체적인 지시첫 번째 방법은 명확하고 구체적인 지시를 하는 것입니다.그 방법은 여러가지가 있는데요. 간단하게 먼저 정리해볼게요."", ```, ---, , 등의 구분자를 이용하여 입력의 구분된 부분을 명확하게 표시HTML, JSON 형태와 같은 구조화된 출력 요구모든 조건이 만족하는지 체크하도록 요구적절한 예시 제공사용전사용후이 고양이 장난감은 진짜 잘만든 것 같아요. 우리 야옹이가 진짜 ..
지난 포스팅에서는 통계적 임베딩 종류 중 하나인 TF-IDF에 대해 알려드렸습니다.혹시 놓치신 분들은 아래 포스팅을 참고해주세요. 통계적 임베딩으로 문서의 핵심 단어를 찾는 TF-IDF지난번 포스팅에서는 임베딩 모델 설명에 들어가기 앞서 토크나이저에 대해 알아봤는데요.아직 못보신 분들은 미리 보시는 것을 추천드립니다. 자연어처리 기초 토크나이저의 모든것! 종류부jaeyoon-95.tistory.com 추가로 어떤 임베딩 종류가 있는지 궁금하시다면 아래 포스팅을 참고해주세요. 자연어 처리 임베딩의 등장 배경과 종류어느 순간부터 딥러닝이 점점 핫해지기 시작했는데요.OpenAI의 ChatGPT가 공개되면서 LLM에 대한 관심이 폭주하기 시작했어요.이번 포스팅 시리즈는 초기 LM부터 LLM까지 자연어 처리 모델..
특이값 분해 SVD는 머신러닝 공부하시는 분들은 정말 많이 들어보셨을 겁니다.생각보다 개념이 어렵기도 하고, 보고 봐도 이해가 잘 안되는 경우가 많을겁니다.이번 포스팅에서는 최대한 쉽게 특이값 분해에 대해 알려드리려고 하는데요.혹시나 이해가 되지 않는다면 언제든지 댓글 남겨주세요! 특이값 분해(SVD,Singular Value Decomposition)란?특이값 분해는 행렬을 여러 개의 작은 행렬로 쪼개서 더 쉽게 다룰 수 있도록 만드는 방법입니다.예를 들어서 밴드 음악이 있다고 가정해볼게요. 이 밴드 음악에는 기타, 드럼, 베이스, 보컬이 하나로 섞여 만들어지죠.근데 우리가 베이스를 연습하는 사람들이라고 한다면, 이 음악에서 베이스 소리만 똑 떼어내서 들으면 참 좋겠죠.그럼 기타, 드럼, 보컬 소리를 ..
최근 자연어 처리의 기본에 대해 포스팅을 시작했는데요.통계적 임베딩을 설명하는데 반드시 필요한 개념인데,해당 포스팅에 담기에는 또 너무 길더라고요.그래서 고유값, 고유벡터 먼저 설명한 뒤, 임베딩을 설명하려고합니다. 이번 포스팅에서 고유값, 고유벡터를 정말 쉽게 설명하려고해요.끝까지 잘 따라와주시면 감사할 것 같습니다.질문과 의견은 언제든지 환영합니다.고유값(Eigenvalue)과 고유 벡터(Eigenvector)란?선형대수 공부하면 나오는 용어이죠. 처음 배우시는 분들도 계시고 잠시 까먹으신 분들도 계실 수 있어요.고유 벡터라고 하는 것은 방향이 변하지 않는 벡터입니다. 만약 사람이 에스컬레이터를 탄다면, 방향이 변하지 않고 쭉 가죠. 이 때 사람이 고유벡터, 이동한 거리가 고유값이라고 할 수 있어요...
지난번 포스팅에서는 임베딩 모델 설명에 들어가기 앞서 토크나이저에 대해 알아봤는데요.아직 못보신 분들은 미리 보시는 것을 추천드립니다. 자연어처리 기초 토크나이저의 모든것! 종류부터 최신 트렌드까지!지난 포스팅에서는 자연어 처리가 무엇이고, 어떤 방법들이 있는지 정말 간단하게 알아봤습니다.혹시 아직 자연어처리에 대한 개념이 잘 안잡혔다고 느껴지신다면,아래의 포스팅을 먼저 보고jaeyoon-95.tistory.com 이번 포스팅부터는 임베딩 방법론에 대해 하나씩 살펴볼텐데요.오늘은 그 첫 번째로 TF-IDF에 대해 살펴볼까 합니다. 임베딩은 어떤 방법이 있는지 궁금하시다면 아래 포스팅도 참고해주세요. 자연어 처리 임베딩의 등장 배경과 종류어느 순간부터 딥러닝이 점점 핫해지기 시작했는데요.OpenAI의 Ch..
지난 포스팅에서는 자연어 처리가 무엇이고, 어떤 방법들이 있는지 정말 간단하게 알아봤습니다.혹시 아직 자연어처리에 대한 개념이 잘 안잡혔다고 느껴지신다면,아래의 포스팅을 먼저 보고 오시는 것을 추천드립니다. 자연어 처리 임베딩의 등장 배경과 종류어느 순간부터 딥러닝이 점점 핫해지기 시작했는데요.OpenAI의 ChatGPT가 공개되면서 LLM에 대한 관심이 폭주하기 시작했어요.이번 포스팅 시리즈는 초기 LM부터 LLM까지 자연어 처리 모델이 어떻게jaeyoon-95.tistory.com 이번 포스팅에서는 자연어 처리의 각 모델들에 대한 설명에 들어가기 전!자연어 문장을 작은 단위인 토큰으로 나누는 과정들에 대해서 살펴볼까 합니다.토크나이징 과정은 모든 모델들에 들어가기 전에 거쳐야하는 과정입니다.그럼 오늘..
어느 순간부터 딥러닝이 점점 핫해지기 시작했는데요.OpenAI의 ChatGPT가 공개되면서 LLM에 대한 관심이 폭주하기 시작했어요.이번 포스팅 시리즈는 초기 LM부터 LLM까지 자연어 처리 모델이 어떻게 진화해 왔는지 그 과정을 살펴보려고해요. 오늘은1. 자연어 처리가 무엇인지2. 임베딩이 왜 필요한지3. 어떤 방법론들이 제시되어있고, 특징은 무엇인지크게 세 포인트로 알아볼게요. 그리고 이후에는 각 임베딩 방법론들을 자세히 알아보며 LLM까지 한번 이해해보도록 하겠습니다.그럼 시작해볼게요!자연어 처리(NLP)란 무엇인가?사람들은 일상에서 대화할 때 언어를 이용하죠. 이것을 바로 '자연어'라고 부르는데요.반면 컴퓨터는 숫자만 이해할 수 있기 때문에 인간의 언어를 직접 처리하기는 어렵습니다.이때, 컴퓨터가..
지난 포스팅에서는 파이썬의 변수와 기초 자료형에 대해서 알아봤는데요.만약 자료형이 뭔지 모르신다면 앞의 포스팅 먼저 보시는 것을 추천드려요. 파이썬 기초 강의 2강 변수와 데이터 타입지난 포스팅에서는 파이썬이 무엇이고 왜 배워야하는지 알려드렸습니다.만약 앞의 포스팅을 못보셨다면 먼저 보고 오시는 것을 추천드립니다. 파이썬 기초 강의 1강 파이썬이란?요즘 정말 핫jaeyoon-95.tistory.com 이번 포스팅에서는 조금 더 심화된 파이썬의 자료구조에 대한 이야기를 해볼까 합니다.끝까지 잘 따라와주시면 너무 좋을 것 같아요!질문은 언제나 환영입니다. 자료구조란 무엇인가?자료구조란 데이터를 효율적으로 저장하고 관리하는 하나의 방법을 의미하는데요.파이썬에서는 이러한 자료 구조를 기본으로 제공합니다.크게 ..
