쉘 스크립트(shell script)란? 쉘 스크립트는 리눅스(linux)혹은 유닉스(unix) 기반의 운영체제에서 사용되는 스크립트 언입니다. 여기서 스크립트는 명령어, 프로그래밍 구조를 사용하여 시스템 작업을 자동화 하는데 사용됩니다. 예를 들어 main.py -> val.py -> test.py 순서대로 작동시켜야할 때, 쉘 스크립트에 미리 작성한 뒤에 그 쉘 스크립트를 실행하면 명령어 한줄에 저 세 개의 파일을 모두 실행시킬 수 있습니다. 쉘 스크립트 미사용 쉘 스크립트 사용 main.py, val.py, test.py 3번 실행 start.sh 1번 실행 쉘 스크립트는 반복문, 조건문, 함수 등과 같은 프로그래밍 요소들을 포함하기 때문에, 파이썬 코딩하듯이 쉽게 작성할 수 있습니다. 이제부터는 ..
bard는 google의 LLM(대규모 언어 모델)이죠. openai에는 chatgpt가 있다면 google에는 bard가 있다고 생각하시면 됩니다. 발표는 2023년 3월 21일에 했습니다. chatgpt와 크게 차이가 나지는 않죠? 기존에는 영어만 제공을 했지만, 5월 10일부터 한국어, 일본어를 지원하기 때문에 한국어 사용이 가능합니다. Bard 요금 bard는 따로 유료버전이 존재하지 않습니다. chatgpt와는 다르게 무료로 이용 가능합니다. 향후 유료버전이 나올 수는 있지만 2023.06.10기준으로는 무료입니다. Bard API 사용법 먼저 api를 설치하기 전에 bard 가입을 해주셔야합니다. bard 사이트에 접속후 가입을해주세요. (1) Bard 가입 bard홈페이지 접속후 Bard 사..
파이썬으로 병렬 처리를 할 수 있는 대표적인 방법으로는 multiprocessing 라이브러리를 사용하는 방법이 있는데요. 사용해보신 분들은 아시겠지만, multiprocessing라이브러리는 개념이 어렵고, 코드도 꽤나 복잡합니다. 그래서 초기 진입장벽이 높은 편인데요. 그렇다면 쉽게 병렬 처리를 할 수 있는 방법은 없을까요? 바로 ray라는 라이브러리를 사용하시면 아주 쉽게 병렬처리를 할 수 있습니다. Ray란? ray는 파이썬 병렬처리 라이브러리중 하나이며, 기존 multiprocessing 라이브러리와 비교했을 때 많은 장점을 가지고 있습니다. multiprocessing은 적용을 위해서 기존의 코드를 많이 바꾸어야하고, 코드 이해가 쉽지 않습니다. 반면 ray는 정말 단순하기 때문에 코드를 따로..
ChatGPT공개 이후 정말 많은 주목을 받고 있죠. 실제로 저도 사용해 보았는데, 블로그 스크립트는 물론이고 코드 작성, 틀린 코드 수정까지 '정말 이런 모델이 나온다고?'하고 많이 놀랐던 것 같습니다. 오늘은 이 ChatGPT API를 직접 호출해서 사용해 보도록 하겠습니다. ChatGPT 요금 아시는 분들도 계시겠지만 일반 ChatGPT 공개버전은 무료이나, API나 ChatGPT plus는 유료입니다. 1K 토큰당 0.002달러이니, 토큰 1개당은 약 0.000002달러네요. 더 많은 정보가 필요하신 분들은 여기를 참고해주세요. 비록 ChatGPT 사용에는 돈이 들지만, OpenAI에 가입을 하면 18달러의 크레딧을 제공해 줍니다. 즉, 18달러 까지는 무료로 사용해 볼 수 있다는 이야기죠. 오늘..
github에서 git clone으로 레파지토리를 가져오면, 일반적으로 master branch를 가져오는데요. 특정 branch를 가져올 상황이 생길 수 있습니다. 이러한 경우 아래와 같이 명령어를 작성하여 특정 branch만 가져올 수 있습니다. git clone -b [branch 이름] [git repo 주소]
원인 pytorch 버전이 CUDA sm_80 아키텍처를 지원하지 않기 때문에 발생하는 오류입니다. 해결 방법 pip3 install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html CUDA sm_80버전을 지원하는 pytorch를 설치하시면 됩니다.
faiss faiss는 대용량의 데이터 간의 유사도를 빠르게 계산해주는 유사도 검색 라이브러리입니다. 예를 들어 유사한 단어를 찾고 싶다! 하시면 미리 임베딩된 단어들로 "인덱스"를 생성해 주시고, "검색"을 통해 관련된 단어를 얻으시면 됩니다. 지금은 텍스트의 예로 말씀드렸는데, 이미지 검색에서도 활용 가능합니다. 사용 방법 1. 임베딩된 벡터 준비 2. 인덱스 생성 3. 검색 faiss는 위의 3가지 과정을 거치면 사용하실 수 있습니다. 본격적으로 사용해 보기 전! 설치를 먼저 해주세요~ cpu 버전 pip install faiss gpu 버전 pip install faiss-gpu 1. 임베딩된 벡터 준비 이미지면 이미지를 임베딩한 벡터, 텍스트면 텍스트를 임베딩한 벡터가 필요합니다. 저는 예시로 ..
원인 libgl1-mesa-glx가 없을 때 나는 오류입니다. 해결 방법 apt-get update apt-get -y install libgl1-mesa-glx 명령어로 설치해 주시면 됩니다.
원인 conda의 경로를 정상적으로 찾지 못하여 발생하는 문제입니다. 해결 방법 vim ~/.bashrc 위의 명령어로 bashrc를 열어주세요. export PATH=~/anaconda3/bin:$PATH 위의 문장을 추가해주세요. source ~/.bashrc 마지막으로 bashrc를 재실행 해주시면 됩니다.
원인 torchvision이 설치되지 않아서 나는 오류입니다. 해결 방법 pip install torchvision 위의 명령어로 설치해주시면 됩니다.
