pytorch lightning에 대한 전반적인 내용은 아래 포스팅을 참고해주세요. pytorch lightning을 사용해보자 pytorch는 가장 널리 쓰이는 딥러닝 프레임워크중 하나이죠. 딥러닝, 머신러닝을 공부하시는 분이라면 들어보셨을겁니다. 써보신 분들은 아시겠지만 pytorch 자체가 굉장히 자유도가 높은 프레임워 jaeyoon-95.tistory.com pytorch lightning은 multi-gpu또한 쉽게 사용하실 수 있습니다. 방법을 찾아보면 아래와 같이 trainer 선언 부에 gpu의 개수를 적어주면 되는데요. trainer = pl.Trainer(max_epochs=10,gpus=4,num_sanity_val_steps=1) 저도 위와 같이 적어주어 GPU 4개인 환경에서 돌리..
pytorch는 가장 널리 쓰이는 딥러닝 프레임워크중 하나이죠. 딥러닝, 머신러닝을 공부하시는 분이라면 들어보셨을겁니다. 써보신 분들은 아시겠지만 pytorch 자체가 굉장히 자유도가 높은 프레임워크이죠. 일반적으로 딥러닝 모델을 구현할 경우 크게 복잡하지는 않지만 GPU, 분산 처리 등을 구현할 경우 코드가 조금씩 복잡해집니다. pytorch lightning은 굉장히 잘 정돈된 하나의 틀을 제공해줍으로써 pytorch의 가독성을 높여줍니다. 이제 본격적으로 pytorch lightning에 대해서 알아보도록 하죠. pytorch lightning 사용 이유 1. 간단한 학습, 검증과정 pytorch lightning은 pytorch의 학습, 검증 과정을 training_step, validation_..
데모 페이지를 만들다보면 한 페이지로 끝나지 않는 경우들이 있죠. 오늘은 아래처럼 사이드 네비게이션바를 두고 페이지에 들어갈 수 있게 해보겠습니다. 사실 코드상으로 수정할 부분은 없고, 구조상으로 수정해야할 부분들이 있습니다. 정말 너무너무 간단해서 살짝 놀라실 수 있습니다. 짠.. 이게 다입니다! 만약 사이드 바를 만들고, 거기에 다른 페이지들을 넣고 싶다! 하시면 pages라는 폴더를 하나 생성하시고, 그 아래에 생성할 페이지들을 만들어주시면 됩니다. 자 여기서 네이밍 규칙들이 몇 가지 있는데요. 먼저 맨 앞에 붙는 숫자는 사이드 바에서 보여지는 순서를 뜻합니다. 저는 hi > bye > nice to meet you순서로 나오길 원했고, 실제로 캡쳐된 화면을 보시면 그 순서대로 나옵니다. 다음으로는..
지난 포스팅에서는 streamlit이 무엇인지 알아보았는데요. 오늘은 streamlit의 위젯들을 한번씩 만들어보겠습니다. 그럼 오늘 배워볼 위젯 종류에는 어떤 것이 있는지 간단하게 정리해보고 사용 방법들을 설명드리겠습니다. 버튼(button) 다운로드 버튼(download) 체크박스(checkbox) 라디오(radio) 셀렉트박스(selectbox) 멀티셀렉트(multiselect) 슬라이더(slider) 셀렉트 슬라이더(select slider) 텍스트입력(text input) 숫자 입력(number input) 텍스트 영역(text area) 날짜 입력(date input) 시간 입력(time input) 파일 업로더(file uploader) 색깔 선택(color picker) 파일 기본세팅 방법..
안녕하세요 컴공누나입니다! 요즘 다양하게 이것저것 공부를 하고 있는데요. 혹시 포스팅을 보시다가 아쉬웠던 점이나 이런거 포스팅 했으면 좋겠다 공부해봐라! 하는 것이 있으시다면, 댓글이나 메일(wodbs9522@gmail.com)로 남겨주시면 참고하여 포스팅 하도록 하겠습니다:) 제 블로그를 찾아주셔서 감사합니다!
쉘 스크립트(shell script)란? 쉘 스크립트는 리눅스(linux)혹은 유닉스(unix) 기반의 운영체제에서 사용되는 스크립트 언입니다. 여기서 스크립트는 명령어, 프로그래밍 구조를 사용하여 시스템 작업을 자동화 하는데 사용됩니다. 예를 들어 main.py -> val.py -> test.py 순서대로 작동시켜야할 때, 쉘 스크립트에 미리 작성한 뒤에 그 쉘 스크립트를 실행하면 명령어 한줄에 저 세 개의 파일을 모두 실행시킬 수 있습니다. 쉘 스크립트 미사용 쉘 스크립트 사용 main.py, val.py, test.py 3번 실행 start.sh 1번 실행 쉘 스크립트는 반복문, 조건문, 함수 등과 같은 프로그래밍 요소들을 포함하기 때문에, 파이썬 코딩하듯이 쉽게 작성할 수 있습니다. 이제부터는 ..
bard는 google의 LLM(대규모 언어 모델)이죠. openai에는 chatgpt가 있다면 google에는 bard가 있다고 생각하시면 됩니다. 발표는 2023년 3월 21일에 했습니다. chatgpt와 크게 차이가 나지는 않죠? 기존에는 영어만 제공을 했지만, 5월 10일부터 한국어, 일본어를 지원하기 때문에 한국어 사용이 가능합니다. Bard 요금 bard는 따로 유료버전이 존재하지 않습니다. chatgpt와는 다르게 무료로 이용 가능합니다. 향후 유료버전이 나올 수는 있지만 2023.06.10기준으로는 무료입니다. Bard API 사용법 먼저 api를 설치하기 전에 bard 가입을 해주셔야합니다. bard 사이트에 접속후 가입을해주세요. (1) Bard 가입 bard홈페이지 접속후 Bard 사..
파이썬으로 병렬 처리를 할 수 있는 대표적인 방법으로는 multiprocessing 라이브러리를 사용하는 방법이 있는데요. 사용해보신 분들은 아시겠지만, multiprocessing라이브러리는 개념이 어렵고, 코드도 꽤나 복잡합니다. 그래서 초기 진입장벽이 높은 편인데요. 그렇다면 쉽게 병렬 처리를 할 수 있는 방법은 없을까요? 바로 ray라는 라이브러리를 사용하시면 아주 쉽게 병렬처리를 할 수 있습니다. Ray란? ray는 파이썬 병렬처리 라이브러리중 하나이며, 기존 multiprocessing 라이브러리와 비교했을 때 많은 장점을 가지고 있습니다. multiprocessing은 적용을 위해서 기존의 코드를 많이 바꾸어야하고, 코드 이해가 쉽지 않습니다. 반면 ray는 정말 단순하기 때문에 코드를 따로..
ChatGPT공개 이후 정말 많은 주목을 받고 있죠. 실제로 저도 사용해 보았는데, 블로그 스크립트는 물론이고 코드 작성, 틀린 코드 수정까지 '정말 이런 모델이 나온다고?'하고 많이 놀랐던 것 같습니다. 오늘은 이 ChatGPT API를 직접 호출해서 사용해 보도록 하겠습니다. ChatGPT 요금 아시는 분들도 계시겠지만 일반 ChatGPT 공개버전은 무료이나, API나 ChatGPT plus는 유료입니다. 1K 토큰당 0.002달러이니, 토큰 1개당은 약 0.000002달러네요. 더 많은 정보가 필요하신 분들은 여기를 참고해주세요. 비록 ChatGPT 사용에는 돈이 들지만, OpenAI에 가입을 하면 18달러의 크레딧을 제공해 줍니다. 즉, 18달러 까지는 무료로 사용해 볼 수 있다는 이야기죠. 오늘..
Streamlit streamlit은 python기반으로 데모페이지를 쉽게 만들 수 있게 해주는 라이브러리입니다. 기본적으로 웹이라고 하면 front, back을 분리시켜야하고, 복잡하다고 생각하시는 분들이 많습니다. 실제로 모델을 개발하거나 데이터를 분석해서 시각화를 하고싶은데, front, back 기술 스킬이 없다면 데모 페이지를 띄우기가 너무 힘들죠. 걱정마세요! 우리에겐 streamlit이라는 아주 쉬운 라이브러리가 있습니다! streamlit은 정말 쉬운 함수로 구현되어있고, 파이썬 기반이기 때문에 파이썬만 아신다면 데모 페이지를 정말 쉽게 구현할 수 있습니다. Streamlit 설치 pip install streamlit 위의 명령어로 쉽게 설치하실 수 있습니다. 설치 후에 아래의 명령어를 ..
