[huggingface🤗] 1.허깅페이스란?

허깅페이스

허깅페이스는 트랜스포머 기반의 다양한 모델들과 학습 스크립트를 구현해놓은 일종의 모듈입니다. 

기존의 트랜스포머를 학습시킨다고 하면 딥러닝 프레임워크를 선택하고, 그에 맞게 구현을 해야했습니다. 

하지만 허깅페이스는 그런 함수들이 이미 정의 되어있기 때문에, 간단하게 모델을 불러서 쓸 수 있습니다. 

즉, 따로 구현을 하지 않고 arguments를 줌으로써 편하게 사용이 가능합니다. 

 

또한 가장 좋은 점은 다른 누군가가 이미 학습한 모델을 가져다 쓸 수도 있다는 것입니다. 

기존에는 직접 파일을 찾고, 받아서 사용했지만 간단하게 코드 몇 줄이면 그것도 손쉽게 할 수 있습니다. 

이 말은 즉, 내가 학습시킨 모델도 허깅페이스에 올릴 수 있다는 것이죠!

뿐만 아니라 데이터도 다운받을 수 있습니다. 

 

하지만! 여기서 단점이 하나 있는데요!

이미 다 모듈화가 되어있기 때문에 커스터마이징 하기가 조금 어렵습니다.

물론 불가능 한 것은 아니지만 소스코드에 대한 깊은 이해가 필요합니다. 

 

※ 트랜스포머가 무엇인가요?

여기서 트랜스 포머를 다 설명하기엔 너무 길기 때문에, 자세하게 설명한 글을 참고해 주세요!

간단하게 말씀드리자면 '셀프 어텐션(self-attention)'을 사용한 언어모델인데, 현재 언어 뿐만 아니라 이미지, 영상에도 다양하게 사용되고 있습니다. 

 

웹페이지 탐방하기

허깅페이스를 직접 사용하는 것은 다음 포스팅부터 진행할거고요! 

이번 포스팅에서는 내가 원하는 모델을 웹페이지에서 어떻게 찾는지 한번 살펴볼게요!

 

1. 모델 찾기

먼저 웹페이지에 접속하시면 위에 여러 메뉴들이 있을건데요. 모델을 눌러줍시다. 

모델을 눌러주시면 굉장히 많은게 뜹니다!

 

좌측 메뉴에는 정말 많은 Task들이 있고, 우측에는 실제로 올라와있는 모델들입니다. 

저는 텍스트 분류하는 한국어 모델을 찾아볼게요!

좌측 Tasks에서 Text Classification을 누르고, language에서 korean을 선택해 주면 그에 맞는 모델들이 검색되죠. 

우리는 30개의 한국어 분류 모델을 검색할 수 있고, 여기서 원하는 모델을 직접 사용하시면 됩니다. 

 

혹은 원하는 한국어 지원이 되지 않는 모델을 받아서 직접 학습하여 사용할 수도 있습니다. 

 

2. 데이터 찾기

이번에는 Datasets을 누르시면 많은 데이터들이 검색됩니다.

 

모델과 동일하게 원하는 데이터셋을 선택하시고 사용하시면 됩니다.