Trainer Trainer는 말 그대로 모델 학습을 담당하는 핵심 클래스입니다. Trainer는 데이터 로딩 전처리, 모델 생성과 최적화, 학습 루프 관리, 중간 결과 보고, 학습 결과 저장 등의 다양한 기능을 수행할 수 있습니다. 클래스 초기화 trainer = Trainer( model=model, # 학습할 모델 args=args, # TrainingArguments train_dataset=train_dataset, # 학습에 사용될 데이터셋 eval_dataset=val_dataset, # 평가에 사용될 데이터셋 tokenizer=tokenizer, # 토크나이저 compute_metrics=compute_metrics, # 평가 지표 계산 함수 callbacks=[early_stopping_..
Auto Class 허깅 페이스는 정말 다양한 모델들이 있다고 말씀드렸었죠. 만약에 이 모델들을 불러올 때마다 다 다르게 선언해 줘야 한다면, 매우매우 복잡할 것입니다. 현재 약 15만건 정도 올라와 있는 것으로 보이는데, 그러면 15만개의 모델로 각각 불러와야합니다. 매번 새 모델마다 코드를 다시 짜야하기 때문에 정말 귀찮은 일이 생기죠ㅠ..ㅠ 그래서 허깅 페이스에는 단 하나의 함수로! 이름만 주면! 바~~~로 모델을 불러올 수 있습니다. 그렇기 때문에 Auto Class라고도 부릅니다. 허깅 페이스에는 텍스트, 이미지, 멀티모달 등등 정말 다양한 모델들이 있는데요. 저는 텍스트 위주로 보겠습니다. Auto Class는 아래와 같이 총 3가지가 있습니다. (텍스트에서 사용하기 위해서) AutoConfi..
허깅페이스 허깅페이스는 트랜스포머 기반의 다양한 모델들과 학습 스크립트를 구현해놓은 일종의 모듈입니다. 기존의 트랜스포머를 학습시킨다고 하면 딥러닝 프레임워크를 선택하고, 그에 맞게 구현을 해야했습니다. 하지만 허깅페이스는 그런 함수들이 이미 정의 되어있기 때문에, 간단하게 모델을 불러서 쓸 수 있습니다. 즉, 따로 구현을 하지 않고 arguments를 줌으로써 편하게 사용이 가능합니다. 또한 가장 좋은 점은 다른 누군가가 이미 학습한 모델을 가져다 쓸 수도 있다는 것입니다. 기존에는 직접 파일을 찾고, 받아서 사용했지만 간단하게 코드 몇 줄이면 그것도 손쉽게 할 수 있습니다. 이 말은 즉, 내가 학습시킨 모델도 허깅페이스에 올릴 수 있다는 것이죠! 뿐만 아니라 데이터도 다운받을 수 있습니다. 하지만! ..
