[HuggingFace] 허깅페이스 Git lfs (모델 파일 다운로드)

huggingface처럼 큰 모델이 올라가는 경우, git lfs로 대용량 파일을 올리고, 다운받을 수 있다. 나는 Ubuntu 를 사용중이며, 내가 구성한 anaconda 환경에서 git lfs를 설치하고 huggingface로부터 대용량 파일을 받아보자.

 

Install

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

sudo apt install git-lfs

Download

#내가 다운받고자 하는 폴더 안에서
$ git lfs install

git clone [huggingface주소]

ex) git clone https://huggingface.co/microsoft/layoutlmv2-base-uncased

이렇게만 해줘도 기존에 pointer만 가져오던 파일을 정상적으로 다운받을 수 있다.