본문 바로가기

NLP/huggingface

[huggingface] 대용량 데이터셋 로컬 다운로드 방법

https://huggingface.co/datasets/laion/laion-coco

 

laion/laion-coco · Datasets at Hugging Face

You need to agree to share your contact information to access this dataset This repository is publicly accessible, but you have to accept the conditions to access its files and content. Log in or Sign Up to review the conditions and access this dataset con

huggingface.co

 

위 데이터셋을 다운로드받고자 했다.

그러면 아래와 같이 하면 된다.

 

# 1. download git-lfs

apt-get install git-lfs

# 2. download code
git lfs clone https://HUGGINGFACE_NAME:HF_TOKEN@huggingface.co/datasets/laion/laion-coco

 

  • HUGGINGFACE_NAME: 허깅페이스 이름 입력하면 된다.
  • HF_TOKEN: 허깅페이스 설정 가면 TOKEN 발급받을 수 있다. 하나 발급해서 기입하자.