연구원에서 kaggle, huggingface CLI 도구를 이용해 모델, 데이터셋 다운로드하려면 국가보안법? 규제로 인해 방화벽을 넘지 못해 에러발생하는 경우가 많다. 특히, 아래한글(이것때문에 기술발전이 안된다는 페친이 많음) 각종 행정이 많은 연구원 업무 특성상 윈도우 버전을 주로 사용하기 때문에 리눅스에서 하루 종일 연구만한다는 것은 꿈도 못꿀일이다. 이런 이유로, 윈도우에서 시간 날때 틈틈히 개발해야 하므로, CLI 도구 호환성 문제는 많이 발생한다.
언급된 kaggle 은 윈도우 호환성이 낮다. 신기하게도 우분투에서는 매우 잘 실행된다. 많은 삽질을 해 봣으나 윈도우에서 캐글 돌리다가는 해골되기 쉽상... 그래서, 어쩔수 없이 포기하고, 리눅스에서 사용법을 정리해 둔다.
다음과 같은 순서로 설치하면 된다.
1. kaggle 웹사이트 방문 후 가입한다.
2. kaggle > account > setting > new API key 로 키값을 얻는다. 여기서 브라우저 설정에 따라 kaggle.json이 다운안되는 경우가 많다. 이 경우 다음과 같이 이 파일을 직접 작성해야 한다.
이 파일은 다음 명령으로 생성할 수 있다. 터미널에 입력한다.
mkdir -p ~/.kaggle
echo '{"username":"<user name>","key":"<your key>"}' > ~/.kaggle/kaggle.json
chmod 600 ~/.kaggle/kaggle.json
그 결과 다음 형식의 파일이 생성될 것이다.
{"username":"","key":""}
3. 터미널에서 kaggle 을 설치한다. pip install kaggle
4. 다음과 같이 경진대회 리스트 실행해 본다.
실행 결과는 다음과 같다.
venv_lmm) ktw@tron:~$ kaggle competitions list
ref deadline category reward teamCount userHasEntered
https://www.kaggle.com/competitions/ai-mathematical-olympiad-progress-prize-3 2026-04-15 23:59:00 Featured 2,207,152 Usd 976 False
https://www.kaggle.com/competitions/vesuvius-challenge-surface-detection 2026-02-13 23:59:00 Research 200,000 Usd 446 False
https://www.kaggle.com/competitions/google-tunix-hackathon 2026-01-12 23:59:00 Featured 100,000 Usd 97 False
https://www.kaggle.com/competitions/csiro-biomass 2026-01-28 23:59:00 Research 75,000 Usd 2494 False
https://www.kaggle.com/competitions/recodai-luc-scientific-image-forgery-detection 2026-01-15 23:59:00 Research 55,000 Usd 1029 False
댓글 없음:
댓글 쓰기