wget

wget 상세 설명

1. 개요

wget은 웹에서 파일을 다운로드하기 위한 명령줄 기반 도구로, HTTP, HTTPS, FTP 프로토콜을 지원합니다. 간단한 사용법과 자동화 기능 덕분에 서버 작업에 많이 사용됩니다.

---

2. wget의 주요 특징

• 비동기 다운로드: 다운로드 작업을 백그라운드에서 실행 가능.
• 중단된 다운로드 이어받기: 네트워크 문제가 발생해도 중단된 부분부터 재개.
• 다양한 프로토콜 지원: HTTP, HTTPS, FTP 등 지원.
• 재귀적 다운로드: 웹 페이지 전체를 다운로드 가능.
• 경량화: 추가 라이브러리 없이도 대부분의 OS에서 작동.

---

3. wget 설치 방법

Ubuntu 및 Debian 계열

sudo apt update
sudo apt install -y wget

CentOS 및 RHEL 계열

sudo yum install -y wget

Mac (Homebrew 사용)

brew install wget

설치 확인

설치 완료 후 버전 확인:

wget --version

---

4. 기본 명령어 형식

기본 형식:

wget [옵션] [URL]

예: 파일 다운로드

wget https://example.com/file.zip

---

5. 주요 옵션

기본 옵션

• -O [파일명]: 파일을 지정한 이름으로 저장.
• wget -O 새로운파일명.zip https://example.com/file.zip
• -P [디렉토리 경로]: 파일을 특정 디렉토리에 저장.
• wget -P /path/to/directory https://example.com/file.zip
• -c: 중단된 다운로드를 이어받기.
• wget -c https://example.com/largefile.zip

속도 제한

• --limit-rate: 다운로드 속도를 제한.

  wget --limit-rate=100k https://example.com/file.zip

재귀적 다운로드

• -r: 웹 사이트 전체를 포함하여 다운로드.
• wget -r https://example.com/
• -l [숫자]: 재귀 다운로드의 깊이를 설정.
• wget -r -l 2 https://example.com/

커스텀 헤더 설정

• --user-agent: 사용자 에이전트(User-Agent) 값을 지정.
• wget --user-agent="Mozilla/5.0" https://example.com/
• --header: 요청에 추가적인 헤더를 포함.
• wget --header="Authorization: Bearer token" https://example.com/secure-file.zip

HTTPS 인증서 설정

• --no-check-certificate: HTTPS 인증서 검증을 무시(주의: 보안 위험).

  wget --no-check-certificate https://example.com/secure-file.zip

백그라운드 다운로드

• -b: 다운로드 작업을 백그라운드에서 실행.

  wget -b https://example.com/largefile.zip

---

6. 사용 예시

단일 파일 다운로드

wget https://example.com/file.zip

다수의 파일 다운로드

URL 목록을 files.txt에 작성:

https://example.com/file1.zip
https://example.com/file2.zip

명령 실행:

wget -i files.txt

웹 사이트 전체 다운로드

wget -r -l 1 https://example.com/

인증이 필요한 파일 다운로드

wget --user=username --password=password https://example.com/protected-file.zip

---

7. wget과 curl 비교

기능	wget	curl
주요 목적	파일 다운로드	데이터 전송 및 REST API 호출 지원
재귀적 다운로드 지원	지원	미지원
백그라운드 다운로드	지원	추가 설정 필요
유연성	단순한 파일 다운로드	다목적 데이터 처리 가능

---

8. 문제 해결

HTTPS 인증서 오류

SSL 인증서 오류를 무시하고 다운로드:

wget --no-check-certificate https://example.com/secure-file.zip

속도 제한

대역폭 제한을 설정하여 다운로드:

wget --limit-rate=500k https://example.com/file.zip

---

9. 고급 팁

로그 저장

다운로드 이력을 파일로 저장:

wget -o download.log https://example.com/file.zip

프록시 설정

프록시 서버를 통해 다운로드:

export http_proxy="http://proxy.example.com:8080"
export https_proxy="https://proxy.example.com:8080"

---

10. 결론

wget은 강력하고 간단한 파일 다운로드 도구입니다. 재귀 다운로드, 중단된 다운로드 재개 등 다양한 기능을 제공하며 서버 작업 및 자동화에 필수적인 도구입니다.

---