Wget Command Line Downloader Yang Ramah Bandwidth

Sekarang udah menjadi hal biasa melakukan pemeliharaan server melalui akses protocol SSH. Atau bisa disebut juga dengan meremote server. Selain melakukan pemeliharaan dan pengecekan log, kadang kita juga harus mendownload ini itu dari internet. Contohnya mungkin paket terbaru untuk aplikasi server, atau mungkin sebuah file konfigurasi, atau bahkan ISO suatu distribusi linux. Dan tidak terbatas juga dengan MP3, 3gp, jpg, dll..

Nah di dalam shell prompt ini(command line), Wget bisa menjadi penguasa untuk urusan men-donwload. Wget The Non-Interactive Network Downloader ini juga support untuk protocol FTP, HTTP bahkan HTTPS. Dan bisa melakukan autentikasi sebelum mendownload file, menjadikannya salah satu applikasi favorit aku
Berbeda dengan applikasi downloader lain, wget ini sangat ramah bandwidth. Mungkin karena bukan salah satu tipe download accelerator kali yah? Sehingga tidak mengganggu akses internet sewaktu menggunakannya. Kalau pun ada, tidak terlalu signifikan dibanding downloader yang lain.
Berikut beberapa contoh untuk penggunaan Wget.

Download file dari internet

view source

print?

$ wget http://slackblog.org/folder/file-yang-di-download.tar.gz

$ wget ftp://slackblog.org/folder/kumpulan-musik-daerah.tar.gz

Untuk menggunakannya langsung aja. Wget berikut url file yang akan di download.

Download beberapa file dari internet

Sebenarnya ada banyak pilihan cara untuk mendownload beberapa file dari internet. Bisa dengan menggunakan Bash for loop, chain command, bla bla,..
Akan tetapi aku lebih prefer menggunakan option -i pada si wget ini. Menuliskan url yang mau di download ke sebuah file, dan membiarkan wget melakukan tugasnya.

view source

print?

$ vim download.txt

ketik atau pastekan url yang akan di download.

view source

print?

http://slackblog.org/folder/gambar.zip

ftp://kabau.org/avatar.jpg

ftp://tebet.org/iso/slackware/*

Nah tanda asterisk ‘*’ (Shift+8) hanya bisa di gunakan pada protocol FTP. Tujuannya untuk mendownload semua file yang ada di folder tersebut.
Save file download.txt
Jalankan wget seperti ini

view source

print?

$ wget -i download.txt

Yang namanya mendownload file besar atau banyak file dari internet, tentu tidak terlepas juga dari resiko putus koneksi atau mati listrik
Untuk itu tidak ada salahnya kita menambahkan option -c setiap kali mendownload. Option ini adalah fitur resume.

view source

print?

$ wget -c -i download.txt

Jalankan wget di background
Hal ini bisa di lakukan dengan option -b. Yang nantinya kita bisa tail -f progress download ke file wget-log.

view source

print?

$ wget -c -i -b download.txt

dan

view source

print?

$ tail -f wget-log

untuk melihat progress download.
Setelah itu tekan ctrl+c untuk keluar dari tail -f tadi.
Untuk option yang lainnya silahkan cek $man wget
Oke mari kita ugal ugalan dengan si wget dengan mendownload seluruh isi sebuah website ke hardisk atau ke server.

view source

print?

$ wget --wait=5 --limit-rate=50K -r -p -U Chrome --no-parent -b http://namawebsitenya/filenya.html

Penjelasan contoh diatas kira2 seperti ini.
Wget, berhenti 5 detik setiap download, dan downloadlah dengan kecepatan 50kb, secara recursive semua halaman website itu (termasuk image atau suara atau flash) dan katakan kalau yang buka itu adalah browser Chrome dan jangan download file yang ada di atas folder yang di maksud, lakukan semua ini secara background.