Wget kullanarak Web Sayfaları ve Dosyaları Nasıl İndirilir

Wget yardımcı programı, Linux komut satırını kullanarak web sayfalarını, dosyaları ve görüntüleri web'den indirir. Bir siteden indirmek için tek bir wget komutu kullanabilir veya birden çok sitede birden çok dosya indirmek için bir girdi dosyası oluşturabilirsiniz. Kılavuz sayfasına göre wget, kullanıcı sistemden çıkış yapmış olsa bile kullanılabilir. Bunu yapmak için nohup komutunu kullanın.

Wget Komutunun Özellikleri

Tüm web sitelerini wget kullanarak indirebilirsiniz, ve bağlantıları yerel kaynakları gösterecek şekilde dönüştürün, böylece bir web sitesini çevrimdışı görüntüleyebilirsiniz. Wget yardımcı programı, bağlantı koptuğunda ve mümkünse bağlantı geri geldiğinde kaldığı yerden devam ettiğinde bir indirmeyi yeniden dener.

Wget'in diğer özellikleri aşağıdaki gibidir:

  • Dosyaları HTTP, HTTPS ve FTP kullanarak indirin.
  • İndirmelere devam edin.
  • İndirilen web sayfalarındaki mutlak bağlantıları, web sitelerinin çevrimdışı görüntülenebilmesi için ilgili URL'lere dönüştürün.
  • HTTP proxy'lerini ve tanımlama bilgilerini destekler.
  • Kalıcı HTTP bağlantılarını destekler.
  • Oturum açmamış olsanız bile arka planda çalışabilir.
  • Linux ve Windows'ta çalışır.

Wget Kullanarak Web Sitesi Nasıl İndirilir

Bu kılavuz için, bu Linux blogunu nasıl indireceğinizi öğreneceksiniz:

wget www.ever

Başlamadan önce, mkdir komutunu kullanarak makinenizde bir klasör oluşturun ve ardından cd komutunu kullanarak klasöre gidin.

Örneğin:

mkdir dailylinuxuser
cd günlük linuxuser
wget www.ever

Sonuç, Google'dan alınan içeriği içeren tek bir index.html dosyasıdır. Resimler ve stil sayfaları Google'da tutulur.

Sitenin tamamını ve tüm sayfaları indirmek için aşağıdaki komutu kullanın:

wget -r www.ever

Bu, sayfaları yinelemeli olarak maksimum 5 düzeye kadar indirir. Beş seviye derinliği siteden her şeyi almak için yeterli olmayabilir. Kullan -l Gitmek istediğiniz düzeylerin sayısını aşağıdaki gibi ayarlayın:

wget -r -l10 www.ever

Sonsuz özyineleme istiyorsanız, aşağıdakileri kullanın:

wget -r -l inf www.ever

Ayrıca inf ile 0, bu aynı anlama gelir.

Bir sorun daha var. Tüm sayfaları yerel olarak alabilirsiniz, ancak sayfalardaki bağlantılar orijinal yeri gösterir. Sayfalardaki bağlantılar arasında yerel olarak tıklamak mümkün değildir.

Bu sorunu aşmak için, -k aşağıdaki gibi sayfalardaki bağlantıları yerel olarak indirilen eşdeğerine işaret edecek şekilde dönüştürmek için geçiş yapın:

wget -r -k www.ever

Bir web sitesinin tam bir aynasını elde etmek istiyorsanız, aşağıdaki anahtarı kullanın; -r, -k, ve -l anahtarlar.

wget -m www.ever

Bir web siteniz varsa, bu basit komutu kullanarak tam bir yedekleme yapabilirsiniz.

Wget'i Arkaplan Komutu olarak çalıştırın

Dosyalar indirilirken işinize terminal penceresinde devam edebilmenizi sağlayan bir arka plan komutu olarak çalıştırmak için wget alabilirsiniz. Aşağıdaki komutu kullanın:

wget -b www.ever

Anahtarları birleştirebilirsiniz. Siteyi yansıtırken wget komutunu arka planda çalıştırmak için aşağıdaki komutu kullanın:

wget -b -m www.ever

Bunu aşağıdaki gibi daha da basitleştirebilirsiniz:

wget -bm www.ever

Günlüğü

Eğer wget komutunu arka planda çalıştırırsanız, ekrana gönderdiği normal mesajların hiçbirini görmezsiniz. İlerlemeyi istediğiniz zaman kontrol edebilmek için bu mesajları bir günlük dosyasına göndermek için tail komutunu kullanın.

Wget komutundan bir günlük dosyasına bilgi vermek için aşağıdaki komutu kullanın:

wget -o / path / to / mylogfile www.ever

Bunun tersi, hiç kayıt yapılmamasını ve ekrana çıkış yapılmamasını gerektirmektir. Tüm çıktıyı atlamak için aşağıdaki komutu kullanın:

wget -q www.ever

Birden Fazla Siteden İndirme

Birçok farklı siteden indirmek için bir girdi dosyası kurabilirsiniz. Favori düzenleyicinizi veya cat komutunu kullanarak bir dosya açın ve dosyanın her satırında indirilecek siteleri veya bağlantıları listeleyin. Dosyayı kaydedin ve ardından aşağıdaki wget komutunu çalıştırın:

wget -i /

Web sitenizi yedeklemenin veya çevrimdışı okumak için indirecek bir şey bulmanın dışında, bir web sitesinin tamamını indirmek istemeniz olası değildir. Görüntüleri içeren tek bir URL veya zip dosyaları, ISO dosyaları veya görüntü dosyaları gibi dosyaları indirme olasılığınız daha yüksektir.

Bunu akılda tutarak, zaman alıcı olduğu için aşağıdakileri girdi dosyasına yazmanıza gerek yoktur:

  • http://www.myfileserver.com/file1.zip
  • http://www.myfileserver.com/file2.zip
  • http://www.myfileserver.com/file3.zip

Temel URL'nin aynı olduğunu biliyorsanız, giriş dosyasında aşağıdakileri belirtin:

  • file1.zip
  • file2.zip
  • file3.zip

Daha sonra temel URL'yi wget komutunun bir parçası olarak aşağıdaki gibi sağlayabilirsiniz:

wget -B http://www.myfileserver.com -i /

Yeniden Deneme Seçenekleri

Bir girdi dosyasında indirilecek bir dosya kuyruğu ayarlarsanız ve dosyaları indirmek için bilgisayarınızı çalışır durumda bırakırsanız, giriş dosyası siz dışarıdayken takılabilir ve içeriği indirmeyi yeniden deneyebilir. Aşağıdaki anahtarı kullanarak yeniden deneme sayısını belirtebilirsiniz:

wget -t 10 -i /

Yukarıdaki komutu, -T saniye cinsinden bir zaman aşımı belirtmek için aşağıdaki gibi geçiş yapın:

wget -t 10 -T 10 -i /

Yukarıdaki komut 10 kez yeniden deneyecek ve dosyadaki her bağlantı için 10 saniye boyunca bağlanacaktır.

Ayrıca, 75 gigabaytlık bir dosyanın% 4'ini yavaş bir geniş bant bağlantıda yalnızca bağlantının kesilmesi için indirdiğinizde sakıncalıdır. İndirmeyi durdurduğu yerden yeniden denemek üzere wget'i kullanmak için aşağıdaki komutu kullanın:

wget -c www.myfileser

Bir sunucuyu düzenlerseniz, ana bilgisayar bundan hoşlanmayabilir ve isteklerinizi engelleyebilir veya öldürebilir. Her alım arasında ne kadar bekleyeceğinizi belirtmek için aşağıdaki gibi bir bekleme süresi belirtebilirsiniz:

wget -w 60 -i /

Yukarıdaki komut her indirme arasında 60 saniye bekler. Tek bir kaynaktan çok sayıda dosya indirirseniz bu kullanışlıdır.

Bazı web sunucuları frekansı fark edip sizi engelleyebilir. Bir programı kullanmıyormuşsunuz gibi görünmesi için bekleme süresini aşağıdaki gibi rasgele yapabilirsiniz:

wget --random-bekleyin -i /

İndirme Sınırlarını Koruyun

Birçok internet servis sağlayıcısı, özellikle şehir dışında yaşayanlar için geniş bant kullanımı için indirme limitleri uygular. İndirme sınırınızı aşmamak için bir kota eklemek isteyebilirsiniz. Bunu şu şekilde yapabilirsiniz:

wget -q 100m -i /

The -q komutu tek bir dosyayla çalışmaz. 2 gigabayt boyutunda bir dosya indirirseniz, -q 1000m dosyanın indirilmesini durdurmaz.

Kota yalnızca bir siteden yinelemeli olarak indirilirken veya bir girdi dosyası kullanılırken uygulanır.

Güvenliği Geçin

Bazı siteler, indirmek istediğiniz içeriğe erişmek için oturum açmanızı gerektirir. Kullanıcı adını ve parolayı belirtmek için aşağıdaki anahtarları kullanın.

wget - kullanıcı = kullanıcı adınız - parola

Çok kullanıcılı bir sistemde, birisi ps komut, kullanıcı adınızı ve şifrenizi görebilirler.

Diğer İndirme Seçenekleri

Varsayılan olarak, -r switch, içeriği özyinelemeli olarak indirir ve ilerledikçe dizinler oluşturur. Tüm dosyaları tek bir klasöre indirmek için aşağıdaki anahtarı kullanın:

Bunun tersi, aşağıdaki komut kullanılarak gerçekleştirilebilecek dizinlerin oluşturulmasını zorlamaktır:

Belirli Dosya Türleri Nasıl İndirilir

Bir siteden yinelemeli olarak indirmek istiyorsanız, ancak yalnızca MP3 gibi belirli bir dosya türünü veya PNG gibi bir görüntüyü indirmek istiyorsanız, aşağıdaki sözdizimini kullanın:

wget -B &

Bunun tersi, belirli dosyaları görmezden gelmektir. Belki de çalıştırılabilir dosyaları indirmek istemiyorsunuz. Bu durumda, aşağıdaki sözdizimini kullanın:

wget -R &

Cliget

Cliget adında bir Firefox eklentisi var. Bunu Firefox'a eklemek için:

  1. Https://addons.mozilla.org/en-US/firefox/addon/cliget/ adresini ziyaret edin ve Firefox'a ekle düğmesine basın.

  2. Tıkla kurmak düğmesi göründüğünde ve ardından Firefox'u yeniden başlatın.

  3. Cliget'i kullanmak için indirmek istediğiniz bir sayfayı veya dosyayı ziyaret edin ve sağ tıklayın. Cliget adlı bir bağlam menüsü görünür ve bunu yapmak için seçenekler vardır. kopyala wget ve curl için kopyala.

  4. Tıkla wget'e kopyala seçeneği, bir terminal penceresi açın, ardından sağ tıklayın ve makarna. Uygun wget komutu pencereye yapıştırılır.

Bu sizi komutu kendiniz yazmak zorunda kalmaktan kurtarır.

Özet

Wget komutunun bir dizi seçeneği ve anahtarı vardır. Wget kılavuz sayfasını okumak için aşağıdakini terminal penceresine yazın:

adam wget

#goog-gt-tt {display:none !important;}.goog-te-banner-frame {display:none !important;}.goog-te-menu-value:hover {text-decoration:none !important;}body {top:0 !important;}#gtranslate_element {display:none!important;}

var gt_not_translated_list = ["wget www.ever","wget -r www.ever","wget -r -l10 www.ever","wget -r -l inf www.ever","wget -r -k www.ever","wget -m www.ever","wget -b www.ever","wget -b -m www.ever","wget -bm www.ever","wget -q www.ever","wget -i /","file1.zip","file2.zip","file3.zip","wget -B http://www.myfileserver.com -i /","wget -t 10 -i /","wget -t 10 -T 10 -i /","wget -c www.myfileser","wget -w 60 -i /","wget -q 100m -i /","Cliget"];
document.cookie = "googtrans=/auto/tr; domain=.balogs.xyz";
document.cookie = "googtrans=/auto/tr";
function GTranslateElementInit() {new google.translate.TranslateElement({pageLanguage: 'auto',layout: google.translate.TranslateElement.InlineLayout.SIMPLE,autoDisplay: false,multilanguagePage: true}, 'gtranslate_element');}