So verwenden Sie Wget, um alles aus dem Internet herunterzuladen

Wget ist ein Befehlszeilenprogramm, mit dem fast alles heruntergeladen werden kann, was im Internet verfügbar ist. Der Haken ist, dass es über HTTP-, HTTPS- oder FTP-Protokolle verfügbar sein sollte. Andernfalls kann Wget es nicht herunterladen. Es gibt eine Reihe von Möglichkeiten, wie Wget verwendet werden kann. Sie können beispielsweise Wget verwenden, um jedes Bild auf einer Website herunterzuladen, oder Sie können auch eine einzelne Datei herunterladen. Wget ist sogar in der Lage, Downloads fortzusetzen, wenn dies möglich ist. Also, wenn Sie sich fragen, wie Wget funktioniert und was es für Sie tun kann, Hier erfahren Sie, wie Sie Wget verwenden::

Wget installieren

1. Installieren von Wget unter macOS Sierra

Bevor wir mit der Verwendung von Wget beginnen, müssen wir es auf unserem System installieren. Glücklicherweise ist in den meisten Linux-Distributionen Wget vorinstalliert, sodass Sie keine zusätzlichen Arbeiten ausführen müssen. Wenn Sie jedoch einen Mac verwenden, müssen Sie Wget installieren. Dies kann einfach mit Homebrew (Download) durchgeführt werden. Wenn Sie Hilfe benötigen, müssen Sie die folgenden Schritte ausführen:

• Zuerst müssen Sie Homebrew auf Ihrem Mac installieren, um Wget herunterladen zu können. Um dies zu tun, einfach Starten Sie das Terminal, und geben Sie den folgenden Befehl ein:

/ usr / bin / ruby ​​-e "$ (curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

• Nachdem der Befehl abgeschlossen ist, Homebrew wird installiert auf Ihrem System. Sie können jetzt Homebrew verwenden, um Pakete wie Wget zu installieren. Führen Sie im Terminal einfach den folgenden Befehl aus:

brauen installieren wget

• Homebrew wird automatisch gestartet Herunterladen, Entpacken und Installieren von Wget auf Ihrem System. Dieser Schritt kann abhängig von Ihrer Netzwerkgeschwindigkeit einige Zeit dauern. Seien Sie also geduldig. Sobald der Befehl ausgeführt wurde, sollten Sie Wget auf Ihrem Mac verwenden können. Um zu überprüfen, ob es installiert wurde, verwenden Sie einfach den folgenden Befehl:

wget -V

2. Installieren von Wget unter Windows

Die Installation von Wget unter Windows erfordert etwas mehr Aufwand, ist jedoch problemlos möglich. Wenn Sie Wget auf Ihrem Windows-PC installieren möchten, führen Sie einfach die folgenden Schritte aus:

• Laden Sie zuerst Cygwin herunter und dann Führen Sie die heruntergeladene Setup-Datei aus.

• Wenn Sie nach der Standard-Downloadquelle gefragt werden, wählen Sie die Option „Installation aus dem Internet“Und klicken Sie auf "Nächster".

• Wählen Sie ein Installationsverzeichnis für Cygwin sowie ein Verzeichnis, in dem Paketdateien für die Installation von Dienstprogrammen gespeichert werden.

• Im nächsten Bildschirm müssen Sie Ihre Internetverbindung auswählen. Wenn Sie einen Proxy verwenden, wählen Sie den Proxy-Typ aus und geben Sie die Details ein. Für die meisten Benutzer wäre die Wahl jedoch „Direkte Verbindung„.

• Ihnen wird dann ein angezeigt Liste der Spiegel, Wählen Sie eine dieser Optionen aus, um Cygwin herunterzuladen. Wenn der Download fehlschlägt, können Sie es erneut mit einem anderen Spiegel versuchen.

• Suchen Sie im nächsten Fenster nach "Wget", und klicken Sie auf die plus neben "Netz" in der Liste, die auftaucht. Hier das Kontrollkästchen neben „wget”Wird automatisch ausgewählt. Einfach anklicken "Nächster".

• Der nächste Bildschirm zeigt Ihnen die Pakete, die heruntergeladen werden müssen. Klick einfach "Nächster".

• Nach Abschluss der Installation werden Sie gefragt, ob Sie dies möchten Erstellen Sie ein Desktop-Symbol, und / oder ein hinzufügen Eintrag in das Startmenü. Dies ist eine Frage der persönlichen Präferenz, aber ich würde vorschlagen, dass Sie es zumindest zum Startmenü hinzufügen, damit Sie es leicht finden können.

Das ist es. Wget ist jetzt auf Ihrem Windows-PC installiert. Sie können es jedoch nicht über die Eingabeaufforderung ausführen. Stattdessen musst du Starten Sie das Cygwin-Terminal und verwenden Sie von dort aus Wget.

Wie benutzt man Wget?

Nachdem wir Wget auf unserem System eingerichtet haben, wollen wir uns alle coolen Möglichkeiten ansehen, wie wir mit Wget Dateien, Ordner und sogar ganze Websites aus dem Internet herunterladen können. Hier sind einige interessante Dinge, die Sie mit Wget auf Ihrem System tun können.

Hinweis:: Ich verwende Wget auf einem MacBook Air mit MacOS Sierra 10.12.3 Beta. Da das von uns verwendete Dienstprogramm jedoch dasselbe ist (Wget), sind die Befehle auf jedem Betriebssystem, auf dem Sie Wget verwenden, dieselben.

1. Verwenden Sie Wget, um Dateien herunterzuladen

Mit Wget können Sie problemlos Dateien aus dem Internet herunterladen. Verwenden Sie einfach den folgenden Befehl

wget 

• Laden Sie eine Datei herunter und speichern Sie sie unter einem bestimmten Dateinamen

Dateien auf Servern haben manchmal die seltsamsten Namen, und Sie möchten die Datei möglicherweise herunterladen und von Wget automatisch in etwas umbenennen lassen, das für Sie sinnvoller ist. Verwenden Sie dazu einfach den folgenden Befehl

wget -o  

• Laden Sie nur bestimmte Dateitypen herunter

Ein Webserver kann eine Reihe verschiedener Dateien hosten. Was ist, wenn Sie nur alle PDFs auf den Server oder möglicherweise alle GIFs herunterladen möchten? Verwenden Sie einfach den folgenden Befehl:

wget -r -A pdf 

Dieser spezielle Befehl wurde von Mark Zuckerberg in seinem Schlafsaal in Harvard verwendet, um alle Bilder mit nur einem Befehl herunterzuladen und die berüchtigte Website „acesmash.com “zu erstellen..

wget -r -A jpg, jpeg, png, bmp 

2. Laden Sie mit Wget Dateien von mehreren URLs herunter

Angenommen, Sie müssen Dateien von verschiedenen Orten im Internet herunterladen. Es kann eine geben PDF-Datei auf url1, ein wichtiger ZIP-Datei auf url2, und etwas anderes in url3. Wenn Sie Wget auf herkömmliche Weise verwendet haben, müssen Sie es dreimal ausführen. Es gibt jedoch einen viel einfacheren Weg, dies zu tun.

• Erstellen Sie zunächst eine Datei mit allen URLs, von denen Sie Daten herunterladen müssen. Stell sicher, dass du Behalten Sie jede URL in einer eigenen Zeile. Speichern Sie die Datei und stellen Sie sicher, dass Sie sich den Namen merken.

• Verwenden Sie im Terminal den folgenden Befehl, um Dateien von allen URLs herunterzuladen:

wget -i 

wo "Dateiname” ist der Name der Datei, die Sie mit allen URLs erstellt haben Sie mussten Sachen von herunterladen.

3. Laden Sie eine gesamte Website mit Wget herunter

Ja, das hast du richtig gelesen. Mit Wget können Sie auch den Inhalt einer gesamten Website herunterladen. Wenn die Website zu groß ist, dauert der Abschluss dieses Befehls natürlich sehr lange, ganz zu schweigen davon, dass er viel Speicherplatz auf Ihrem System beansprucht. Wenn Sie jedoch Wget zum Herunterladen einer gesamten Website verwenden möchten, verwenden Sie einfach den folgenden Befehl:

wget --mirror -p  -P ./LOCAL-DIR WEBSITE-URL

Dadurch wird die gesamte Website in einen Ordner heruntergeladen. “LOCAL-DIR”In Ihrem Arbeitsverzeichnis. Die Dateien der Website werden dank „WEBADRESSE„.

4. Verwenden Sie Wget als Web Spider

Sie können Wget auch dazu bringen, sich wie ein Webcrawler (oder eine Webspinne) zu verhalten. Dies ist hilfreich, wenn Sie möchten Vergewissern Sie sich, dass die URL für die Datei, die Sie herunterladen möchten, gültig ist. Verwenden Sie einfach den folgenden Befehl, um Wget als Web-Spider zu verwenden und die Gültigkeit von URLs zu überprüfen:

wget --spinne 

Dadurch wird überprüft, ob die von Ihnen erwähnte URL vorhanden ist, und Sie erhalten eine Antwort mit den Ergebnissen der Überprüfung.

• Positive Antwort:

• Negative Antwort:

5. Fahren Sie mit unvollständigen Downloads fort

Dies ist eine weitere wirklich coole Sache, die Wget machen kann. Angenommen, Sie haben eine Datei mit Wget heruntergeladen, mussten aber aus irgendeinem Grund Ihren Laptop herunterfahren. Wenn Sie das nächste Mal versuchen möchten, dieselbe Datei herunterzuladen, kann Wget dies tatsächlich Setzen Sie den Download fort für dich. Du musst nur Stellen Sie sicher, dass Sie sich in demselben Ordner befinden, in den Sie die Datei das letzte Mal heruntergeladen haben, und verwenden Sie dann den folgenden Befehl:

wget -c 

Wenn Wget feststellt, dass ein Teil der Datei bereits in Ihrem System vorhanden ist, wird der Download automatisch fortgesetzt.

Hinweis:: Wenn die Datei auf dem Server seit dem letzten Versuch, sie herunterzuladen, geändert wurde, sollten Sie diesen Befehl nicht verwenden, da dies zu einer beschädigten Datei führt, die Sie nicht lesen können.

Wenn der Server keine weiteren Downloads zulässt, weigert sich Wget, den Download von vorne zu starten. Wenn Sie den Download von Grund auf neu starten möchten, müssen Sie die teilweise heruntergeladene Datei von Ihrem System löschen, zuerst.

Es gibt einige weitere Bedingungen für die Verwendung dieses Arguments, und Sie können mehr darüber auf der Wget-Manpage lesen.

6. Begrenzen Sie die Download-Geschwindigkeit

Wenn Sie Wget zum Herunterladen von Dateien verwenden und daneben im Internet surfen, möchten Sie wahrscheinlich nicht, dass Wget Ihre gesamte Bandbreite verbraucht. Glücklicherweise enthält Wget ein Argument, das Sie verwenden können Begrenzen Sie die Bandbreite das Wget zum Herunterladen von Dateien auf Ihr System verwenden kann:

wget --limit-rate = 

Hinweis:: Beachten Sie, dass die Geschwindigkeit in Bytes und nicht in Bits angegeben wird. Wenn Sie also Wget -limit-rate = 20k verwenden, wird die Bandbreitennutzung auf 20 kB und nicht auf 20 kb begrenzt.

7. Verwenden Sie Wget, um Dateien von FTP-Servern herunterzuladen

Wenn Sie eine Datei von einem FTP-Server herunterladen müssen, können Sie dies auch mit Wget tun. Verwenden Sie einfach den folgenden Befehl, um Dateien von FTP-Servern herunterzuladen:

wget 

• Laden Sie Dateien von FTP-Servern mit Login herunter

Wenn für Ihren FTP-Server eine Anmeldung erforderlich ist, um das Herunterladen von Dateien zu ermöglichen, können Sie die Anmeldeinformationen auch einfach mit Wget übergeben. Verwenden Sie einfach den folgenden Befehl:

wget --ftp-username = USERNAME --ftp-password = PASSWORD 

SIEHE AUCH: 30 Mac Terminal-Befehle für den Zugriff auf versteckte Funktionen

Verwenden Sie Wget, um Dateien aus dem Internet herunterzuladen

Sie können Wget verwenden, um Dateien von überall im Internet herunterzuladen. Während Wget fast immer funktioniert, gibt es bestimmte Server, die den Zugriff auf Wget verhindern. In diesem Fall können Sie versuchen, den -user-agent für Ihren Wget-Befehl zu ändern. Dies ist jedoch keine empfohlene Vorgehensweise, es sei denn, Sie wissen genau, was Sie tun. Mit Wget können Sie zum größten Teil jede Datei aus dem Internet herunterladen, solange Sie Zugriff darauf und deren URL haben.

Haben Sie Wget jemals verwendet, um Dateien aus dem Internet herunterzuladen? Teilen Sie uns Ihre Erfahrungen mit der Verwendung von Wget zum Herunterladen von Dateien über die Protokolle HTTP, HTTPS und FTP mit. Wenn Sie einige andere Verwendungszwecke von Wget kennen, die Ihrer Meinung nach auf dieser Liste stehen sollten, teilen Sie uns dies im Kommentarbereich unten mit.