19 octobre 2010

wget HOWTO, tous les paramètres indispensables à connaître

La commande wget est telle un couteau suisse. Sans pratique, c'est difficile de maîtriser cette commande. J'en apprends tous les jours ! C'est pour cela que cet article sera mis à jour régulièrement en fonction des paramètres que j'aurai testés, utilisés et implémentés dans mes scripts :)

  • 1ère solution : télécharger le fichier et le stocker au niveau du répertoire courant

wget http://**.***.**.***/page

  • 2ème solution : télécharger le fichier et le stocker dans un répertoire particulier (avec l'option -O)

wget http://**.***.**.***/page -O  /path/myFile

  • 3ème solution : télécharger le fichier et ne pas générer de sortie à la console (avec l'option --quiet)

wget --quiet http://**.***.**.***/page

  • 4ème solution : effectuer plusieurs essais en cas d'échec de téléchargement (avec l'option --tries)

wget http://**.***.**.***/page --tries=5

  • 5ème solution : effectuer plusieurs essais de n secondes chacun  (avec les options --tries et --timeout)

wget --tries=2 --timeout=5 http://**.***.**.***/page

  • 6ème solution : effectuer un test de téléchargement sans télécharger de fichier (récupérer ensuite le code retour $?)

wget --delete-after http://**.***.**.***/page

  • 7ème solution : effectuer un téléchargement avec un timeout autorisé de 2 secondes et un seul essai possible (utile pour l'intégration dans des scripts)

wget --timeout=2 --tries=1 http://**.***.**.***/page

  • 8ème solution : effectuer un test de téléchargement https sans tester le certificat

wget --no-check-certificate https://**.***.**.***/page

  • 9ème solution : effectuer un téléchargement en passant par un proxy

http_proxy="http://adresseDuProxy:Port" (exemple : http_proxy="http://**.**.***.***:8080"
wget --proxy-user "*****" --proxy-passwd "*******" http://adressePageATelecharger/ --proxy="on"

  • 10ème solution : sauvegarder les cookies en cas de redirection de page en page (merci Laurent)

wget --keep-session-cookies http://adressePageATelecharger/

Pour plus d'options, je vous recommande de lire le man de cette commande :

(article mis à jour régulièrement)

Posté par fatihaelh à 18:26 - Unix - Commentaires [2] - Permalien [#]

Commentaires

    proxyfier le https

    Salut,
    J'ai lutté un moment pour proxyfier du https avec wget... il faut juste savoir qu'il y a 2 variables, http_proxy mais aussi https_proxy !! Et donc si on ne déclare pas de https_proxy, ça ne marche pas

    La doc ici :
    http://www.gnu.org/software/wget/manual/html_node/Proxies.html

    ps : très utile ce blog

    Posté par Laurent, 20 octobre 2010
  • Merci Laurent pour cette astuce

    Posté par Fatiha, 20 octobre 2010

Poster un commentaire