Wget

Wget — программа предназначена для загрузки файлов из сети. Программа Wget поддерживает протоколы HTTP, FTPи HTTPS и HTTP прокси-сервер. В Ubuntu программа включена в дистрибутив.

Wget не интерактивная программа, это значит что ее можно остановить Ctrl+C или перевести в фоновый режим Ctrl+Z.

Примеры использования:

cd /home/имя пользователя/Загрузки

 

wget http://cdimage.ubuntu.com/ubuntu-gnome/releases/trusty/alpha-1/trusty-desktop-amd64.iso

Скачанный файл будет находится в папке ЗАГРУЗКИ домашней директории.

При скачивании больших файлов иногда процесс скачивания может прерваться, для продолжения используйте параметр -с, например:

wget -с http://cdimage.ubuntu.com/ubuntu-gnome/releases/trusty/alpha-1/trusty-desktop-amd64.iso

файл будет скачиваться с того места где был прерван.

Так же можно при скачивании сразу задать путь для скачивания, например:

wget -P /home/имя пользователя/Загрузки/ http://cdimage.ubuntu.com/ubuntu-gnome/releases/trusty/alpha-1/trusty-desktop-amd64.manifest

wget -P [папка в которую надо скачать файл] [адрес файла]

 

Для скачивания сайта целиком необходимо сделать следующее:

Задайте папку для скачивания:

cd /home/имя пользователя/Загрузки/

Скачайте сайт в указанную ранее папку:

wget -r -k -l 7 -p -E -nc http://ubuntu-desktop.ru

Сайт будет скачать в указанную Вами папку, для запуска главной страницы запустите index.html

-r — указывает на то, что нужно рекурсивно переходить по ссылкам на сайте, чтобы скачивать страницы.

-k — используется для того, чтобы wget преобразовал все ссылки в скаченных файлах таким образом, чтобы по ним можно было переходить на локальном компьютере (в автономном режиме).

-p — указывает на то, что нужно загрузить все файлы, которые требуются для отображения страниц (изображения, css и т.д.).

-l — определяет максимальную глубину вложенности страниц, которые wget должен скачать (по умолчанию значение равно 5). В большинстве случаев сайты имеют страницы с большой степенью вложенности и wget может просто «закопаться», скачивая новые страницы. Чтобы этого не произошло можно использовать параметр -l.

-E — добавлять к загруженным файлам расширение .html.

-nc — при использовании данного параметра существующие файлы не будут перезаписаны. Это удобно, когда нужно продолжить загрузку сайта, прерванную в предыдущий раз.

Справка

GNU Wget 1.14, программа автоматического получения файлов по сети.

Использование: wget [КЛЮЧ]… [URL]…

Обязательные аргументы для длинных параметров являются обязательными и для коротких параметров.

Запуск:

-V,  —version           показать версию Wget и завершить работу

-h,  —help              показать эту справку

-b,  —background        после запуска перейти в фоновый режим

-e,  —execute=КОМАНДА   выполнить команду в стиле «.wgetrc».

Журналирование и входной файл:

-o,  —output-file=ФАЙЛ    записывать сообщения в ФАЙЛ.

-a,  —append-output=ФАЙЛ  дописывать сообщения в конец ФАЙЛА.

-d,  —debug               показать много отладочной информации

-q,  —quiet               ничего не выводить

-v,  —verbose             показывать подробные сведения (по умолчанию).

-nv, —no-verbose          отключить вывод подробных сведений (не полностью)

—report-speed=TYPE   пропускная способность вывода в TYPE.  TYPE может быть битами.

-i,  —input-file=ФАЙЛ     загрузить URL-ы согласно локальному или внешнему ФАЙЛУ.

-F,  —force-html          считать, что входной файл — HTML.

-B,  —base=URL            считать, что ссылки из входного файла (-i -F) указаны относительно URL.

—config=FILE         укажите необходимый конфигурационный файл.

Загрузка:

-t,  —tries=ЧИСЛО             установить ЧИСЛО повторных попыток (0 без ограничения).

—retry-connrefused       повторять, даже если в подключении отказано.

-O,  —output-document=ФАЙЛ    записывать документы в ФАЙЛ.

-nc, —no-clobber пропускает загрузки которые вы хотели закачать в уже существующие файлы (перезаписав их).

-c,  —continue                возобновить загрузку частично загруженного файла.

—progress=ТИП            выбрать тип индикатора выполнения.

-N,  —timestamping            не загружать повторно файлы, только если они  не новее, чем локальные.

—no-use-server-timestamps     не устанавливать метку времени локальному файлу, полученную с сервера.

-S,  —server-response         вывод ответа сервера.

—spider                  ничего не загружать.

-T,  —timeout=СЕКУНДЫ         установка значений всех тайм-аутов в СЕКУНДЫ.

—dns-timeout=СЕК         установка тайм-аута поиска в DNS в СЕК.

—connect-timeout=СЕК     установка тайм-аута подключения в СЕК.

—read-timeout=СЕК        установка тайм-аута чтения в СЕК.

-w,  —wait=СЕКУНДЫ            пауза в СЕКУНДАХ между загрузками

—waitretry=СЕКУНДЫ       пауза в 1..СЕКУНДЫ между повторными попытками загрузки

—random-wait             пауза в 0.5*WAIT…1.5*WAIT секунд между загрузками.

—no-proxy                явно выключить прокси

-Q,  —quota=ЧИСЛО             установить величину квоты загрузки в ЧИСЛО

—bind-address=АДРЕС      привязать АДРЕС (имя компьютера или IP) локального компьютера

—limit-rate=СКОРОСТЬ     ограничить СКОРОСТЬ загрузки

—no-dns-cache            отключить кэширования поисковых DNS-запросов

—restrict-file-names=ОС  использовать в именах файлов символы, допустимые в ОС

—ignore-case             игнорировать регистр при сопоставлении файлов и/или каталогов

-4,  —inet4-only              подключаться только к адресам IPv4

-6,  —inet6-only              подключаться только к адресам IPv6

—prefer-family=СЕМЕЙСТВО подключаться сначала к адресам указанного семейства (может быть IPv6, IPv4 или ничего).

—user=ПОЛЬЗОВАТЕЛЬ       установить и ftp- и http-пользователя в ПОЛЬЗОВАТЕЛЬ

—password=ПАРОЛЬ         установить и ftp- и http-пароль в ПАРОЛЬ

—ask-password            запрашивать пароли.

—no-iri                  выключить поддержку IRI.

—local-encoding=КДР      использовать КДР как локальную кодировку  для IRI

—remote-encoding=КДР     использовать КДР как удалённую кодировку по умолчанию

—unlink                  удалять файлы перед их повторной закачкой

Каталоги:

-nd, —no-directories           не создавать каталоги.

-x,  —force-directories        принудительно создавать каталоги.

-nH, —no-host-directories      не создавать каталоги как на узле.

—protocol-directories     использовать имя протокола в каталогах.

-P,  —directory-prefix=ПРЕФИКС сохранять файлы в ПРЕФИКС/…

—cut-dirs=ЧИСЛО           игнорировать ЧИСЛО компонентов удалённого каталога.

Параметры HTTP:

—http-user=ПОЛЬЗОВ.    установить http-пользователя в ПОЛЬЗОВАТЕЛЬ.

—http-password=ПАРОЛЬ  установить http-пароль в ПАРОЛЬ.

—no-cache              отвергать кэшированные сервером данные.

—default-page=ИМЯ      Изменить имя страницы по умолчанию (обычно это «index.html»).

-E,  —adjust-extension      сохранять документы HTML/CSS с надлежащими расширениями.

—ignore-length         игнорировать поле заголовка «Content-Length».

—header=СТРОКА         вставить СТРОКУ между заголовками.

—max-redirect          максимально допустимое число перенаправлений  на страницу.

—proxy-user=ПОЛЬЗОВ.   установить ПОЛЬЗОВАТЕЛЯ в качестве имени пользователя для прокси.

—proxy-password=ПАРОЛЬ   установить ПАРОЛЬ в качестве пароля для прокси.

—referer=URL           включить в HTTP-запрос заголовок «Referer: URL».

—save-headers          сохранять HTTP-заголовки в файл.

-U,  —user-agent=АГЕНТ      идентифицировать себя как АГЕНТ вместо Wget/ВЕРСИЯ.

—no-http-keep-alive    отключить поддержание активности HTTP (постоянные подключения).

—no-cookies            не использовать кукисы.

—load-cookies=ФАЙЛ     загрузить кукисы из ФАЙЛА перед сеансом.

—save-cookies=ФАЙЛ     сохранить кукисы в ФАЙЛ после сеанса.

—keep-session-cookies  загрузить и сохранить кукисы сеанса (непостоянные).

—post-data=СТРОКА      использовать метод POST; отправка СТРОКИ в качестве данных.

—post-file=ФАЙЛ        использовать метод POST; отправка содержимого ФАЙЛА.

—content-disposition   Учитывать заголовок Content-Disposition при выборе имён для локальных файлов (ЭКСПЕРИМЕНТАЛЬНЫЙ).

—content-on-error      выводит описание ошибки полученное с сервера

—auth-no-challenge     отправлять информацию об аутентификации

Basic HTTP не дожидаясь первого ответа

сервера.

Параметры HTTPS (SSL/TLS):

—secure-protocol=ПР     выбор безопасного протокола: auto, SSLv2,  SSLv3 или TLSv1.

—no-check-certificate   не проверять сертификат сервера.

—certificate=FILE       файл сертификата пользователя.

—certificate-type=ТИП   тип сертификата пользователя: PEM или DER.

—private-key=ФАЙЛ       файл секретного ключа.

—private-key-type=ТИП   тип секретного ключа: PEM или DER.

—ca-certificate=ФАЙЛ    файл с набором CA.

—ca-directory=КАТ       каталог, в котором хранится список CA.

—random-file=ФАЙЛ       файл со случайными данными для SSL PRNG.

—egd-file=ФАЙЛ          файл, определяющий сокет EGD со случайными данными.

Параметры FTP:

—ftp-user=ПОЛЬЗОВАТЕЛЬ установить ftp-пользователя в ПОЛЬЗОВАТЕЛЬ.

—ftp-password=ПАРОЛЬ   установить ftp-пароль в ПАРОЛЬ.

—no-remove-listing     не удалять файлы файлы «.listing».

—no-glob               выключить маски для имён файлов FTP.

—no-passive-ftp        отключить «пассивный» режим передачи.

—preserve-permissions  сохранять права доступа удалённых файлов.

—retr-symlinks         при рекурсии загружать файлы по ссылкам (не каталоги).

WARC опции:

—warc-file=FILENAME      сохраняет данные запроса/ответа в .warc.gz файл.

—warc-header=STRING      вставляет STRING в запись warcinfo.

—warc-max-size=NUMBER    устанавливает максимальный размер WARC файла в NUMBER.

—warc-cdx                записывает CDX индексный файл.

—warc-dedup=FILENAME     не сохранять записи перечисленные в CDX файле.

—no-warc-compression     do not compress WARC files with GZIP.

—no-warc-digests         do not calculate SHA1 digests.

—no-warc-keep-log        do not store the log file in a WARC record.

—warc-tempdir=DIRECTORY  расположение временных WARC файлов.

Рекурсивная загрузка:

-r,  —recursive          включение рекурсивной загрузки.

-l,  —level=ЧИСЛО        глубина рекурсии (inf и 0 — бесконечность).

—delete-after       удалять локальные файлы после загрузки.

-k,  —convert-links      делать ссылки локальными в загруженном HTML или CSS.

-K,  —backup-converted   перед преобразованием файла X делать резервную копию X.orig.

-m,  —mirror             короткий параметр, эквивалентный -N -r -l inf —no-remove-listing.

-p,  —page-requisites    загрузить все изображения и проч., необходимые для отображения HTML-страницы.

—strict-comments    включить строгую (SGML) обработку комментариев  HTML.

Разрешения/запреты при рекурсии:

-A,  —accept=СПИСОК             список разрешённых расширений, разделённых запятыми.

-R,  —reject=СПИСОК             список запрещённых расширений,  разделённых запятыми.

—accept-regex=REGEX        regex matching accepted URLs.

—reject-regex=REGEX        regex matching rejected URLs.

—regex-type=TYPE           regex type (posix).

-D,  —domains=СПИСОК            список разрешённых доменов, разделённых запятыми.

—exclude-domains=СПИСОК    список запрещённых доменов, разделённых запятыми.

—follow-ftp                следовать по ссылкам FTP в HTML-документах.

—follow-tags=СПИСОК        список используемых тегов HTML,  разделённых запятыми.

—ignore-tags=СПИСОК        список игнорируемых тегов HTML,  разделённых запятыми.

-H,  —span-hosts                заходить на чужие узлы при рекурсии.

-L,  —relative                  следовать только по относительным ссылкам.

-I,  —include-directories=СПИСОК список разрешённых каталогов.

—trust-server-names             use the name specified by the redirection  url last component.

-X,  —exclude-directories=СПИСОК список исключаемых каталогов.

-np, —no-parent                 не подниматься в родительский каталог.

Сообщения о замеченных ошибках отправляйте по адресу <bug-wget@gnu.org>.