~ubuntu-branches/ubuntu/trusty/wget/trusty-updates

« back to all changes in this revision

Viewing changes to doc/wget.texi

  • Committer: Bazaar Package Importer
  • Author(s): Marc Deslauriers
  • Date: 2009-12-12 08:15:59 UTC
  • mfrom: (2.1.5 squeeze)
  • Revision ID: james.westby@ubuntu.com-20091212081559-mvccl4kzdqb138y3
Tags: 1.12-1.1ubuntu1
* Merge from debian testing, remaining changes:
  - Add wget-udeb to ship wget.gnu as alternative to busybox wget
    implementation.
* Keep build dependencies in main:
  - debian/control: remove info2man build-dep
  - debian/patches/00list: disable wget-infopod_generated_manpage.dpatch

Show diffs side-by-side

added added

removed removed

Lines of Context:
3
3
@c %**start of header
4
4
@setfilename wget.info
5
5
@include version.texi
6
 
@set UPDATED May 2008
7
6
@settitle GNU Wget @value{VERSION} Manual
8
7
@c Disable the monstrous rectangles beside overfull hbox-es.
9
8
@finalout
32
31
 
33
32
@c man begin COPYRIGHT
34
33
Copyright @copyright{} 1996, 1997, 1998, 1999, 2000, 2001, 2002, 2003,
35
 
2004, 2005, 2006, 2007, 2008 Free Software Foundation, Inc.
 
34
2004, 2005, 2006, 2007, 2008, 2009 Free Software Foundation, Inc.
36
35
 
37
36
@iftex
38
37
Permission is granted to make and distribute verbatim copies of
83
82
@contents
84
83
 
85
84
@ifnottex
86
 
@node Top
 
85
@node Top, Overview, (dir), (dir)
87
86
@top Wget @value{VERSION}
88
87
 
89
88
@insertcopying
90
89
@end ifnottex
91
90
 
92
91
@menu
93
 
* Overview::            Features of Wget.
94
 
* Invoking::            Wget command-line arguments.
95
 
* Recursive Download::  Downloading interlinked pages.
96
 
* Following Links::     The available methods of chasing links.
97
 
* Time-Stamping::       Mirroring according to time-stamps.
98
 
* Startup File::        Wget's initialization file.
99
 
* Examples::            Examples of usage.
100
 
* Various::             The stuff that doesn't fit anywhere else.
101
 
* Appendices::          Some useful references.
102
 
* Copying this manual:: You may give out copies of Wget and of this manual.
103
 
* Concept Index::       Topics covered by this manual.
 
92
* Overview::                    Features of Wget.
 
93
* Invoking::                    Wget command-line arguments.
 
94
* Recursive Download::          Downloading interlinked pages.
 
95
* Following Links::             The available methods of chasing links.
 
96
* Time-Stamping::               Mirroring according to time-stamps.
 
97
* Startup File::                Wget's initialization file.
 
98
* Examples::                    Examples of usage.
 
99
* Various::                     The stuff that doesn't fit anywhere else.
 
100
* Appendices::                  Some useful references.
 
101
* Copying this manual::         You may give out copies of this manual.
 
102
* Concept Index::               Topics covered by this manual.
104
103
@end menu
105
104
 
106
 
@node Overview
 
105
@node Overview, Invoking, Top, Top
107
106
@chapter Overview
108
107
@cindex overview
109
108
@cindex features
133
132
@c man end
134
133
@end ignore
135
134
@c man begin DESCRIPTION
136
 
Wget can follow links in @sc{html} and @sc{xhtml} pages and create local 
137
 
versions of remote web sites, fully recreating the directory structure of 
138
 
the original site.  This is sometimes referred to as ``recursive
139
 
downloading.''  While doing that, Wget respects the Robot Exclusion
140
 
Standard (@file{/robots.txt}).  Wget can be instructed to convert the
141
 
links in downloaded @sc{html} files to the local files for offline
142
 
viewing.
 
135
Wget can follow links in @sc{html}, @sc{xhtml}, and @sc{css} pages, to
 
136
create local versions of remote web sites, fully recreating the
 
137
directory structure of the original site.  This is sometimes referred to
 
138
as ``recursive downloading.''  While doing that, Wget respects the Robot
 
139
Exclusion Standard (@file{/robots.txt}).  Wget can be instructed to
 
140
convert the links in downloaded files to point at the local files, for
 
141
offline viewing.
143
142
@c man end
144
143
 
145
144
@item
212
211
file @file{COPYING} that came with GNU Wget, for details).
213
212
@end itemize
214
213
 
215
 
@node Invoking
 
214
@node Invoking, Recursive Download, Overview, Top
216
215
@chapter Invoking
217
216
@cindex invoking
218
217
@cindex command line
236
235
the command line.
237
236
 
238
237
@menu
239
 
* URL Format::
240
 
* Option Syntax::
241
 
* Basic Startup Options::
242
 
* Logging and Input File Options::
243
 
* Download Options::
244
 
* Directory Options::
245
 
* HTTP Options::
246
 
* HTTPS (SSL/TLS) Options::
247
 
* FTP Options::
248
 
* Recursive Retrieval Options::
249
 
* Recursive Accept/Reject Options::
 
238
* URL Format::                  
 
239
* Option Syntax::               
 
240
* Basic Startup Options::       
 
241
* Logging and Input File Options::  
 
242
* Download Options::            
 
243
* Directory Options::           
 
244
* HTTP Options::                
 
245
* HTTPS (SSL/TLS) Options::     
 
246
* FTP Options::                 
 
247
* Recursive Retrieval Options::  
 
248
* Recursive Accept/Reject Options::  
 
249
* Exit Status::                 
250
250
@end menu
251
251
 
252
 
@node URL Format
 
252
@node URL Format, Option Syntax, Invoking, Invoking
253
253
@section URL Format
254
254
@cindex URL
255
255
@cindex URL syntax
327
327
 
328
328
@c man begin OPTIONS
329
329
 
330
 
@node Option Syntax
 
330
@node Option Syntax, Basic Startup Options, URL Format, Invoking
331
331
@section Option Syntax
332
332
@cindex option syntax
333
333
@cindex syntax of options
352
352
wget -drc @var{URL}
353
353
@end example
354
354
 
355
 
This is a complete equivalent of:
 
355
This is completely equivalent to:
356
356
 
357
357
@example
358
358
wget -d -r -c @var{URL}
397
397
@samp{--no-} prefix.  This might seem superfluous---if the default for
398
398
an affirmative option is to not do something, then why provide a way
399
399
to explicitly turn it off?  But the startup file may in fact change
400
 
the default.  For instance, using @code{follow_ftp = off} in
401
 
@file{.wgetrc} makes Wget @emph{not} follow FTP links by default, and
 
400
the default.  For instance, using @code{follow_ftp = on} in
 
401
@file{.wgetrc} makes Wget @emph{follow} FTP links by default, and
402
402
using @samp{--no-follow-ftp} is the only way to restore the factory
403
403
default from the command line.
404
404
 
405
 
@node Basic Startup Options
 
405
@node Basic Startup Options, Logging and Input File Options, Option Syntax, Invoking
406
406
@section Basic Startup Options
407
407
 
408
408
@table @samp
430
430
 
431
431
@end table
432
432
 
433
 
@node Logging and Input File Options
 
433
@node Logging and Input File Options, Download Options, Basic Startup Options, Invoking
434
434
@section Logging and Input File Options
435
435
 
436
436
@table @samp
480
480
@cindex input-file
481
481
@item -i @var{file}
482
482
@itemx --input-file=@var{file}
483
 
Read @sc{url}s from @var{file}.  If @samp{-} is specified as
484
 
@var{file}, @sc{url}s are read from the standard input.  (Use
485
 
@samp{./-} to read from a file literally named @samp{-}.)
 
483
Read @sc{url}s from a local or external @var{file}.  If @samp{-} is
 
484
specified as @var{file}, @sc{url}s are read from the standard input.  
 
485
(Use @samp{./-} to read from a file literally named @samp{-}.)
486
486
 
487
487
If this function is used, no @sc{url}s need be present on the command
488
488
line.  If there are @sc{url}s both on the command line and in an input
489
489
file, those on the command lines will be the first ones to be
490
 
retrieved.  The @var{file} need not be an @sc{html} document (but no
491
 
harm if it is)---it is enough if the @sc{url}s are just listed
492
 
sequentially.
 
490
retrieved.  If @samp{--force-html} is not specified, then @var{file}
 
491
should consist of a series of URLs, one per line.
493
492
 
494
493
However, if you specify @samp{--force-html}, the document will be
495
494
regarded as @samp{html}.  In that case you may have problems with
497
496
href="@var{url}">} to the documents or by specifying
498
497
@samp{--base=@var{url}} on the command line.
499
498
 
 
499
If the @var{file} is an external one, the document will be automatically
 
500
treated as @samp{html} if the Content-Type matches @samp{text/html}.
 
501
Furthermore, the @var{file}'s location will be implicitly used as base
 
502
href if none was specified.
 
503
 
500
504
@cindex force html
501
505
@item -F
502
506
@itemx --force-html
509
513
@cindex base for relative links in input file
510
514
@item -B @var{URL}
511
515
@itemx --base=@var{URL}
512
 
Prepends @var{URL} to relative links read from the file specified with
513
 
the @samp{-i} option.
 
516
Resolves relative links using @var{URL} as the point of reference,
 
517
when reading links from an HTML file specified via the
 
518
@samp{-i}/@samp{--input-file} option (together with
 
519
@samp{--force-html}, or when the input file was fetched remotely from
 
520
a server describing it as @sc{html}). This is equivalent to the
 
521
presence of a @code{BASE} tag in the @sc{html} input file, with
 
522
@var{URL} as the value for the @code{href} attribute.
 
523
 
 
524
For instance, if you specify @samp{http://foo/bar/a.html} for
 
525
@var{URL}, and Wget reads @samp{../baz/b.html} from the input file, it
 
526
would be resolved to @samp{http://foo/baz/b.html}.
514
527
@end table
515
528
 
516
 
@node Download Options
 
529
@node Download Options, Directory Options, Logging and Input File Options, Invoking
517
530
@section Download Options
518
531
 
519
532
@table @samp
578
591
cases, the local file will be @dfn{clobbered}, or overwritten, upon
579
592
repeated download.  In other cases it will be preserved.
580
593
 
581
 
When running Wget without @samp{-N}, @samp{-nc}, @samp{-r}, or @samp{p},
582
 
downloading the same file in the same directory will result in the
583
 
original copy of @var{file} being preserved and the second copy being
584
 
named @samp{@var{file}.1}.  If that file is downloaded yet again, the
585
 
third copy will be named @samp{@var{file}.2}, and so on.  When
586
 
@samp{-nc} is specified, this behavior is suppressed, and Wget will
587
 
refuse to download newer copies of @samp{@var{file}}.  Therefore,
588
 
``@code{no-clobber}'' is actually a misnomer in this mode---it's not
589
 
clobbering that's prevented (as the numeric suffixes were already
590
 
preventing clobbering), but rather the multiple version saving that's
591
 
prevented.
 
594
When running Wget without @samp{-N}, @samp{-nc}, @samp{-r}, or
 
595
@samp{-p}, downloading the same file in the same directory will result
 
596
in the original copy of @var{file} being preserved and the second copy
 
597
being named @samp{@var{file}.1}.  If that file is downloaded yet
 
598
again, the third copy will be named @samp{@var{file}.2}, and so on.
 
599
(This is also the behavior with @samp{-nd}, even if @samp{-r} or
 
600
@samp{-p} are in effect.)  When @samp{-nc} is specified, this behavior
 
601
is suppressed, and Wget will refuse to download newer copies of
 
602
@samp{@var{file}}.  Therefore, ``@code{no-clobber}'' is actually a
 
603
misnomer in this mode---it's not clobbering that's prevented (as the
 
604
numeric suffixes were already preventing clobbering), but rather the
 
605
multiple version saving that's prevented.
592
606
 
593
 
When running Wget with @samp{-r} or @samp{-p}, but without @samp{-N}
594
 
or @samp{-nc}, re-downloading a file will result in the new copy
595
 
simply overwriting the old.  Adding @samp{-nc} will prevent this
596
 
behavior, instead causing the original version to be preserved and any
597
 
newer copies on the server to be ignored.
 
607
When running Wget with @samp{-r} or @samp{-p}, but without @samp{-N},
 
608
@samp{-nd}, or @samp{-nc}, re-downloading a file will result in the
 
609
new copy simply overwriting the old.  Adding @samp{-nc} will prevent
 
610
this behavior, instead causing the original version to be preserved
 
611
and any newer copies on the server to be ignored.
598
612
 
599
613
When running Wget with @samp{-N}, with or without @samp{-r} or
600
614
@samp{-p}, the decision as to whether or not to download a newer copy
818
832
given file, then waiting 2 seconds after the second failure on that
819
833
file, up to the maximum number of @var{seconds} you specify.  Therefore,
820
834
a value of 10 will actually make Wget wait up to (1 + 2 + ... + 10) = 55
821
 
seconds per file.
 
835
seconds per file. 
822
836
 
823
 
Note that this option is turned on by default in the global
824
 
@file{wgetrc} file.
 
837
By default, Wget will assume a value of 10 seconds.
825
838
 
826
839
@cindex wait, random
827
840
@cindex random wait
892
905
 
893
906
@cindex file names, restrict
894
907
@cindex Windows file names
895
 
@item --restrict-file-names=@var{mode}
896
 
Change which characters found in remote URLs may show up in local file
897
 
names generated from those URLs.  Characters that are @dfn{restricted}
 
908
@item --restrict-file-names=@var{modes}
 
909
Change which characters found in remote URLs must be escaped during
 
910
generation of local filenames.  Characters that are @dfn{restricted}
898
911
by this option are escaped, i.e. replaced with @samp{%HH}, where
899
912
@samp{HH} is the hexadecimal number that corresponds to the restricted
900
 
character.
901
 
 
902
 
By default, Wget escapes the characters that are not valid as part of
903
 
file names on your operating system, as well as control characters that
904
 
are typically unprintable.  This option is useful for changing these
905
 
defaults, either because you are downloading to a non-native partition,
906
 
or because you want to disable escaping of the control characters.
907
 
 
908
 
When mode is set to ``unix'', Wget escapes the character @samp{/} and
 
913
character. This option may also be used to force all alphabetical
 
914
cases to be either lower- or uppercase.
 
915
 
 
916
By default, Wget escapes the characters that are not valid or safe as
 
917
part of file names on your operating system, as well as control
 
918
characters that are typically unprintable.  This option is useful for
 
919
changing these defaults, perhaps because you are downloading to a
 
920
non-native partition, or because you want to disable escaping of the
 
921
control characters, or you want to further restrict characters to only
 
922
those in the @sc{ascii} range of values.
 
923
 
 
924
The @var{modes} are a comma-separated set of text values. The
 
925
acceptable values are @samp{unix}, @samp{windows}, @samp{nocontrol},
 
926
@samp{ascii}, @samp{lowercase}, and @samp{uppercase}. The values
 
927
@samp{unix} and @samp{windows} are mutually exclusive (one will
 
928
override the other), as are @samp{lowercase} and
 
929
@samp{uppercase}. Those last are special cases, as they do not change
 
930
the set of characters that would be escaped, but rather force local
 
931
file paths to be converted either to lower- or uppercase.
 
932
 
 
933
When ``unix'' is specified, Wget escapes the character @samp{/} and
909
934
the control characters in the ranges 0--31 and 128--159.  This is the
910
 
default on Unix-like OS'es.
 
935
default on Unix-like operating systems.
911
936
 
912
 
When mode is set to ``windows'', Wget escapes the characters @samp{\},
 
937
When ``windows'' is given, Wget escapes the characters @samp{\},
913
938
@samp{|}, @samp{/}, @samp{:}, @samp{?}, @samp{"}, @samp{*}, @samp{<},
914
939
@samp{>}, and the control characters in the ranges 0--31 and 128--159.
915
940
In addition to this, Wget in Windows mode uses @samp{+} instead of
920
945
saved as @samp{www.xemacs.org+4300/search.pl@@input=blah} in Windows
921
946
mode.  This mode is the default on Windows.
922
947
 
923
 
If you append @samp{,nocontrol} to the mode, as in
924
 
@samp{unix,nocontrol}, escaping of the control characters is also
925
 
switched off.  You can use @samp{--restrict-file-names=nocontrol} to
926
 
turn off escaping of control characters without affecting the choice of
927
 
the OS to use as file name restriction mode.
 
948
If you specify @samp{nocontrol}, then the escaping of the control
 
949
characters is also switched off. This option may make sense
 
950
when you are downloading URLs whose names contain UTF-8 characters, on
 
951
a system which can save and display filenames in UTF-8 (some possible
 
952
byte values used in UTF-8 byte sequences fall in the range of values
 
953
designated by Wget as ``controls'').
 
954
 
 
955
The @samp{ascii} mode is used to specify that any bytes whose values
 
956
are outside the range of @sc{ascii} characters (that is, greater than
 
957
127) shall be escaped. This can be useful when saving filenames
 
958
whose encoding does not match the one used locally.
928
959
 
929
960
@cindex IPv6
930
961
@itemx -4
950
981
same time.  Neither option is available in Wget compiled without IPv6
951
982
support.
952
983
 
953
 
@item --prefer-family=IPv4/IPv6/none
 
984
@item --prefer-family=none/IPv4/IPv6
954
985
When given a choice of several addresses, connect to the addresses
955
 
with specified address family first.  IPv4 addresses are preferred by
956
 
default.
 
986
with specified address family first.  The address order returned by
 
987
DNS is used without change by default.
957
988
 
958
989
This avoids spurious errors and connect attempts when accessing hosts
959
990
that resolve to both IPv6 and IPv4 addresses from IPv4 networks.  For
989
1020
using the @samp{--ftp-user} and @samp{--ftp-password} options for 
990
1021
@sc{ftp} connections and the @samp{--http-user} and @samp{--http-password} 
991
1022
options for @sc{http} connections.
 
1023
 
 
1024
@item --ask-password
 
1025
Prompt for a password for each connection established. Cannot be specified
 
1026
when @samp{--password} is being used, because they are mutually exclusive.
 
1027
 
 
1028
@cindex iri support
 
1029
@cindex idn support
 
1030
@item --no-iri
 
1031
 
 
1032
Turn off internationalized URI (IRI) support. Use @samp{--iri} to
 
1033
turn it on. IRI support is activated by default.
 
1034
 
 
1035
You can set the default state of IRI support using the @code{iri}
 
1036
command in @file{.wgetrc}. That setting may be overridden from the
 
1037
command line.
 
1038
 
 
1039
@cindex local encoding
 
1040
@item --local-encoding=@var{encoding}
 
1041
 
 
1042
Force Wget to use @var{encoding} as the default system encoding. That affects
 
1043
how Wget converts URLs specified as arguments from locale to @sc{utf-8} for
 
1044
IRI support.
 
1045
 
 
1046
Wget use the function @code{nl_langinfo()} and then the @code{CHARSET}
 
1047
environment variable to get the locale. If it fails, @sc{ascii} is used.
 
1048
 
 
1049
You can set the default local encoding using the @code{local_encoding}
 
1050
command in @file{.wgetrc}. That setting may be overridden from the
 
1051
command line.
 
1052
 
 
1053
@cindex remote encoding
 
1054
@item --remote-encoding=@var{encoding}
 
1055
 
 
1056
Force Wget to use @var{encoding} as the default remote server encoding.
 
1057
That affects how Wget converts URIs found in files from remote encoding
 
1058
to @sc{utf-8} during a recursive fetch. This options is only useful for
 
1059
IRI support, for the interpretation of non-@sc{ascii} characters.
 
1060
 
 
1061
For HTTP, remote encoding can be found in HTTP @code{Content-Type}
 
1062
header and in HTML @code{Content-Type http-equiv} meta tag.
 
1063
 
 
1064
You can set the default encoding using the @code{remoteencoding}
 
1065
command in @file{.wgetrc}. That setting may be overridden from the
 
1066
command line.
992
1067
@end table
993
1068
 
994
 
@node Directory Options
 
1069
@node Directory Options, HTTP Options, Download Options, Invoking
995
1070
@section Directory Options
996
1071
 
997
 
@table @samp
 
1072
@table @samp       
998
1073
@item -nd
999
1074
@itemx --no-directories
1000
1075
Do not create a hierarchy of directories when retrieving recursively.
1063
1138
current directory).
1064
1139
@end table
1065
1140
 
1066
 
@node HTTP Options
 
1141
@node HTTP Options, HTTPS (SSL/TLS) Options, Directory Options, Invoking
1067
1142
@section HTTP Options
1068
1143
 
1069
1144
@table @samp
 
1145
@cindex default page name
 
1146
@cindex index.html
 
1147
@item --default-page=@var{name}
 
1148
Use @var{name} as the default file name when it isn't known (i.e., for
 
1149
URLs that end in a slash), instead of @file{index.html}.
 
1150
 
1070
1151
@cindex .html extension
 
1152
@cindex .css extension
1071
1153
@item -E
1072
 
@itemx --html-extension
 
1154
@itemx --adjust-extension
1073
1155
If a file of type @samp{application/xhtml+xml} or @samp{text/html} is 
1074
1156
downloaded and the URL does not end with the regexp 
1075
1157
@samp{\.[Hh][Tt][Mm][Ll]?}, this option will cause the suffix @samp{.html} 
1089
1171
version of the file will be saved as @file{@var{X}.orig} (@pxref{Recursive 
1090
1172
Retrieval Options}).
1091
1173
 
 
1174
As of version 1.12, Wget will also ensure that any downloaded files of
 
1175
type @samp{text/css} end in the suffix @samp{.css}, and the option was
 
1176
renamed from @samp{--html-extension}, to better reflect its new
 
1177
behavior. The old option name is still acceptable, but should now be
 
1178
considered deprecated.
 
1179
 
 
1180
At some point in the future, this option may well be expanded to
 
1181
include suffixes for other types of content, including content types
 
1182
that are not parsed by Wget.
 
1183
 
1092
1184
@cindex http user
1093
1185
@cindex http password
1094
1186
@cindex authentication
1112
1204
Considerations}.
1113
1205
@end iftex
1114
1206
 
 
1207
@cindex Keep-Alive, turning off
 
1208
@cindex Persistent Connections, disabling
 
1209
@item --no-http-keep-alive
 
1210
Turn off the ``keep-alive'' feature for HTTP downloads.  Normally, Wget
 
1211
asks the server to keep the connection open so that, when you download
 
1212
more than one document from the same server, they get transferred over
 
1213
the same TCP connection.  This saves time and at the same time reduces
 
1214
the load on the server.
 
1215
 
 
1216
This option is useful when, for some reason, persistent (keep-alive)
 
1217
connections don't work for you, for example due to a server bug or due
 
1218
to the inability of server-side scripts to cope with the connections.
 
1219
 
1115
1220
@cindex proxy
1116
1221
@cindex cache
1117
1222
@item --no-cache
1315
1420
@cindex POST
1316
1421
@item --post-data=@var{string}
1317
1422
@itemx --post-file=@var{file}
1318
 
Use POST as the method for all HTTP requests and send the specified data
1319
 
in the request body.  @code{--post-data} sends @var{string} as data,
1320
 
whereas @code{--post-file} sends the contents of @var{file}.  Other than
1321
 
that, they work in exactly the same way.
 
1423
Use POST as the method for all HTTP requests and send the specified
 
1424
data in the request body.  @samp{--post-data} sends @var{string} as
 
1425
data, whereas @samp{--post-file} sends the contents of @var{file}.
 
1426
Other than that, they work in exactly the same way. In particular,
 
1427
they @emph{both} expect content of the form @code{key1=value1&key2=value2},
 
1428
with percent-encoding for special characters; the only difference is
 
1429
that one expects its content as a command-line paramter and the other
 
1430
accepts its content from a file. In particular, @samp{--post-file} is
 
1431
@emph{not} for transmitting files as form attachments: those must
 
1432
appear as @code{key=value} data (with appropriate percent-coding) just
 
1433
like everything else. Wget does not currently support
 
1434
@code{multipart/form-data} for transmitting POST data; only
 
1435
@code{application/x-www-form-urlencoded}. Only one of
 
1436
@samp{--post-data} and @samp{--post-file} should be specified.
1322
1437
 
1323
1438
Please be aware that Wget needs to know the size of the POST data in
1324
1439
advance.  Therefore the argument to @code{--post-file} must be a regular
1386
1501
 
1387
1502
@end table
1388
1503
 
1389
 
@node HTTPS (SSL/TLS) Options
 
1504
@node HTTPS (SSL/TLS) Options, FTP Options, HTTP Options, Invoking
1390
1505
@section HTTPS (SSL/TLS) Options
1391
1506
 
1392
1507
@cindex SSL
1511
1626
systems that support @file{/dev/random}.
1512
1627
@end table
1513
1628
 
1514
 
@node FTP Options
 
1629
@node FTP Options, Recursive Retrieval Options, HTTPS (SSL/TLS) Options, Invoking
1515
1630
@section FTP Options
1516
1631
 
1517
1632
@table @samp
1614
1729
specified on the command-line, rather than because it was recursed to,
1615
1730
this option has no effect.  Symbolic links are always traversed in this
1616
1731
case.
1617
 
 
1618
 
@cindex Keep-Alive, turning off
1619
 
@cindex Persistent Connections, disabling
1620
 
@item --no-http-keep-alive
1621
 
Turn off the ``keep-alive'' feature for HTTP downloads.  Normally, Wget
1622
 
asks the server to keep the connection open so that, when you download
1623
 
more than one document from the same server, they get transferred over
1624
 
the same TCP connection.  This saves time and at the same time reduces
1625
 
the load on the server.
1626
 
 
1627
 
This option is useful when, for some reason, persistent (keep-alive)
1628
 
connections don't work for you, for example due to a server bug or due
1629
 
to the inability of server-side scripts to cope with the connections.
1630
1732
@end table
1631
1733
 
1632
 
@node Recursive Retrieval Options
 
1734
@node Recursive Retrieval Options, Recursive Accept/Reject Options, FTP Options, Invoking
1633
1735
@section Recursive Retrieval Options
1634
1736
 
1635
1737
@table @samp
1834
1936
option to turn it on.
1835
1937
@end table
1836
1938
 
1837
 
@node Recursive Accept/Reject Options
 
1939
@node Recursive Accept/Reject Options, Exit Status, Recursive Retrieval Options, Invoking
1838
1940
@section Recursive Accept/Reject Options
1839
1941
 
1840
1942
@table @samp
1929
2031
 
1930
2032
@c man end
1931
2033
 
1932
 
@node Recursive Download
 
2034
@node Exit Status,  , Recursive Accept/Reject Options, Invoking
 
2035
@section Exit Status
 
2036
                                   
 
2037
@c man begin EXITSTATUS
 
2038
 
 
2039
Wget may return one of several error codes if it encounters problems.
 
2040
 
 
2041
 
 
2042
@table @asis
 
2043
@item 0
 
2044
No problems occurred.
 
2045
 
 
2046
@item 1
 
2047
Generic error code.
 
2048
 
 
2049
@item 2
 
2050
Parse error---for instance, when parsing command-line options, the
 
2051
@samp{.wgetrc} or @samp{.netrc}...
 
2052
 
 
2053
@item 3
 
2054
File I/O error.
 
2055
 
 
2056
@item 4
 
2057
Network failure.
 
2058
 
 
2059
@item 5
 
2060
SSL verification failure.
 
2061
 
 
2062
@item 6
 
2063
Username/password authentication failure.
 
2064
 
 
2065
@item 7
 
2066
Protocol errors.
 
2067
 
 
2068
@item 8
 
2069
Server issued an error response.
 
2070
@end table
 
2071
 
 
2072
 
 
2073
With the exceptions of 0 and 1, the lower-numbered exit codes take
 
2074
precedence over higher-numbered ones, when multiple types of errors
 
2075
are encountered.
 
2076
 
 
2077
In versions of Wget prior to 1.12, Wget's exit status tended to be
 
2078
unhelpful and inconsistent. Recursive downloads would virtually always
 
2079
return 0 (success), regardless of any issues encountered, and
 
2080
non-recursive fetches only returned the status corresponding to the
 
2081
most recently-attempted download.
 
2082
 
 
2083
@c man end
 
2084
 
 
2085
@node Recursive Download, Following Links, Invoking, Top
1933
2086
@chapter Recursive Download
1934
2087
@cindex recursion
1935
2088
@cindex retrieving
1939
2092
@sc{http} or @sc{ftp} server), following links and directory structure.
1940
2093
We refer to this as to @dfn{recursive retrieval}, or @dfn{recursion}.
1941
2094
 
1942
 
With @sc{http} @sc{url}s, Wget retrieves and parses the @sc{html} from
1943
 
the given @sc{url}, documents, retrieving the files the @sc{html}
1944
 
document was referring to, through markup like @code{href}, or
1945
 
@code{src}.  If the freshly downloaded file is also of type
1946
 
@code{text/html} or @code{application/xhtml+xml}, it will be parsed and 
1947
 
followed further.
 
2095
With @sc{http} @sc{url}s, Wget retrieves and parses the @sc{html} or
 
2096
@sc{css} from the given @sc{url}, retrieving the files the document
 
2097
refers to, through markup like @code{href} or @code{src}, or @sc{css}
 
2098
@sc{uri} values specified using the @samp{url()} functional notation.
 
2099
If the freshly downloaded file is also of type @code{text/html},
 
2100
@code{application/xhtml+xml}, or @code{text/css}, it will be parsed
 
2101
and followed further.
1948
2102
 
1949
 
Recursive retrieval of @sc{http} and @sc{html} content is
 
2103
Recursive retrieval of @sc{http} and @sc{html}/@sc{css} content is
1950
2104
@dfn{breadth-first}.  This means that Wget first downloads the requested
1951
 
@sc{html} document, then the documents linked from that document, then the
 
2105
document, then the documents linked from that document, then the
1952
2106
documents linked by them, and so on.  In other words, Wget first
1953
2107
downloads the documents at depth 1, then those at depth 2, and so on
1954
2108
until the specified maximum depth.
1996
2150
Recursive retrieval should be used with care.  Don't say you were not
1997
2151
warned.
1998
2152
 
1999
 
@node Following Links
 
2153
@node Following Links, Time-Stamping, Recursive Download, Top
2000
2154
@chapter Following Links
2001
2155
@cindex links
2002
2156
@cindex following links
2013
2167
links it will follow.
2014
2168
 
2015
2169
@menu
2016
 
* Spanning Hosts::         (Un)limiting retrieval based on host name.
2017
 
* Types of Files::         Getting only certain files.
2018
 
* Directory-Based Limits:: Getting only certain directories.
2019
 
* Relative Links::         Follow relative links only.
2020
 
* FTP Links::              Following FTP links.
 
2170
* Spanning Hosts::              (Un)limiting retrieval based on host name.
 
2171
* Types of Files::              Getting only certain files.
 
2172
* Directory-Based Limits::      Getting only certain directories.
 
2173
* Relative Links::              Follow relative links only.
 
2174
* FTP Links::                   Following FTP links.
2021
2175
@end menu
2022
2176
 
2023
 
@node Spanning Hosts
 
2177
@node Spanning Hosts, Types of Files, Following Links, Following Links
2024
2178
@section Spanning Hosts
2025
2179
@cindex spanning hosts
2026
2180
@cindex hosts, spanning
2077
2231
 
2078
2232
@end table
2079
2233
 
2080
 
@node Types of Files
 
2234
@node Types of Files, Directory-Based Limits, Spanning Hosts, Following Links
2081
2235
@section Types of Files
2082
2236
@cindex types of files
2083
2237
 
2168
2322
If the local file already exists and @samp{--no-directories} was
2169
2323
specified, a numeric suffix will be appended to the original name.
2170
2324
@item
2171
 
If @samp{--html-extension} was specified, the local filename will have
 
2325
If @samp{--adjust-extension} was specified, the local filename might have
2172
2326
@samp{.html} appended to it. If Wget is invoked with @samp{-E -A.php},
2173
2327
a filename such as @samp{index.php} will match be accepted, but upon
2174
2328
download will be named @samp{index.php.html}, which no longer matches,
2182
2336
This behavior, too, is considered less-than-desirable, and may change
2183
2337
in a future version of Wget.
2184
2338
 
2185
 
@node Directory-Based Limits
 
2339
@node Directory-Based Limits, Relative Links, Types of Files, Following Links
2186
2340
@section Directory-Based Limits
2187
2341
@cindex directories
2188
2342
@cindex directory limits
2266
2420
meaningless, as its parent is @samp{/}).
2267
2421
@end table
2268
2422
 
2269
 
@node Relative Links
 
2423
@node Relative Links, FTP Links, Directory-Based Limits, Following Links
2270
2424
@section Relative Links
2271
2425
@cindex relative links
2272
2426
 
2295
2449
This option is probably not very useful and might be removed in a future
2296
2450
release.
2297
2451
 
2298
 
@node FTP Links
 
2452
@node FTP Links,  , Relative Links, Following Links
2299
2453
@section Following FTP Links
2300
2454
@cindex following ftp links
2301
2455
 
2315
2469
Also note that followed links to @sc{ftp} directories will not be
2316
2470
retrieved recursively further.
2317
2471
 
2318
 
@node Time-Stamping
 
2472
@node Time-Stamping, Startup File, Following Links, Top
2319
2473
@chapter Time-Stamping
2320
2474
@cindex time-stamping
2321
2475
@cindex timestamping
2353
2507
(@samp{-N}) option, or through @code{timestamping = on} directive in
2354
2508
@file{.wgetrc}.  With this option, for each file it intends to download,
2355
2509
Wget will check whether a local file of the same name exists.  If it
2356
 
does, and the remote file is older, Wget will not download it.
 
2510
does, and the remote file is not newer, Wget will not download it.
2357
2511
 
2358
2512
If the local file does not exist, or the sizes of the files do not
2359
2513
match, Wget will download the remote file no matter what the time-stamps
2360
2514
say.
2361
2515
 
2362
2516
@menu
2363
 
* Time-Stamping Usage::
2364
 
* HTTP Time-Stamping Internals::
2365
 
* FTP Time-Stamping Internals::
 
2517
* Time-Stamping Usage::         
 
2518
* HTTP Time-Stamping Internals::  
 
2519
* FTP Time-Stamping Internals::  
2366
2520
@end menu
2367
2521
 
2368
 
@node Time-Stamping Usage
 
2522
@node Time-Stamping Usage, HTTP Time-Stamping Internals, Time-Stamping, Time-Stamping
2369
2523
@section Time-Stamping Usage
2370
2524
@cindex time-stamping usage
2371
2525
@cindex usage, time-stamping
2421
2575
directory listing with dates in a format that Wget can parse
2422
2576
(@pxref{FTP Time-Stamping Internals}).
2423
2577
 
2424
 
@node HTTP Time-Stamping Internals
 
2578
@node HTTP Time-Stamping Internals, FTP Time-Stamping Internals, Time-Stamping Usage, Time-Stamping
2425
2579
@section HTTP Time-Stamping Internals
2426
2580
@cindex http time-stamping
2427
2581
 
2453
2607
Arguably, @sc{http} time-stamping should be implemented using the
2454
2608
@code{If-Modified-Since} request.
2455
2609
 
2456
 
@node FTP Time-Stamping Internals
 
2610
@node FTP Time-Stamping Internals,  , HTTP Time-Stamping Internals, Time-Stamping
2457
2611
@section FTP Time-Stamping Internals
2458
2612
@cindex ftp time-stamping
2459
2613
 
2482
2636
@code{wu-ftpd}), which returns the exact time of the specified file.
2483
2637
Wget may support this command in the future.
2484
2638
 
2485
 
@node Startup File
 
2639
@node Startup File, Examples, Time-Stamping, Top
2486
2640
@chapter Startup File
2487
2641
@cindex startup file
2488
2642
@cindex wgetrc
2504
2658
commands.
2505
2659
 
2506
2660
@menu
2507
 
* Wgetrc Location::   Location of various wgetrc files.
2508
 
* Wgetrc Syntax::     Syntax of wgetrc.
2509
 
* Wgetrc Commands::   List of available commands.
2510
 
* Sample Wgetrc::     A wgetrc example.
 
2661
* Wgetrc Location::             Location of various wgetrc files.
 
2662
* Wgetrc Syntax::               Syntax of wgetrc.
 
2663
* Wgetrc Commands::             List of available commands.
 
2664
* Sample Wgetrc::               A wgetrc example.
2511
2665
@end menu
2512
2666
 
2513
 
@node Wgetrc Location
 
2667
@node Wgetrc Location, Wgetrc Syntax, Startup File, Startup File
2514
2668
@section Wgetrc Location
2515
2669
@cindex wgetrc location
2516
2670
@cindex location of wgetrc
2531
2685
system-wide wgetrc (in @file{/usr/local/etc/wgetrc} by default).
2532
2686
Fascist admins, away!
2533
2687
 
2534
 
@node Wgetrc Syntax
 
2688
@node Wgetrc Syntax, Wgetrc Commands, Wgetrc Location, Startup File
2535
2689
@section Wgetrc Syntax
2536
2690
@cindex wgetrc syntax
2537
2691
@cindex syntax of wgetrc
2558
2712
reject =
2559
2713
@end example
2560
2714
 
2561
 
@node Wgetrc Commands
 
2715
@node Wgetrc Commands, Sample Wgetrc, Wgetrc Syntax, Startup File
2562
2716
@section Wgetrc Commands
2563
2717
@cindex wgetrc commands
2564
2718
 
2582
2736
@item add_hostdir = on/off
2583
2737
Enable/disable host-prefixed file names.  @samp{-nH} disables it.
2584
2738
 
 
2739
@item ask_password = on/off
 
2740
Prompt for a password for each connection established. Cannot be specified
 
2741
when @samp{--password} is being used, because they are mutually
 
2742
exclusive. Equivalent to @samp{--ask-password}.
 
2743
 
 
2744
@item auth_no_challenge = on/off
 
2745
If this option is given, Wget will send Basic HTTP authentication
 
2746
information (plaintext username and password) for all requests. See
 
2747
@samp{--auth-no-challenge}.
 
2748
 
2585
2749
@item background = on/off
2586
2750
Enable/disable going to background---the same as @samp{-b} (which
2587
2751
enables it).
2594
2758
@c #### Document me!
2595
2759
@c
2596
2760
@item base = @var{string}
2597
 
Consider relative @sc{url}s in @sc{url} input files forced to be
2598
 
interpreted as @sc{html} as being relative to @var{string}---the same as
2599
 
@samp{--base=@var{string}}.
 
2761
Consider relative @sc{url}s in input files (specified via the
 
2762
@samp{input} command or the @samp{--input-file}/@samp{-i} option,
 
2763
together with @samp{force_html} or @samp{--force-html})
 
2764
as being relative to @var{string}---the same as @samp{--base=@var{string}}.
2600
2765
 
2601
2766
@item bind_address = @var{address}
2602
2767
Bind to @var{address}, like the @samp{--bind-address=@var{address}}.
2651
2816
@item debug = on/off
2652
2817
Debug mode, same as @samp{-d}.
2653
2818
 
 
2819
@item default_page = @var{string}
 
2820
Default page name---the same as @samp{--default-page=@var{string}}.
 
2821
 
2654
2822
@item delete_after = on/off
2655
2823
Delete after download---the same as @samp{--delete-after}.
2656
2824
 
2735
2903
Define a header for HTTP downloads, like using
2736
2904
@samp{--header=@var{string}}.
2737
2905
 
2738
 
@item html_extension = on/off
 
2906
@item adjust_extension = on/off
2739
2907
Add a @samp{.html} extension to @samp{text/html} or
2740
 
@samp{application/xhtml+xml} files without it, like @samp{-E}.
 
2908
@samp{application/xhtml+xml} files that lack one, or a @samp{.css}
 
2909
extension to @samp{text/css} files that lack one, like
 
2910
@samp{-E}. Previously named @samp{html_extension} (still acceptable,
 
2911
but deprecated).
2741
2912
 
2742
2913
@item http_keep_alive = on/off
2743
2914
Turn the keep-alive feature on or off (defaults to on).  Turning it
2775
2946
Specify a comma-separated list of directories you wish to follow when
2776
2947
downloading---the same as @samp{-I @var{string}}.
2777
2948
 
 
2949
@item iri = on/off
 
2950
When set to on, enable internationalized URI (IRI) support; the same as
 
2951
@samp{--iri}.
 
2952
 
2778
2953
@item inet4_only = on/off
2779
2954
Force connecting to IPv4 addresses, off by default.  You can put this
2780
2955
in the global init file to disable Wget's attempts to resolve and
2789
2964
@item input = @var{file}
2790
2965
Read the @sc{url}s from @var{string}, like @samp{-i @var{file}}.
2791
2966
 
 
2967
@item keep_session_cookies = on/off
 
2968
When specified, causes @samp{save_cookies = on} to also save session
 
2969
cookies.  See @samp{--keep-session-cookies}.
 
2970
 
2792
2971
@item limit_rate = @var{rate}
2793
2972
Limit the download speed to no more than @var{rate} bytes per second.
2794
2973
The same as @samp{--limit-rate=@var{rate}}.
2796
2975
@item load_cookies = @var{file}
2797
2976
Load cookies from @var{file}.  See @samp{--load-cookies @var{file}}.
2798
2977
 
 
2978
@item local_encoding = @var{encoding}
 
2979
Force Wget to use @var{encoding} as the default system encoding. See
 
2980
@samp{--local-encoding}.
 
2981
 
2799
2982
@item logfile = @var{file}
2800
2983
Set logfile to @var{file}, the same as @samp{-o @var{file}}.
2801
2984
 
2845
3028
@var{file} in the request body.  The same as
2846
3029
@samp{--post-file=@var{file}}.
2847
3030
 
2848
 
@item prefer_family = IPv4/IPv6/none
 
3031
@item prefer_family = none/IPv4/IPv6
2849
3032
When given a choice of several addresses, connect to the addresses
2850
 
with specified address family first.  IPv4 addresses are preferred by
2851
 
default.  The same as @samp{--prefer-family}, which see for a detailed
2852
 
discussion of why this is useful.
 
3033
with specified address family first.  The address order returned by
 
3034
DNS is used without change by default.  The same as @samp{--prefer-family},
 
3035
which see for a detailed discussion of why this is useful.
2853
3036
 
2854
3037
@item private_key = @var{file}
2855
3038
Set the private key file to @var{file}.  The same as
2915
3098
Follow only relative links---the same as @samp{-L} (@pxref{Relative
2916
3099
Links}).
2917
3100
 
 
3101
@item remote_encoding = @var{encoding}
 
3102
Force Wget to use @var{encoding} as the default remote server encoding.
 
3103
See @samp{--remote-encoding}.
 
3104
 
2918
3105
@item remove_listing = on/off
2919
3106
If set to on, remove @sc{ftp} listings downloaded by Wget.  Setting it
2920
3107
to off is the same as @samp{--no-remove-listing}.
2942
3129
Save cookies to @var{file}.  The same as @samp{--save-cookies
2943
3130
@var{file}}.
2944
3131
 
 
3132
@item save_headers = on/off
 
3133
Same as @samp{--save-headers}.
 
3134
 
2945
3135
@item secure_protocol = @var{string}
2946
3136
Choose the secure protocol to be used.  Legal values are @samp{auto}
2947
3137
(the default), @samp{SSLv2}, @samp{SSLv3}, and @samp{TLSv1}.  The same
2954
3144
@item span_hosts = on/off
2955
3145
Same as @samp{-H}.
2956
3146
 
 
3147
@item spider = on/off
 
3148
Same as @samp{--spider}.
 
3149
 
2957
3150
@item strict_comments = on/off
2958
3151
Same as @samp{--strict-comments}.
2959
3152
 
2977
3170
This command can be overridden using the @samp{ftp_user} and 
2978
3171
@samp{http_user} command for @sc{ftp} and @sc{http} respectively.
2979
3172
 
 
3173
@item user_agent = @var{string}
 
3174
User agent identification sent to the HTTP Server---the same as
 
3175
@samp{--user-agent=@var{string}}.
 
3176
 
2980
3177
@item verbose = on/off
2981
3178
Turn verbose on/off---the same as @samp{-v}/@samp{-nv}.
2982
3179
 
2990
3187
turned on by default in the global @file{wgetrc}.
2991
3188
@end table
2992
3189
 
2993
 
@node Sample Wgetrc
 
3190
@node Sample Wgetrc,  , Wgetrc Commands, Startup File
2994
3191
@section Sample Wgetrc
2995
3192
@cindex sample wgetrc
2996
3193
 
3007
3204
@include sample.wgetrc.munged_for_texi_inclusion
3008
3205
@end example
3009
3206
 
3010
 
@node Examples
 
3207
@node Examples, Various, Startup File, Top
3011
3208
@chapter Examples
3012
3209
@cindex examples
3013
3210
 
3016
3213
complexity.
3017
3214
 
3018
3215
@menu
3019
 
* Simple Usage::         Simple, basic usage of the program.
3020
 
* Advanced Usage::       Advanced tips.
3021
 
* Very Advanced Usage::  The hairy stuff.
 
3216
* Simple Usage::                Simple, basic usage of the program.
 
3217
* Advanced Usage::              Advanced tips.
 
3218
* Very Advanced Usage::         The hairy stuff.
3022
3219
@end menu
3023
3220
 
3024
 
@node Simple Usage
 
3221
@node Simple Usage, Advanced Usage, Examples, Examples
3025
3222
@section Simple Usage
3026
3223
 
3027
3224
@itemize @bullet
3074
3271
@end example
3075
3272
@end itemize
3076
3273
 
3077
 
@node Advanced Usage
 
3274
@node Advanced Usage, Very Advanced Usage, Simple Usage, Examples
3078
3275
@section Advanced Usage
3079
3276
 
3080
3277
@itemize @bullet
3099
3296
@end example
3100
3297
 
3101
3298
@item
3102
 
The same as the above, but convert the links in the @sc{html} files to
 
3299
The same as the above, but convert the links in the downloaded files to
3103
3300
point to local files, so you can view the documents off-line:
3104
3301
 
3105
3302
@example
3210
3407
@end example
3211
3408
@end itemize
3212
3409
 
3213
 
@node Very Advanced Usage
 
3410
@node Very Advanced Usage,  , Advanced Usage, Examples
3214
3411
@section Very Advanced Usage
3215
3412
 
3216
3413
@cindex mirroring
3259
3456
@end itemize
3260
3457
@c man end
3261
3458
 
3262
 
@node Various
 
3459
@node Various, Appendices, Examples, Top
3263
3460
@chapter Various
3264
3461
@cindex various
3265
3462
 
3266
3463
This chapter contains all the stuff that could not fit anywhere else.
3267
3464
 
3268
3465
@menu
3269
 
* Proxies::             Support for proxy servers.
3270
 
* Distribution::        Getting the latest version.
3271
 
* Web Site::            GNU Wget's presence on the World Wide Web.
3272
 
* Mailing List::        Wget mailing list for announcements and discussion.
3273
 
* Internet Relay Chat:: Wget's presence on IRC.
3274
 
* Reporting Bugs::      How and where to report bugs.
3275
 
* Portability::         The systems Wget works on.
3276
 
* Signals::             Signal-handling performed by Wget.
 
3466
* Proxies::                     Support for proxy servers.
 
3467
* Distribution::                Getting the latest version.
 
3468
* Web Site::                    GNU Wget's presence on the World Wide Web.
 
3469
* Mailing Lists::               Wget mailing list for announcements and discussion.
 
3470
* Internet Relay Chat::         Wget's presence on IRC.
 
3471
* Reporting Bugs::              How and where to report bugs.
 
3472
* Portability::                 The systems Wget works on.
 
3473
* Signals::                     Signal-handling performed by Wget.
3277
3474
@end menu
3278
3475
 
3279
 
@node Proxies
 
3476
@node Proxies, Distribution, Various, Various
3280
3477
@section Proxies
3281
3478
@cindex proxies
3282
3479
 
3352
3549
settings @code{proxy_user} and @code{proxy_password} to set the proxy
3353
3550
username and password.
3354
3551
 
3355
 
@node Distribution
 
3552
@node Distribution, Web Site, Proxies, Various
3356
3553
@section Distribution
3357
3554
@cindex latest version
3358
3555
 
3361
3558
Wget @value{VERSION} can be found at
3362
3559
@url{ftp://ftp.gnu.org/pub/gnu/wget/wget-@value{VERSION}.tar.gz}
3363
3560
 
3364
 
@node Web Site
 
3561
@node Web Site, Mailing Lists, Distribution, Various
3365
3562
@section Web Site
3366
3563
@cindex web site
3367
3564
 
3370
3567
information resides at ``The Wget Wgiki'',
3371
3568
@url{http://wget.addictivecode.org/}.
3372
3569
 
3373
 
@node Mailing List
3374
 
@section Mailing List
 
3570
@node Mailing Lists, Internet Relay Chat, Web Site, Various
 
3571
@section Mailing Lists
3375
3572
@cindex mailing list
3376
3573
@cindex list
3377
3574
 
3378
 
There are several Wget-related mailing lists.  The general discussion
3379
 
list is at @email{wget@@sunsite.dk}.  It is the preferred place for
3380
 
support requests and suggestions, as well as for discussion of
3381
 
development.  You are invited to subscribe.
3382
 
 
3383
 
To subscribe, simply send mail to @email{wget-subscribe@@sunsite.dk}
3384
 
and follow the instructions.  Unsubscribe by mailing to
3385
 
@email{wget-unsubscribe@@sunsite.dk}.  The mailing list is archived at
 
3575
@unnumberedsubsec Primary List
 
3576
 
 
3577
The primary mailinglist for discussion, bug-reports, or questions
 
3578
about GNU Wget is at @email{bug-wget@@gnu.org}. To subscribe, send an
 
3579
email to @email{bug-wget-join@@gnu.org}, or visit
 
3580
@url{http://lists.gnu.org/mailman/listinfo/bug-wget}.
 
3581
 
 
3582
You do not need to subscribe to send a message to the list; however,
 
3583
please note that unsubscribed messages are moderated, and may take a
 
3584
while before they hit the list---@strong{usually around a day}.  If
 
3585
you want your message to show up immediately, please subscribe to the
 
3586
list before posting. Archives for the list may be found at
 
3587
@url{http://lists.gnu.org/pipermail/bug-wget/}.
 
3588
 
 
3589
An NNTP/Usenettish gateway is also available via
 
3590
@uref{http://gmane.org/about.php,Gmane}. You can see the Gmane
 
3591
archives at
 
3592
@url{http://news.gmane.org/gmane.comp.web.wget.general}. Note that the
 
3593
Gmane archives conveniently include messages from both the current
 
3594
list, and the previous one. Messages also show up in the Gmane
 
3595
archives sooner than they do at @url{lists.gnu.org}.
 
3596
 
 
3597
@unnumberedsubsec Bug Notices List
 
3598
 
 
3599
Additionally, there is the @email{wget-notify@@addictivecode.org} mailing
 
3600
list. This is a non-discussion list that receives bug report
 
3601
notifications from the bug-tracker. To subscribe to this list,
 
3602
send an email to @email{wget-notify-join@@addictivecode.org},
 
3603
or visit @url{http://addictivecode.org/mailman/listinfo/wget-notify}.
 
3604
 
 
3605
@unnumberedsubsec Obsolete Lists
 
3606
 
 
3607
Previously, the mailing list @email{wget@@sunsite.dk} was used as the
 
3608
main discussion list, and another list,
 
3609
@email{wget-patches@@sunsite.dk} was used for submitting and
 
3610
discussing patches to GNU Wget.
 
3611
 
 
3612
Messages from @email{wget@@sunsite.dk} are archived at
 
3613
@itemize @tie{}
 
3614
@item
3386
3615
@url{http://www.mail-archive.com/wget%40sunsite.dk/} and at
3387
 
@url{http://news.gmane.org/gmane.comp.web.wget.general}.
3388
 
 
3389
 
Another mailing list is at @email{wget-patches@@sunsite.dk}, and is
3390
 
used to submit patches for review by Wget developers.  A ``patch'' is
3391
 
a textual representation of change to source code, readable by both
3392
 
humans and programs.  The
3393
 
@url{http://wget.addictivecode.org/PatchGuidelines} page
3394
 
covers the creation and submitting of patches in detail.  Please don't
3395
 
send general suggestions or bug reports to @samp{wget-patches}; use it
3396
 
only for patch submissions.
3397
 
 
3398
 
Subscription is the same as above for @email{wget@@sunsite.dk}, except
3399
 
that you send to @email{wget-patches-subscribe@@sunsite.dk}, instead.
3400
 
The mailing list is archived at
 
3616
@item
 
3617
@url{http://news.gmane.org/gmane.comp.web.wget.general} (which also
 
3618
continues to archive the current list, @email{bug-wget@@gnu.org}).
 
3619
@end itemize
 
3620
 
 
3621
Messages from @email{wget-patches@@sunsite.dk} are archived at
 
3622
@itemize @tie{}
 
3623
@item
3401
3624
@url{http://news.gmane.org/gmane.comp.web.wget.patches}.
3402
 
 
3403
 
Finally, there is the @email{wget-notify@@addictivecode.org} mailing
3404
 
list. This is a non-discussion list that receives commit notifications
3405
 
from the source repository, and also bug report-change notifications.
3406
 
This is the highest-traffic list for Wget, and is recommended only for
3407
 
people who are seriously interested in ongoing Wget development.
3408
 
Subscription is through the @code{mailman} interface at
3409
 
@url{http://addictivecode.org/mailman/listinfo/wget-notify}.
3410
 
 
3411
 
@node Internet Relay Chat
 
3625
@end itemize
 
3626
 
 
3627
@node Internet Relay Chat, Reporting Bugs, Mailing Lists, Various
3412
3628
@section Internet Relay Chat
3413
3629
@cindex Internet Relay Chat
3414
3630
@cindex IRC
3415
3631
@cindex #wget
3416
3632
 
3417
 
While, at the time of this writing, there is very low activity, we do
3418
 
have a support channel set up via IRC at @code{irc.freenode.org},
3419
 
@code{#wget}. Come check it out!
 
3633
In addition to the mailinglists, we also have a support channel set up
 
3634
via IRC at @code{irc.freenode.org}, @code{#wget}. Come check it out!
3420
3635
 
3421
 
@node Reporting Bugs
 
3636
@node Reporting Bugs, Portability, Internet Relay Chat, Various
3422
3637
@section Reporting Bugs
3423
3638
@cindex bugs
3424
3639
@cindex reporting bugs
3438
3653
it's a bug.  If things work strange, but you are not sure about the way
3439
3654
they are supposed to work, it might well be a bug, but you might want to
3440
3655
double-check the documentation and the mailing lists (@pxref{Mailing
3441
 
List}).
 
3656
Lists}).
3442
3657
 
3443
3658
@item
3444
3659
Try to repeat the bug in as simple circumstances as possible.  E.g. if
3477
3692
@end enumerate
3478
3693
@c man end
3479
3694
 
3480
 
@node Portability
 
3695
@node Portability, Signals, Reporting Bugs, Various
3481
3696
@section Portability
3482
3697
@cindex portability
3483
3698
@cindex operating systems
3510
3725
Vanem; a port to VMS is maintained by Steven Schweda, and is available
3511
3726
at @url{http://antinode.org/}.
3512
3727
 
3513
 
@node Signals
 
3728
@node Signals,  , Portability, Various
3514
3729
@section Signals
3515
3730
@cindex signal handling
3516
3731
@cindex hangup
3531
3746
Other than that, Wget will not try to interfere with signals in any way.
3532
3747
@kbd{C-c}, @code{kill -TERM} and @code{kill -KILL} should kill it alike.
3533
3748
 
3534
 
@node Appendices
 
3749
@node Appendices, Copying this manual, Various, Top
3535
3750
@chapter Appendices
3536
3751
 
3537
3752
This chapter contains some references I consider useful.
3538
3753
 
3539
3754
@menu
3540
 
* Robot Exclusion::         Wget's support for RES.
3541
 
* Security Considerations:: Security with Wget.
3542
 
* Contributors::            People who helped.
 
3755
* Robot Exclusion::             Wget's support for RES.
 
3756
* Security Considerations::     Security with Wget.
 
3757
* Contributors::                People who helped.
3543
3758
@end menu
3544
3759
 
3545
 
@node Robot Exclusion
 
3760
@node Robot Exclusion, Security Considerations, Appendices, Appendices
3546
3761
@section Robot Exclusion
3547
3762
@cindex robot exclusion
3548
3763
@cindex robots.txt
3581
3796
download and parse.
3582
3797
 
3583
3798
Although Wget is not a web robot in the strictest sense of the word, it
3584
 
can downloads large parts of the site without the user's intervention to
 
3799
can download large parts of the site without the user's intervention to
3585
3800
download an individual page.  Because of that, Wget honors RES when
3586
3801
downloading recursively.  For instance, when you issue:
3587
3802
 
3625
3840
@file{.wgetrc}.  You can achieve the same effect from the command line
3626
3841
using the @code{-e} switch, e.g. @samp{wget -e robots=off @var{url}...}.
3627
3842
 
3628
 
@node Security Considerations
 
3843
@node Security Considerations, Contributors, Robot Exclusion, Appendices
3629
3844
@section Security Considerations
3630
3845
@cindex security
3631
3846
 
3656
3871
me).
3657
3872
@end enumerate
3658
3873
 
3659
 
@node Contributors
 
3874
@node Contributors,  , Security Considerations, Appendices
3660
3875
@section Contributors
3661
3876
@cindex contributors
3662
3877
 
3748
3963
authentication.
3749
3964
 
3750
3965
@item
3751
 
Mauro Tortonesi---Improved IPv6 support, adding support for dual
 
3966
Mauro Tortonesi---improved IPv6 support, adding support for dual
3752
3967
family systems.  Refactored and enhanced FTP IPv6 code. Maintained GNU
3753
 
Wget from 2004--2008.
3754
 
 
3755
 
@item
3756
 
Christopher G.@: Lewis---Maintenance of the Windows version of GNU WGet.
3757
 
 
3758
 
@item
3759
 
Gisle Vanem---Many helpful patches and improvements, especially for
 
3968
Wget from 2004--2007.
 
3969
 
 
3970
@item
 
3971
Christopher G.@: Lewis---maintenance of the Windows version of GNU WGet.
 
3972
 
 
3973
@item
 
3974
Gisle Vanem---many helpful patches and improvements, especially for
3760
3975
Windows and MS-DOS support.
3761
3976
 
3762
3977
@item
 
3978
Ralf Wildenhues---contributed patches to convert Wget to use Automake as
 
3979
part of its build process, and various bugfixes.
 
3980
 
 
3981
@item
 
3982
Steven Schubiger---Many helpful patches, bugfixes and improvements.
 
3983
Notably, conversion of Wget to use the Gnulib quotes and quoteargs
 
3984
modules, and the addition of password prompts at the console, via the
 
3985
Gnulib getpasswd-gnu module.
 
3986
 
 
3987
@item
 
3988
Ted Mielczarek---donated support for CSS.
 
3989
 
 
3990
@item
 
3991
Saint Xavier---Support for IRIs (RFC 3987).
 
3992
 
 
3993
@item
3763
3994
People who provided donations for development---including Brian Gough.
3764
3995
@end itemize
3765
3996
 
3822
4053
@end ifnottex
3823
4054
Christian Fraenkel,
3824
4055
David Fritz,
 
4056
Mike Frysinger,
3825
4057
Charles C.@: Fu,
3826
4058
FUJISHIMA Satsuki,
3827
4059
Masashi Fujita,
3829
4061
Marcel Gerrits,
3830
4062
Lemble Gregory,
3831
4063
Hans Grobler,
 
4064
Alain Guibert,
3832
4065
Mathieu Guillaume,
3833
4066
Aaron Hawley,
3834
4067
Jochen Hein,
3835
4068
Karl Heuer,
 
4069
Madhusudan Hosaagrahara,
3836
4070
HIROSE Masaaki,
3837
4071
Ulf Harnhammar,
3838
4072
Gregor Hoffleit,
3867
4101
Alexander Kourakos,
3868
4102
Martin Kraemer,
3869
4103
Sami Krank,
 
4104
Jay Krell,
3870
4105
@tex
3871
4106
$\Sigma\acute{\iota}\mu o\varsigma\;
3872
4107
\Xi\varepsilon\nu\iota\tau\acute{\epsilon}\lambda\lambda\eta\varsigma$
3896
4131
Aurelien Marchand,
3897
4132
Matthew J.@: Mellon,
3898
4133
Jordan Mendelson,
 
4134
Ted Mielczarek,
 
4135
Robert Millan,
3899
4136
Lin Zhe Min,
3900
4137
Jan Minar,
3901
4138
Tim Mooney,
3904
4141
Simon Munton,
3905
4142
Charlie Negyesi,
3906
4143
R.@: K.@: Owen,
 
4144
Jim Paris,
 
4145
Kenny Parnell,
3907
4146
Leonid Petrov,
3908
4147
Simone Piunno,
3909
4148
Andrew Pollock,
3938
4177
Heinz Salzmann,
3939
4178
Robert Schmidt,
3940
4179
Nicolas Schodet,
 
4180
Benno Schulenberg,
3941
4181
Andreas Schwab,
3942
4182
Steven M.@: Schweda,
3943
4183
Chris Seawood,
 
4184
Pranab Shenoy,
3944
4185
Dennis Smit,
3945
4186
Toomas Soome,
3946
4187
Tage Stabell-Kulo,
3967
4208
Douglas E.@: Wegscheid,
3968
4209
Ralf Wildenhues,
3969
4210
Joshua David Williams,
 
4211
Benjamin Wolsey,
 
4212
Saint Xavier,
3970
4213
YAMAZAKI Makoto,
3971
4214
Jasmin Zainul,
3972
4215
@iftex
3975
4218
@ifnottex
3976
4219
Bojan Zdrnja,
3977
4220
@end ifnottex
3978
 
Kristijan Zimmer.
 
4221
Kristijan Zimmer,
 
4222
Xin Zou.
3979
4223
 
3980
4224
Apologies to all who I accidentally left out, and many thanks to all the
3981
4225
subscribers of the Wget mailing list.
3982
4226
 
3983
 
@node Copying this manual
 
4227
@node Copying this manual, Concept Index, Appendices, Top
3984
4228
@appendix Copying this manual
3985
4229
  
3986
4230
@menu
3987
4231
* GNU Free Documentation License::  Licnse for copying this manual.
3988
4232
@end menu
3989
4233
 
 
4234
@node GNU Free Documentation License,  , Copying this manual, Copying this manual
 
4235
@appendixsec GNU Free Documentation License
 
4236
@cindex FDL, GNU Free Documentation License
 
4237
 
3990
4238
@include fdl.texi
3991
4239
 
3992
4240
 
3993
 
@node Concept Index
 
4241
@node Concept Index,  , Copying this manual, Top
3994
4242
@unnumbered Concept Index
3995
4243
@printindex cp
3996
4244