~akopytov/percona-xtrabackup/bug1166888-2.1

« back to all changes in this revision

Viewing changes to src/libarchive/libarchive/test/test_read_format_isojoliet_rr.c

  • Committer: Alexey Kopytov
  • Date: 2012-02-10 20:05:56 UTC
  • mto: (391.1.5 staging)
  • mto: This revision was merged to the branch mainline in revision 390.
  • Revision ID: akopytov@gmail.com-20120210200556-6kx41z8wwrqfucro
Rebase of the parallel compression patch on new trunk + post-review
fixes.

Implementation of parallel compression and streaming for XtraBackup.

This revision implements the following changes:

* InnoDB files are now streamed by the xtrabackup binary rather than
innobackupex. As a result, integrity is now verified by xtrabackup and
thus tar4ibd is no longer needed, so it was removed.

* xtrabackup binary now accepts the new '--stream' option which has
exactly the same semantics as the '--stream' option in
innobackupex: it tells xtrabackup to stream all files to the standard
output in the specified format rather than storing them locally.

* The xtrabackup binary can now do parallel compression using the
quicklz library. Two new options were added to xtrabackup to support
this feature:

- '--compress' tells xtrabackup to compress all output data, including
the transaction log file and meta data files, using the specified
compression algorithm. The only currently supported algorithm is
'quicklz'. The resulting files have the qpress archive format,
i.e. every *.qp file produced by xtrabackup is essentially a one-file
qpress archive and can be extracted and uncompressed by the qpress
file archiver (http://www.quicklz.com/).

- '--compress-threads' specifies the number of worker threads used by
xtrabackup for parallel data compression. This option defaults to 1.

Parallel compression ('--compress-threads') can be used together with
parallel file copying ('--parallel'). For example, '--parallel=4
--compress --compress-threads=2' will create 4 IO threads that will
read the data and pipe it to 2 compression threads.

* To support simultaneous compression and streaming, a new custom
streaming format called 'xbstream' was introduced to XtraBackup in
addition to the 'tar' format. That was required to overcome some
limitations of traditional archive formats such as 'tar', 'cpio' and
others that do not allow streaming dynamically generated files, for
example dynamically compressed files.  Other advantages of xbstream over
traditional streaming/archive formats include ability to stream multiple
files concurrently (so it is possible to use streaming in the xbstream
format together with the --parallel option) and more compact data
storage.

* To allow streaming and extracting files to/from the xbstream format
produced by xtrabackup, a new utility aptly called 'xbstream' was
added to the XtraBackup distribution. This utility has a tar-like
interface:

- with the '-x' option it extracts files from the stream read from its
standard input to the current directory unless specified otherwise
with the '-C' option.

- with the '-c' option it streams files specified on the command line
to its standard output.

The utility also tries to minimize its impact on the OS page cache by
using the appropriate posix_fadvise() calls when available.

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
/*-
 
2
 * Copyright (c) 2003-2007 Tim Kientzle
 
3
 * All rights reserved.
 
4
 *
 
5
 * Based on libarchive/test/test_read_format_isorr_bz2.c with
 
6
 * bugs introduced by Andreas Henriksson <andreas@fatal.se> for
 
7
 * testing ISO9660 image with Joliet extension.
 
8
 *
 
9
 * Redistribution and use in source and binary forms, with or without
 
10
 * modification, are permitted provided that the following conditions
 
11
 * are met:
 
12
 * 1. Redistributions of source code must retain the above copyright
 
13
 *    notice, this list of conditions and the following disclaimer.
 
14
 * 2. Redistributions in binary form must reproduce the above copyright
 
15
 *    notice, this list of conditions and the following disclaimer in the
 
16
 *    documentation and/or other materials provided with the distribution.
 
17
 *
 
18
 * THIS SOFTWARE IS PROVIDED BY THE AUTHOR(S) ``AS IS'' AND ANY EXPRESS OR
 
19
 * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
 
20
 * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
 
21
 * IN NO EVENT SHALL THE AUTHOR(S) BE LIABLE FOR ANY DIRECT, INDIRECT,
 
22
 * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
 
23
 * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
 
24
 * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
 
25
 * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
 
26
 * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
 
27
 * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
 
28
 */
 
29
#include "test.h"
 
30
__FBSDID("$FreeBSD: head/lib/libarchive/test/test_read_format_isojoliet_rr.c 201247 2009-12-30 05:59:21Z kientzle $");
 
31
 
 
32
/*
 
33
Execute the following to rebuild the data for this program:
 
34
   tail -n +35 test_read_format_isojoliet_rr.c | /bin/sh
 
35
 
 
36
rm -rf /tmp/iso
 
37
mkdir /tmp/iso
 
38
mkdir /tmp/iso/dir
 
39
file="long-joliet-file-name.textfile"
 
40
echo "hello" >/tmp/iso/$file
 
41
ln /tmp/iso/$file /tmp/iso/hardlink
 
42
(cd /tmp/iso; ln -s $file symlink)
 
43
if [ "$(uname -s)" = "Linux" ]; then # gnu coreutils touch doesn't have -h
 
44
TZ=utc touch -afm -t 197001020000.01 /tmp/iso/hardlink /tmp/iso/$file /tmp/iso/dir
 
45
TZ=utc touch -afm -t 197001030000.02 /tmp/iso/symlink
 
46
TZ=utc touch -afm -t 197001020000.01 /tmp/iso
 
47
else
 
48
TZ=utc touch -afhm -t 197001020000.01 /tmp/iso/hardlink /tmp/iso/$file /tmp/iso/dir
 
49
TZ=utc touch -afhm -t 197001030000.02 /tmp/iso/symlink
 
50
TZ=utc touch -afhm -t 197001020000.01 /tmp/iso
 
51
fi
 
52
F=test_read_format_iso_joliet_rockridge.iso.Z
 
53
mkhybrid -J -uid 1 -gid 2 /tmp/iso | compress > $F
 
54
uuencode $F $F > $F.uu
 
55
exit 1
 
56
 */
 
57
 
 
58
DEFINE_TEST(test_read_format_isojoliet_rr)
 
59
{
 
60
        const char *refname = "test_read_format_iso_joliet_rockridge.iso.Z";
 
61
        struct archive_entry *ae;
 
62
        struct archive *a;
 
63
        const void *p;
 
64
        size_t size;
 
65
        off_t offset;
 
66
 
 
67
        extract_reference_file(refname);
 
68
        assert((a = archive_read_new()) != NULL);
 
69
        assertEqualInt(0, archive_read_support_compression_all(a));
 
70
        assertEqualInt(0, archive_read_support_format_all(a));
 
71
        assertEqualInt(ARCHIVE_OK,
 
72
            archive_read_open_filename(a, refname, 10240));
 
73
 
 
74
        /* First entry is '.' root directory. */
 
75
        assertEqualInt(0, archive_read_next_header(a, &ae));
 
76
        assertEqualString(".", archive_entry_pathname(ae));
 
77
        assertEqualInt(AE_IFDIR, archive_entry_filetype(ae));
 
78
        assertEqualInt(2048, archive_entry_size(ae));
 
79
        assertEqualInt(86401, archive_entry_mtime(ae));
 
80
        assertEqualInt(0, archive_entry_mtime_nsec(ae));
 
81
        assertEqualInt(3, archive_entry_stat(ae)->st_nlink);
 
82
        assertEqualInt(1, archive_entry_uid(ae));
 
83
        assertEqualIntA(a, ARCHIVE_EOF,
 
84
            archive_read_data_block(a, &p, &size, &offset));
 
85
        assertEqualInt((int)size, 0);
 
86
 
 
87
        /* A directory. */
 
88
        assertEqualInt(0, archive_read_next_header(a, &ae));
 
89
        assertEqualString("dir", archive_entry_pathname(ae));
 
90
        assertEqualInt(AE_IFDIR, archive_entry_filetype(ae));
 
91
        assertEqualInt(2048, archive_entry_size(ae));
 
92
        assertEqualInt(86401, archive_entry_mtime(ae));
 
93
        assertEqualInt(86401, archive_entry_atime(ae));
 
94
        assertEqualInt(2, archive_entry_stat(ae)->st_nlink);
 
95
        assertEqualInt(1, archive_entry_uid(ae));
 
96
        assertEqualInt(2, archive_entry_gid(ae));
 
97
 
 
98
        /* A regular file with two names ("hardlink" gets returned
 
99
         * first, so it's not marked as a hardlink). */
 
100
        assertEqualInt(0, archive_read_next_header(a, &ae));
 
101
        assertEqualString("long-joliet-file-name.textfile",
 
102
            archive_entry_pathname(ae));
 
103
        assertEqualInt(AE_IFREG, archive_entry_filetype(ae));
 
104
        assert(archive_entry_hardlink(ae) == NULL);
 
105
        assertEqualInt(6, archive_entry_size(ae));
 
106
        assertEqualInt(0, archive_read_data_block(a, &p, &size, &offset));
 
107
        assertEqualInt(6, (int)size);
 
108
        assertEqualInt(0, offset);
 
109
        assertEqualInt(0, memcmp(p, "hello\n", 6));
 
110
        assertEqualInt(86401, archive_entry_mtime(ae));
 
111
        /* mkisofs records their access time. */
 
112
        /*assertEqualInt(86401, archive_entry_atime(ae));*/
 
113
        /* TODO: Actually, libarchive should be able to
 
114
         * compute nlinks correctly even without RR
 
115
         * extensions. See comments in libarchive source. */
 
116
        assertEqualInt(2, archive_entry_nlink(ae));
 
117
        assertEqualInt(1, archive_entry_uid(ae));
 
118
        assertEqualInt(2, archive_entry_gid(ae));
 
119
 
 
120
        /* Second name for the same regular file (this happens to be
 
121
         * returned second, so does get marked as a hardlink). */
 
122
        assertEqualInt(0, archive_read_next_header(a, &ae));
 
123
        assertEqualString("hardlink", archive_entry_pathname(ae));
 
124
        assertEqualInt(AE_IFREG, archive_entry_filetype(ae));
 
125
        assertEqualString("long-joliet-file-name.textfile",
 
126
            archive_entry_hardlink(ae));
 
127
        assert(!archive_entry_size_is_set(ae));
 
128
        assertEqualInt(86401, archive_entry_mtime(ae));
 
129
        assertEqualInt(86401, archive_entry_atime(ae));
 
130
        /* TODO: See above. */
 
131
        assertEqualInt(2, archive_entry_nlink(ae));
 
132
        assertEqualInt(1, archive_entry_uid(ae));
 
133
        assertEqualInt(2, archive_entry_gid(ae));
 
134
 
 
135
        /* A symlink to the regular file. */
 
136
        assertEqualInt(0, archive_read_next_header(a, &ae));
 
137
        assertEqualString("symlink", archive_entry_pathname(ae));
 
138
        assertEqualInt(AE_IFLNK, archive_entry_filetype(ae));
 
139
        assertEqualString("long-joliet-file-name.textfile",
 
140
            archive_entry_symlink(ae));
 
141
        assertEqualInt(0, archive_entry_size(ae));
 
142
        assertEqualInt(172802, archive_entry_mtime(ae));
 
143
        assertEqualInt(172802, archive_entry_atime(ae));
 
144
        assertEqualInt(1, archive_entry_nlink(ae));
 
145
        assertEqualInt(1, archive_entry_uid(ae));
 
146
        assertEqualInt(2, archive_entry_gid(ae));
 
147
 
 
148
        /* End of archive. */
 
149
        assertEqualInt(ARCHIVE_EOF, archive_read_next_header(a, &ae));
 
150
 
 
151
        /* Verify archive format. */
 
152
        assertEqualInt(archive_compression(a), ARCHIVE_COMPRESSION_COMPRESS);
 
153
        assertEqualInt(archive_format(a), ARCHIVE_FORMAT_ISO9660_ROCKRIDGE);
 
154
 
 
155
        /* Close the archive. */
 
156
        assertEqualInt(0, archive_read_close(a));
 
157
        assertEqualInt(0, archive_read_finish(a));
 
158
}
 
159