Use S_BLKSIZE when multiplying st_blocks.

Support --sparse combined with --preallocate or --inplace.

The new code tries to punch holes in the destination file using newer
Linux fallocate features. It also supports a --whole-file + --sparse +
--inplace copy on any filesystem by truncating the destination file.

xattrs: maintain a hashtable in order to speed up find_matching_xattr()

As a testcase I've used one directory on gpfs with 1000000 files,
each with an xattr called 'name$i' having a value of 'value$i'.
So we also have 1000000 unique xattrs. The source and dest directories
are already in sync before. So the rsync command is basically a noop,
just verifying that everything is already in sync.

The results before this patchset are:

  [gpfs]# time rsync -a -P -X -q source-xattr/ dest-with-xattr/

  real    8m46.191s
  user    6m29.016s
  sys     0m24.883s

  [gpfs]# time rsync -a -P -q source-xattr/ dest-without-xattr/

  real    1m58.462s
  user    0m0.957s
  sys     0m11.801s

With the patchset I got:

  [gpfs]# time /gpfs/rsync.install/bin/rsync -a -P -X -q source-xattr/ dest-with-xattr/

  real    2m4.150s
  user    0m1.917s
  sys     0m17.077s

  [gpfs]# time /gpfs/rsync.install/bin/rsync -a -P -q source-xattr/ dest-without-xattr/
  real    1m59.534s
  user    0m0.924s
  sys     0m11.599s

It means the time in userspace dropped from 6m29.016s down to 0m1.917s!
Without -X we get ~ 0m0.9s with or without the patch.

Part of a patchset for bug 5324.

hashtable: add hashlittle() from lookup3.c, by Bob Jenkins

Part of a patchset for bug 5324.

xattrs: introduce a rsync_xa_list struct as layer between two nested item_lists

We have the global 'item_list rsync_xal_l', this maintains an array
of rsync_xa_list structure, one per file.

Each rsync_xa_list structure maintains an array of rsync_xa structure,
while each represent a single xattr with name and value.

Part of a patchset for bug 5324.

xattrs: let rsync_xal_store() return ndx.

Part of a patchset for bug 5324.

xattrs: add const to empty_xattr

Part of a patchset for bug 5324.

Makefile: rounding.h generation requires proto.h via rsync.h

Bug 12029 - Makefile missing dep gives parallel race for rounding.h

Signed-off-by: Greg Whiteley <greg.whiteley@gmail.com>

Fix "could not find xattr #1" errors.

The abbreviated-xattr code can get requests that are not in the same
order as the xattr list, so we need to support wrap-around scanning
of the available xattrs. Fixes bug 6590.

Fix path check when prior_dir_file is NULL.

Improve the top-level section on include/exclude traversal.
This is my edit of some suggestions by Karl O. Pinc.

Add --checksum-choice option to choose the checksum algorithms.

Tweak indentation only.

If a backup fails (e.g. full disk) rsync should fail.
Fixes bug 11668.

Output "UNKNOWN" if starttime or endtime is -1.
Fixes bug 11382.

Support only splitting users/groups on commas.
Fixes bug 11817.

Tweak non-fatal output when man pages cannot be created.

Fix use of obsolete compile macro.
Fixes bug 11813.

Only output about new backup dirs when requested.
Fixes bug 11812.

Fix/improve the sort functions.
Fixes bug 11704.

Add support for comparing nanoseconds on the receiver.

This patch adds the ability to specify --modify-window=-1 (aka -@-1) to
ask rsync to compare files with the full nanosecond timestamps.  The
default is still -@0 for the moment, which ignores nanoseconds in time
comparisons.  Changing the default to -1 would cause a copy from ext4 to
ext3 to constantly compare as different, or a copy there and back again
to do a full copy as it zeroed all the nanosecond times.  Such a change
might be too much of a functional difference for things like backup
solutions to handle without a warning period.  The current plan is to
support nanosecond comparisons for those that want them, and possibly
change the default window value from 0 to -1 at some point in the
future.

Prepare the repository for more development.

Fix a tweak that should have been untweaked.

Preparing for release of 3.1.2

Improve the "use chroot" & "numeric ids" info a bit more.

Improve the comment a bit more.

Fix rule for out-of-tree builds.
Fixes bug 11635.

Don't allow an empty flag name to --info & --debug.

Document expand_item_list's args & make sure incr==0 works OK.

Fix return of stat info from try_dests_reg().

The try_dests_reg() function could sometimes tweak the stat struct's
info when it should have been left unchanged.  This fixes bug 11545
(where an ACL check of a file that was mistakenly thought to be a
directory failed).

Add -wo option for write-only rrsync mode.

Fixed logging of %b & %c when using --log-file.

The %b and %c escapes were outputting cumulative values when logged via
--log-file only (the bug didn't affect daemon transfer logging or the
output of the client's --out-format info).  Also unified the %b & %c
switch case to make it easier to maintain.  Fixes bug 11496.

Add support for netbsd in xattrs case.
Closes bug-suggestion 11484.

Change daemon's gid list to use an "item_list".

Add configure option to set max daemon gid list.
Fixes bug 11456.

Avoid creating even the top-level backup dir until needed.
Fixes bug 11423.

Improve make_path() error return for non-dir element.

Preparing for release of 3.1.2pre1

Update the copyright year.

Mention latest fixes.

Don't create so many empty backup dirs.
Fixes bug 10724.

Allow samba.org hostname to be overridden.

Improve mergedir filter handling internals.
Fixes bug 10995.

Make sure chk subdir can't diverge in time from its src subdir.

Avoid --remove-sent-file issue for non-regular files.

Mention local-only effect of --msgs2stderr.

Mention how we handle a module named "global".

Brant Gurganus's autoconf updates.

This improves some obsolete autoconf macros and increases the minimum
autoconf version from 2.60 to 2.69.  Fixes bug 11369.

Add parent-dir validation for --no-inc-recurse too.

Change "fail" to "test_fail".
Fixes bug 11322.

Make the checksum_seed a bit harder to predict.

Add compat flag to allow proper seed checksum order.
Fixes the equivalent of librsync's CVE-2014-8242 issue.

Pass -I option to aclocal.

Use AS_IF instead of plain if/then/fi

Ignore .deps directories.

Check for perl and assign it to a var since it is needed for generating the protocol header.

Remove dead targets from build system

Handle configure's new version style.

Specify package name and version in call to AC_INIT

Properly quote arguments for AC_LIBOBJ.

Must define LIBOBJDIR in the Makefile.

Use AC_CONFIG_LIBOBJ_DIR and AC_REPLACE_FUNCS to adhere to autoconf standards

Modularize m4 macros

Split acinclude.m4 into one file per function in m4/

Properly quote m4 macro

Update generated-files logic.

Rename aclocal.m4 to acinclude.m4 and add make target

It is common practice to split up m4 files for easier maintenance and
generate the required aclocal.m4 using `aclocal` instead.

rsync: fix of-by-one in check of snprintf() result.
Fixes bug 11229.

Complain if an inc-recursive path is not right for its dir.
This ensures that a malicious sender can't use a just-sent
symlink as a trasnfer path.

Mention that --append can be dangerous.

Call set_modtime even if only NSEC is different.

Use usleep() for msleep() if it is available.

Add a missing closing paren.

Prepare the repository for more development.

Mention DRY RUN in --debug=exit output.

Adding the long options that BackupPC likes to use.

Set GIT_MERGE_AUTOEDIT=no in the environment.

Match latest git's repo branch message.

Match latest git's repo status messages.

Remove superfluous ${INSTALL_STRIP} uses.

Fix a typo.

Preparing for release of 3.1.1

Add a clarification about shell wildcard expansion.

Make sure the link() destination file doesn't exist.

Make sure cmp_time() doesn't mess up due to a time_t overflow.
Fixes bug 10643.

Updated NEWS & tweaked a comment.

Put zlib and popt -I options early in the CFLAGS.

Fix hard-link bugs when receiver isn't capable.

If the receiving side cannot hard-link symlinks and/or special files
(including devices) then we now properly handle incoming hard-linked
items (creating separate identical items).

Added a flag to disable xattr hlink optimization.

I added a compatibility flag for protocol 31 that will let both sides
know if they should be using the xattr optimization that attempted to
avoid sending xattr info for hardlinked files.  Since this optimization
was causing some issues, this compatibility flag will ensure that both
sides know if they should be trying to use the optimization or not.

I missed this tweak in the undo of a prior xattr optimization.

Preparing for release of 3.1.1pre2

Mention all the latest changes in the NEWS.

Avoid an xattr-finding glitch on the receiver.
Fixes bug 9594.

Add new-compress option to rrsync.

Make --omit-dir-times avoid early-create directories.

Exit with a partial-transfer error for a sender-remove failure.

Check for attr lib.

Fix usermap/groupmap parsing of MIN-MAX IDs.

Check F_IS_ACTIVE() in a few more spots.

The code needs to ignore flist entries that were marked inactive (by
either duplicate removal or empty-dir pruning) in a few more spots.

Change args to file_checksum() to prepare for future changes.

Add new-style compression that skips matching data.

Adding new-style compression that only compresses the literal data that
is sent over the wire and not also matching file data that was not sent.
This new-style compression is compatible with external zlib instances,
and will eventually become the default (once enough time has passed that
all servers support the --new-compress and --old-compress options).

NOTE: if you build rsync with an external zlib (i.e. if you specified
configure --with-included-zlib=no) you will ONLY get support for the
--new-compress option!  A client will treat -z as uncompressed (with a
warning) and a server will exit with an error (unless -zz was used).