Improve next_snapshot_is_due().

Currently it's a bit weird how next_snapshot_is_due() decides whether
the next snapshot time has to be (re-)computed:

On startup, next_snapshot_time is zero as it is declared
static.

next_snapshot_is_due() checks whether next_snapshot_time is
greater than the current time. If yes, then next_snapshot_time
needs not be updated and the function returns false.

Otherwise (e.g. if it is called for the first time),
next_snapshot_time is recomputed, next_snapshot_is_due()
checks again if it is greater than the current time and
returns false if it is, true otherwise.

Consequently, dss computes the next snapshot time twice per snapshot.
Moreover, it compares next_snapshot_time twice against the current time
where one comparison would suffice. The code is thus less efficient
and harder to understand than necessary. This patch addresses both
issues. It introduces the two trivial helper functions

next_snapshot_time_is_valid() and invalidate_next_snapshot_time().

The former function simply tests next_snapshot_time against zero. It
is called from next_snapshot_is_due(). If it returns false, the new
compute_next_snapshot_time() is called (which makes next_snapshot_time
valid). Next, the usual comparison against the current time is
performed.

invalidate_next_snapshot_time() sets next_snapshot_time to zero. It
is called from pre_create_hook() and from handle_sighup(), the latter
call is necessary because changes in the config file might lead to
different snapshot creation times.

Simplify computation of next snapshot time.

Using an int64_t rather than a struct timeval for the next snapshot time
makes the code simpler and more readable as we don't have to use the
tv_xxx() functions to perform manipulations.

Fix off-by-one bug in find_outdated_snapshot().

The man page sayeth:

"dss removes any snapshots older than n times u",

where n is the number of unit intervals and u is the duration of
a unit interval. As intervals count from zero, this means that a
snapshot should be considered outdated if its interval number
is greater _or equal_ than n.

However, the current code only removes snapshots in intervals
strictly greater than n. Fix this bug and clarify the documentation.

Make snapshot creation trump snapshot removal.

This patch changes the behaviour of dss in case the following three
conditions are all met:

(1) There is at least one snapshot which could be deleted
    (orphaned, redundant, outdated).
(2) Disk space is not low.
(3) A new snapshot is due.

A common case where these conditions are fulfilled is when dss is
started after it was not running for some time, for example due to
a server crash on Friday evening...

In this situation the old code created a new snapshot only after all
orphaned/redundant/outdated have been removed, which can take hours
and is not what one usually wants to happen in the above mentioned
scenario. Instead, it is desirable to create a new snapshot ASAP,
and only after this snapshot has been created, the removal of old
snapshots should take place.

This patch implements this behaviour and goes even one step further:
If disk space is not low and a new snapshot is due or being created,
dss won't trigger snapshot removal any more.

Another positive side effect of this change is that snapshot creation
times become more stable since the rsync process will only be
interrupted by a rm process if disk space is low.

Move check for low disk space to try_to_free_disk_space().

The value is only used there, so move the check to this function.

dss-0.1.3.

Change copyright year from 2008 to 2009.

A bit late, but better late than never.

Try harder to avoid removing the reference snapshot.

With the old code, it was possible that dss decided to remove the
snapshot which is currently being used as the hardlink directory for
the current rsync process. This patch changes the behaviour so that
reference snapshots are never removed.

The downside of this approach is of course that it is now easier to
fill up the disk..

Don't remove the last snapshot unless disk space is low.

Don't busy-loop if pre-create hook returns non-zero.

Sleep at least one minute before retrying.

Fix removal of orphaned snapshots.

These were detected but not removed due to the goto jumping to the
wrong label.

Improve documentation of the remove hooks.

Clean up snapshot removal logic.

Replace the remove_xxx_snapshot() functions by find_xxx_snapshot()
and start the actual removal in the caller. This simplifies the
code a bit and makes it much more readable. It also simplifies the
--dry-run handling for com_prune().

Remove orphaned snapshots first if disk space is low.

If the dss process gets killed, an orphaned snapshot might result.
Detect this case and prefer to remove such orphaned snapshots before
resorting to remove the oldest snapshot.

Fix some typos.

Restart rsync also on exit value 12.

An exit value of 12 means "Error in rsync protocol data stream",
and it happens regularly for rsync-3 without apparent reason. So
restart the rsync process also in this case.

Fix return value of remove_oldest_snapshot().

We _must_ return non-zero if the remove was initiated. The old code
would exit with

try_to_free_disk_space: uhuhu: not enough disk space for a single snapshot

even though there are plenty of snapshots available that can be deleted.

Fix rm-hooks in case no post-remove hook was specified.

Without the patch the following assertion was triggered upon
removal of the second snapshot:

dss: dss.c:229: pre_remove_hook: Assertion `!snapshot_currently_being_removed' failed.

Thanks to Sebastian Stark who pointed out the issue.

Implement rm-hooks.

This adds calls for the pre-remove and the post-remove hooks, similar to
the pre-create/post-create hooks. If the pre-remove hook fails, snapshot
deletion is deferred until the hook succeeds.

Rename hook_status enum.

We'd like to use only one set of states for both creation/removal.

Merge branch 'master' into rm_hook

com_create: Abort if pre-create hook fails.

handle_pre_create_hook_exit() returns zero if the hook failed.

Add pre-remove and post-remove hooks to dss.ggo.

These are not yet used in the code.

Rename rm_pid to remove_pid.

This variable will contain the pid of rm-hooks or the rm process.

Merge branch 'master' into rm_hook

Merge commit 'meins/master'

Fix the pre-create hook.

Returning non-zero from the pre-create hook caused dss to exit with
"unexpected exit code" rather than waiting until the hook returns
zero.

Fix this bug and also reduce the verbostity of the log messages caused
by executing the pre-create hook: It should be enough to tell the user
only once per hour that no more snapshots are going to be created.

Clarify usage of --rsync-option.

Merge commit 'fml/master'

Bump version number to 0.1.2.

Oops, this should have been done just before tagging the 0.1.2 release..

Introduce the snapshot removal status.

It is not yet used, but we need something like that for the remove-hooks.

Trivial typo fix.

Use only one global variable for snapshot creation pids.

There's no need to have pre_create_hook_pid, rsync_pid and
post_create_hook_pid because only one of them can be running at
any point in time. We can always tell which it is by examining the
snapshot_creation_status.

So replace these three variables by the single create_pid variable.

Besides of killing two global variables, this change also fixes a
real bug: If the dss process catches SIGINT or SIGTERM, the old code
would only kill a running rsync process but not the pre-create or
post-create hook. However, the new code kills whatever create process
is currently running, which is the right thing to do.

Merge commit 'meins/master'

Merge commit 'fml/master'

Include the reason why a snapshot gets removed in the log message.

Never remove the snapshot that is currently being created.

Thanks to Sebastian Stark for pointing out this bug.

Merge commit 'fml/master'

Merge commit 'stark/master'

Invalidate all rsync options on SIGHUP.

gengetopt's params->override option does not do what its name suggests,
see

http://www.opensubscriber.com/message/help-gengetopt@gnu.org/10980633.html

or
http://www.mail-archive.com/help-gengetopt@gnu.org/msg00507.html

fix post_create_hook: really pass full path to last complete snapshot

Merge commit 'fml/master'

Add some comments to compute_next_snapshot_time().

Also, move the call to gettimeofday() down to where it is needed.

Merge commit 'sio/master'

Fix check when to use rsync locally.

We can do this if (a) remote_host_arg is "localhost" and (b)
remote_user_arg is the same as logname. The old code only
looked at the logname and thus tried to use rsync locally even
if a remote_host_arg was specified.

Fix a typo in README.

INSTALL: Mention "make man".

Clarify the --keep-redundant option.

dss cares about the number of free inodes, not the inode ratio.

dss-0.1.1.

Prevent busy loops on rsync exit code 13.

We restart the rsync process in case it returned with exit code 13
which unfortunately happens for some unknown reasons even with a
valid configuration.

This may lead to a busy loop, so wait at least one minute before
restarting rsync.

Ignore any snapshot directory with creation time > completion time.

Without this fix, dss would abort du to an assertion in dss.c:

dss.c:171: compute_next_snapshot_time: Assertion `x >= 0' failed.

Thanks to Sebastian Stark for pointing out this flaw.

use C99-compliant format strings for consistency reasons

open /dev/null for reading AND writing when executing rsync.

This is needed for child processes to be able to write to fd 2 without failing.

For example, rsync will not be able to write an error message because of "Bad
file descriptor" which in turn leads to rsync exiting with meaningless exit
code 13 ("Errors with program diagnostics"), masking the actual error and exit
code.

The fact that rsync uses exit code 13 in that case makes this bug particularly
painful since 13 is interpreted by dss as a temporary rsync error that can be
"fixed" by simply restarting rsync. This can lead to an infinite loop,
obviously.

show human readable snapshot creation duration when listing snapshots.

The PRId64 macro is defined in the C99 standard. See

  http://www.opengroup.org/onlinepubs/009695399/basedefs/inttypes.h.html

Add dss.1 and dss.1.html to .gitignore.

Restart the rsync process if it returned with exit code 13.

Unfortunately this happens frequently for no apparent reason.

Fix the exit hook.

As dss_exec_cmdline_pid() uses the space character as a separator
to split the command line, the words of the error message were
passed as separate parameters to the exit hook.

Use dss_exec() directly to avoid this flaw, i.e. to pass the full
error message as $1 to the exit hook.

Offer a direct link to the automatically generated tarball.

As suggested by Sebastian Stark.

NAME section for manpage

add SEE ALSO section to manpage

dss-0.1.0.

snap.c: Add missing include to make it compile on FreeBSD.

NetBSD Compile fixes.

Add a missing include and the dss_isdigit macro.

Fix paths and URLs, improve INSTALL text.

INSTALL: Fix a typo.

README, INSTALL improvements.

Improve basic example usage and mention that dss provides an additional
level of data security.

Implement exit-hooks.

Clarify documentation of --run.

Add new option --keep-redundant.

Fix the math in the description of the unit interval.

Clarify the difference between outdated and redundant snapshots.

Add section "Commands" to dss help text.

index.html.in: Remove Link to top of the page.

Add web page stuff.

Add INSTALL -- installation and usage notes.

dss.c: Remove obsolete TODO item.

Minor help text improvements/fixes.

Add GPL headers and COPYING file.

dss-0.0.5.

Fix return value of try_to_free_disk_space().

We must never, ever return a system error without converting
it to a dss error code first.

Loglevel adjustments.

Fix select timeout.

Under Linux, select() modifies the timeval pointed to by the last
parameter; it contains the time that was not slept because an fd
in one of the given fd sets became ready.

It is hence necessary to reset the time to be slept in each iteration
off dss' select loop.

Merge commit 'fml/master'

dss.c: Sleep at most 60 seconds.

Otherwise we might miss to remove snapshots in time.

Merge commit 'remotes/fml/master'

Kill --exclude-patterns option.

The same can be achieved by using the --rsync-option.

Merge commit 'remotes/fml/master'

Fix a serious bug in deamon mode.

In daemon mode, we changed to dest_dir _before_ calling daemon_init(),
which changes the cwd to /.

Fix this rather embarrassing bug by changing cwd later. To this aim,
introduce change_to_dest_dir() which also logs some messages.

dss.ggo: Disable inode monitoring by default.

Not all file systems support inodes. For example reiserfs reports zero
for all inode-related fields in the statvfs structure. Even worse, on
windows file systems, the field contains some more or less arbitrary
large number.

Remove some useless stuff from gcc-compat.h

Print config errors.

Dooh. This broke in 9c4bc98761828cbe3997e071ad5b4d24eb52e599.

dss-0.0.4.

Also check for free inodes and start snapshot removal if necessary.

Add special rule to make cmdline.o.

I got tired of the warnings gcc spits out when compiling cmdline.c.

Makefile: Replace dependencies on cmdline.h by Makefile.

The dependencies on cmdline.h are mentioned in Makefile.deps
anyway. But everything depends on Makefile, so..

Makefile: The linker does not need CPPFLAGS.

string.c: Include stdio instead of cmdline.h.

The string helper functions really should not depend on the
command line parser.

Add more source code documentation.

dss.c: Make functions and global variables static.

Move snapshot helpers to new file snap.[ch].