Merge branch 't/configure_fix'

      configure: Fix warning message.

Merge branch 't/id3_conf'

configure: Add --with-id3tag-headers/libs.
Link against libz if compiling with libid3tag support.

mood.c: Silence gcc warning.

The newly released gcc-4.7.0 complains about "m" being used
uninitialized in change_current_mood(). gcc is wrong, but this is
not obvious to see: In change_current_mood(), "m" is only going to
be used if load_mood() returns non-negative. This happens only on
success, when load_mood() returns 1. In this case "m" was previously
set to mlpd.m which was initialized to NULL at the top of load_mood()
and later set to the newly allocated mood structure.

This patch makes it easier for gcc by initializing "m" to NULL
upfront. This causes the warning to go away.

Link against libz if compiling with libid3tag support.

libid3tag depends on libz. On Linux, libz is automatically linked to
para_server and para_afh but at least on FreeBSD compilation fails
due to undefined references to "uncompress" and "compress2".

This patch explicitly adds -lz to $server_ld_flags and $afh_ldflags
if libid3tag was detected.

configure: Add --with-id3tag-headers/libs.

If libid3tag was intalled at a non-standard location, the configure
script would not find it. Currently there is no way to tell configure
to look for libid3tag elsewhere.

This adds two new options, --with-id3tag-headers and --with-id3tag-libs,
to overcome this shortcoming.

configure: Fix warning message.

If libogg is installed but speex is not, configure prints "vorbis/speex
require ogg", which is a rather bad explanation of the problem at hand.

This simple patch should fix it.

Merge branch 't/t0004_fix'

This topic has been cooking for some weeks now and was tested
successfully on all supported operating systems.

manual: Explain how to compile from git.

Mention that autogen.sh should be executed first when compiling from git or
gitweb snapshots.

doc: Avoid \0 in comments.

Doxygen treats \0 as a command, spits out a warning and produces
no output.

Merge branch 't/audioc_cleanups'

Has been cooking for long enough.

Fix t0004-server.

Currently we try to generate an ssh key and start para_server
even if the ssh-keygen executable was not found or para_server
was not built.

Fix this by starting para_server only of both executables exist.

configure.ac: Do not include server-only objects unconditionally.

We included the list of server-only objects in $all_errlist_objs
even if para_server is not going to be built (because libosl was
not found). This confuses t0004-server which bases the decision
whether it should skip its tests on whether server.o is contained
in $all_errlist_objs.

So add these objects to $all_errlist_objs only if libosl is detected.

configure.ac: Remove fec from objects for para_recv.

para_recv does not need this object.

configure.ac: Kill $gui_other_objs.

Just treat these two objects as ordinary objects which do
not define own error codes.

configure.ac: Try to link against libogg and lm if necessary.

This seems to be necessary on FreeBSD, and does hopefully not hurt
on other systems.

Merge branch 't/mmap_sanity'

Conflicts:
error.h

Merge branch 't/write_consolidation'

This topic branch has been cooking in next for two weeks with no
problems.

audioc: Improve documentation of main().

Merge branch 't/deprecate_no_default_filters'

audioc: Fix memory leak in configfile_exists().

In case the config file does not exist, the function returns NULL
without freeing the config_file buffer.

This patch also makes config_file non-static. As configfile_exists()
is called at most once, it is pointless to have a static variable
there. The condition "if (!config_file)" is always true, so we can
get rid of the conditional alltogether.

audioc: Do not leak command buffer.

This buffer contains the command to be sent to para_audiod. It is
allocated but never freed.

audioc.c: Always free IO buffer.

This 8K buffer is allocated but never freed.

Fix memory leak in audioc.c.

We leak cf which is allocated and returned by configfile_exists().

Improve error diagnostics of mmap_full_file().

On mmap errors, this function used to return the error code it got
from mmap(). Unfortunately, in at least two cases, this results in
rather obscure error messages:

$ para_afh -i .
main: No such device
$ touch foo; para_afh -i foo
main: Invalid argument

This simple patch specifically checks whether the given fd refers
to a directory or an empty file so that the error messages become
more readable:

$ para_afh -i .
main: failed to mmap "."
main: Is a directory
$ touch foo; para_afh -i foo
main: failed to mmap "foo"
main: file is empty

grab_client.c: Fix another documentation bug

In gc_activate(), the pointer to the scheduler struct is called "s"
rather than "sched".

Merge commit '1678ee'

audiod: Deprecate the --no_default_filters option.

This option does not make much sense anymore these days as we have
sane defaults in case no filter was given. We prefer deprecation over
removal because this allows to switch between old and new versions
without having to edit the config file.

The option will be removed after the next release.

para_client: Fix a memory leak.

The main function of para_client first calls client_parse_config()
to decide whether to start an interactive session, run in completion
mode or execute the given command. In the third case case we call
client_open() which calls client_parse_config() again, thereby
leaking the client_task structure which was returned by the first
call to client_parse_config().

Fix this leak by calling client_connect() instead of client_open().

Fix a typo in the manual.

Replace PARA_VSNPRINTF by xvasprintf().

The PARA_VSNPRINTF macro is rather clumsy, and too large to be inlined.
Moreover, it does not return the length of the formated string, so
users have to call strlen() after the call to PARA_VSNPRINTF(). This
is extra work which can easily be avoided since the number of bytes
written is returned by the underlying call to vsnprintf().

This patch replaces the macro by the public function xvasprintf(),
which is similar to the non-standard vasprintf() on GNU systems. It
also adds xasprintf(), a similar variant which takes a variable number
of arguments.

Unlike PARA_VSNPRINTF, xasprintf() and xvasprintf() return the number
of bytes written. This relies on vsnprintf() conforming to the C99
standard and breaks in particular on glibc 2.0 systems. Since glibc
2.0 is about 15 years old, this is unlikely to cause problems on
real systems.

All users which called strlen() right after xvasprintf() are changed
to use the return value of xvasprintf() instead.

command: Introduce struct command_context.

This exposes a couple of variables which were previously local to
handle_connect() to the command handlers, allowing them to make use
of the full command context.

All newly exposed variables are stored in an instance of the new
structure, and the command handlers now take a pointer to such
a structure.

The patch is large but also straight forward.

Introduce xwritev().

For the sideband API we will need to write two buffers one after
another. This patch adds the new public function xwritev() to fd.c
which takes an arbitrary number of buffers and calls writev() to
perform the write.

With this function in place, xwrite() becomes a trivial wrapper
for xwritev().

Rename write_nonblock() to xwrite().

This function is not only useful for non-blocking file descriptors,
so the name was misleading. Rename it to xwrite() for the lack of
a better name.

sc_send_buffer(): Return an error on short writes.

This allows all callers to just check for negative return values.

sc_send_bin_buffer: Use write_nonblock() rather than write_all().

The write_nonblock() variant is safer here as it allows to let the
callers deal with short writes.

Despite the name, write_nonblock() can be used for both blocking and
non-blocking fds. It will be renamed in a subsequent patch.

sc_send_result(): Error out on short writes.

This affects only afs command handlers, where short writes should
never happen as the socket fd is set to blocking mode. But still.

afh: Use write_all rather than plain write().

We are currently using plain write() to write out the audio
file header. If this results in a short write, or if the write
is interrupted, we should just try again. So it's safer to call
write_all() here.

fd: Let write_all() return an error on short writes.

Short writes are often ignored because most callers of write_all()
do not check the return value. Rather than fixing all callers, this
patch teaches write_all() to detect short writes and return the new
E_SHORT_WRITE error code in this case.

Currently write_all() is a wrapper for write(), similar to
write_nonblock() but lacking the safety checks of the latter. To get
these safety checks, write_all() is changed to call write_nonblock().

Unfortunately, this involves some code movement.

Fix two minor documentation issues.

fd: Improve error handling of write_nonblock().

This function had two shortcomings: First, a call to write might
fail with errno set to EINTR in case the write call was interrupted
before any data was written. This is not fatal and one should just
retry the write in this case.

Secondly, POSIX allows to return either EAGAIN or EWOULDBLOCK if the
write would block but we only check for EAGAIN. This is no problem on
Linux since both constants refer to the same value on Linux. However,
POSIX does not require them to be equal, so we have to check for both.

This patch corrects both issues.

Move send_buffer() and send_va_buffer() from net.c to fd.c.

These functions end up calling plain write(), hence they work on
arbitrary file descriptors, not just network sockets. So they really
belong to fd.c rather than to net.c. Rename the two functions to
write_buffer() and write_va_buffer().

Remove send_bin_buffer().

It is just a trivial wrapper for write_all(). This patch changes all
callers to use write_all() directly and removes the wrapper.

fd: Make write_all() receive the length by value.

Not a single caller actually checked the value of the passed
len pointer after the call, which is a sure sign for a bad API.
Just return the number of bytes written.

lsatt: Do not print "no matches" message unconditionally.

com_lsatt() needs to know if output has been sent to the client in
order to decide whether it should print the "no matches" error message.
Currently this message is printed if at least one argument was given
and send_callback_request() returned zero.

However, send_callback_request() returns zero on success and negative
on errors. Hence, if at least one argument was given, the error
message is printed regardless of whether there was a match.

Fix this bug by changing send_callback_request() to return the number
of received shared memory areas on success.

command.c: Fix typo in comment.

Fix typo in audiod man page.

Merge branch 't/web_fix'

Change year in copyright message to 2012.

Make web pages conform to the HTML standard again.

Without this fix, the w3c validator complains about end tags for
element <p> which is not open. Removing both start and end tags makes
it happy again and causes no visible change, at least in one browser.

afh/audioc: Explicitly mark STDOUT as blocking.

STDOUT_FILENO is usually set to blocking mode, but as we rely on this,
it is safer to clear the nonblock flag explicitly.

com_init(): Return proper error code.

If an error occurred during database initialization, we send an error
message to the client.  However, it this fails, we currently log
the send error rather than the error that caused that initialization
to fail. Fix this by logging the root cause of the problem instead.

audiod: Fix bug in status_pre_select().

We have to take the minimum input size into account when deciding
whether a minimal delay should be requested from the scheduler.
Without this, a busy loop is possible.

Merge remote-tracking branch 's/master'

send: Make ->send_fec() return void.

There is only one caller, vss_send(), which ignores the return value.
So there is no point in returning an error code from this method.

Always include stdbool.h.

This adds the #include statement for stdbool.h to para.h. This allows
to get rid of the individual includes in *.c.

More importantly, since all *.c files include para.h, booleans will
now be available everywhere so that we won't need to touch dozens of
files anymore whenever a boolean is added to a public structure.

web: Fix year in release announcement.

new codename, reset version to git

the paraslash-0.4.9 release tarball

paraslash 0.4.9

Merge branch 't/interactive'

Conflicts:
string.h

Merge branch 't/flac'

Merge branch 't/generic_match_count'

Document interactive sessions and add link to libreadline.

Rewrite bash completion.

Now that para_client and para_audioc gained the --completion option for
completing a partially entered command line, we can use this feature
in the bash completion script. This allows to avoid duplicating the
available commands in the completion script.

Interactive mode for para_audioc.

This is in the same spirit as the previous commit which added
interactive session support for para_client. It implements command
completion and command line history for para_audioc.

Just as for para_client the new completion code in audioc.c is
compiled in only if libreadline was found by configure. In this case
para_audioc starts an interactive session if no command was given at
the command line.

client: Implement interactive mode.

This makes para_client enter an interactive session when started with no
command. Command line history and command completion are available in
interactive sessions.

This populates the previously empty files interactive.h and interactive.c which
contain the readline/interactive specific part. Everything in these files is
independent of para_client.  Conversely, client.c and client_common.c are
independent of readline.

The public API defined in interactive.h was designed to be reused from other
applications. In fact, a subsequent commit changes para_audioc to offer
interactive sessions as well.

string: Introduce compute_word_num().

The completion code needs to determine the word the curser is
currently on.  Libreadline only provides the start and end position
of the current word in the line buffer, but not the word number.

This patch adds compute_word_num() to string.c which uses the same
algorithm as create_argv() to determine the word boundaries.

configure: Introduce checks for libreadline.

This adds interactive.o to the object list of para_client if readline
was found and links para_client against libreadline in this case.

The new source files interactive.c and interactive.h are empty for now.

client: Split client_open() and client_close().

For interactive para_client sessions, we set up the client
configuration from the values given at the command line and in the
config file just as we do for non-interactive mode. However, in
interactive mode we must be able to execute arbitrary many client
commands using the same configuration. client_open() sets up the
configuration from the command line arguments and client_close()
destroys the configuration, so both functions do more than what is
needed in interactive mode.

This patch splits client_open() into two functions
client_parse_config() and client_connect(). The old client_open()
remains with the same semantics as before, it just calls both of the
new functions().

In the same spirit, client_close() is split into client_disconnect(),
which closes the file descriptor and deallocates the ressources of
the current command but does not free the configuration.

This allows to re-use the client configuration multiple times for
interactive sessions.

sched: Allow more than one running scheduler instance.

The interactive completion code must be able to run a second,
independent scheduler instance for generating the possible completions.
This is currently not possible because the pre_select and post_select
list heads of the scheduler are defined globally in sched.c.

This patch moves these list heads from sched.c to struct sched. This
leaves only the global "now" variable in sched.c, but it is OK to
update this from all scheduler instances, so it can stay.

Moving the two list heads to struct sched requires that several
public functions, among them register_task(), grow an additional
parameter. The (mostly trivial) changes that update all callers to
provide the new argument make the patch rather invasive, unfortunately.

Teach command_util to print also completions.

This adds completion mode to command_util.sh. When exectuted in this
mode, it prints array initializers for all supported commands. This
will be used to generate the array of completers for para_client and
para_audiod.

Allow switching between different log methods at runtime.

Currently, para_client defines its para_log function via the
INIT_STDERR_LOGGING() macro which generates a log function that
writes to stderr. However, we will need to switch to a different,
curses-aware logging function when operating in interactive mode.

To support more than one log method the type of para_log is changed
from a function to a (public) pointer variable. This variable is
supposed to point to the log function currently in use so that the
application can simply set para_log differently in order to switch
between log functions.

The patch also changes the INIT_STDERR_LOGGING() macro to receive the
name of the log function to be defined and to let para_log point to
the newly defined function.

command_util: Fix quoting in template_loop().

Without this additional quoting, the command usage string is incorrect
in case the template contains square brackets. For example, the usage
of the lsblob commands was printed as

Usage: lspl [-i] [-l] [-r] t

rather than the desired

Usage: lspl [-i] [-l] [-r] [pattern]

because the command "echo [pattern]" prints "t" since there is a
subdirectory called "t" in the source tree.

Merge branch 't/recv_improvements'

Compilation fix for FreeBSD.

Commit 25ca796b (daemon: Introduce parent_waits flag for
daemonize().) broke the compilation on FreeBSD due to signal.h not
being included. This patch adds the missing include.

Merge branch 't/makefile_cleanups'

doc: Add flac documentation to manual and FEATURES.

Implement the flac decoding filter.

This replaces the dummy functions in flacdec_filter.c by a working
implementation. Although it contains an ugly workaround for a
shortcoming in the flac library, see the comment in read_cb() for
details, it seems to work fine.

Implement the flac audio format handler.

This adds another audio format to para_server and para_afh. Since
meta data tags flac are essentially vorbis comments, they are fully
supported. However, the audio format handler accepts only flac
files with fixed block size, and ogg/flac is not supported either at
this point.

Initial support for FLAC (the free lossless audio codec).

This adds tests for flac headers and libraries to configure.ac and
adds configure options to override the default location of these files.

Moreover, a (non-working) implementation of the flac audio format
handler and the flac decoder are introduced. All new functions are
defined as empty dummies to be filled with content in subsequent
commits.

btr: Introduce btr_next_buffer_omit().

This function is useful for the flac decoder.

Make vorbis comment helper functions generic.

copy_comment() and copy_if_tag_type() are useful also to the new flac
audio format handler, so move these functions to string.c and make
them public.

Rename them to safe_strdup() and key_value_copy() respectively,
as this is more to the point.

Calculate width of audio formats in ls output.

Currently the field width for the audio format is hard-coded as three
as the name of each supported audio format (mp3, ogg, aac, wma, spx)
consists of three characters.

However, with the forthcoming flac support, this is no longer true
since "flac" consists of four characters. So the ls command must
calculate the maximal field width of the audio formats of all listed
files.

This is achieved by introducing the new audio_format_width member of
struct ls_widths.

stdin: Increase input buffer.

Some flac files may contain the contain arbitrary large metadata
at the beginning and libflac wants to see this data in one go.
128K should be enough for most cases.

daemon: Introduce parent_waits flag for daemonize().

In daemon mode, para_server should not detach from the console
until it is listening on its command socket. The previous approach
turned out to be buggy and has been reverted in the previous commit.

This second attempt tries to get it right. It adds a boolean parameter
"parent_waits" to daemonize(). After daemonize() has forked, the
parent process does not exit immediately if parent_waits is true but
waits until the child process sends SIGTERM to its parent, or exits.

para_server makes use of the new flag in server_init(). The daemon
process (child) sends SIGTERM to its parent after the command socket
has been initialized. para_audiod, on the other hand, does not need
this feature, so it calls daemonize() with parent_waits == false to
get the old behaviour.

Revert "server: Listen on command socket before daemonizing."

This reverts commit 7a4b6d5f19976ceac581f6dc235fcbd9b30c767f, which
was a rather bad idea because it caused the afs process to inherit
the open file descriptor of the command socket, so two processes
listened on the command socket at the same time.

Even worse, the afs process also inherited the command task in its
scheduler setup, causing it to answer incoming connections as well.
In fact it was more or less random which of the two processes served
an incoming connection.

If it was the afs process, interesting things happened in the command
handler due to its address space being a copy of the afs process,
where parts of what is needed for some commands not properly set
up. For example the si and the sender commands segfaulted due to a
NULL pointer dereference.

It's weird that this bug was not noticed earlier.

vss: Avoid read-overflowing the header buffer for ogg streams.

valgrind complains because of invalid reads/writes in vss.c:

==998== Invalid write of size 1
==998==    at 0x8050B09: vss_post_select (vss.c:574)
==998==    by 0x806106C: schedule (sched.c:71)
==998==    by 0x804EE04: main (server.c:579)
==998==  Address 0x46d99bc is 0 bytes after a block of size 548 alloc'd
==998==    at 0x4028A3B: realloc (vg_replace_malloc.c:632)
==998==    by 0x805356B: para_realloc (string.c:40)
==998==    by 0x80506EC: vss_post_select (vss.c:331)
==998==    by 0x806106C: schedule (sched.c:71)
==998==    by 0x804EE04: main (server.c:579)
==998==

...

==5543== Invalid read of size 1
==5543==    at 0x8050EBD: vss_post_select (vss.c:1099)
==5543==    by 0x806108E: schedule (sched.c:71)
==5543==    by 0x804EE04: main (server.c:579)
==5543==  Address 0x47c70ac is 0 bytes after a block of size 3,956 alloc'd
==5543==    at 0x4028A3B: realloc (vg_replace_malloc.c:632)
==5543==    by 0x805358D: para_realloc (string.c:40)
==5543==    by 0x80642AA: add_ogg_page (ogg_afh.c:78)
==5543==    by 0x8064458: vorbis_get_header_callback (ogg_afh.c:132)
==5543==    by 0x8063EF1: process_ogg_packets (ogg_afh_common.c:48)
==5543==    by 0x8063F9A: ogg_get_file_info (ogg_afh_common.c:144)
==5543==    by 0x8064200: vorbis_get_header (ogg_afh.c:149)
==5543==    by 0x804FDD9: recv_afs_result (vss.c:1006)
==5543==    by 0x80503F4: vss_post_select (vss.c:1124)
==5543==    by 0x806108E: schedule (sched.c:71)
==5543==    by 0x804EE04: main (server.c:579)

The problem is that for ogg streams chunk 0 points to a buffer on
the heap rather than to the mapped audio file, but we are checking
the buffer bounds against the memory map.

The fix consists of two parts. (a) We now treat a FEC group special
if it starts at chunk zero: Such a group now contains only this single
chunk. (b) When setting up the FEC group we always compare the buffer
bounds against the start of the first buffer in the group rather than
the memory map.

vss: Don't prefault header.

Commit 7bba6232 (vss: Mmap audio files using MAP_POPULATE.) introduced
read-ahead for chunks of the mmapped audio file. However, it missed
the fact that for ogg streams chunk 0 is created on the fly and stored
in a dynamically allocated buffer. Read-ahead on this buffer is likely
to access memory not owned by the process and might lead to a segfault.

Fix this bug by not performing read-ahead for chunk zero.

com_lsblob: Print an error message if no blob matched.

Just to be consistent with other commands.

com_ls: Print an error message if no file matched.

In case at least one pattern was given and no matches were found,
the ls command returned with no output at all. This makes it print a
"no matches" error message instead.

catblob: Fix "no matches" message.

The catblob commands are supposed to print this message only if none
of the given patterns matches any blob in the database.  However, in
case all of the matching blobs are empty, we do print the message.

The problem is that the match count is not being increased due
to cat_blob() returning negative for empty blobs. This count is
computed in action_if_pattern_matches() which calls cat_blob() as
its action handler which in turn calls osl_open_disk_object(). But
this function returns -E_OSL_EMPTY for empty blobs, and cat_blob()
just passes through this value.

This patch changes cat_blob() so that it explicitly checks for
-E_OSL_EMPTY and returns zero in this case so that the match counter
will be increased.

afs: Make catblob commands print an error if no blob matched.

This is straight-forward given the new generic num_matches
counter which was introduced in the previous patch.

afs: Provide generic counter for matching rows.

Several afs commands implemented their own counters, often only to
find out whether they should print an error message because no rows
matched the given pattern(s).

This patch makes counting matching rows generic by increasing the new
pattern_match_data->num_matches counter in action_if_pattern_matches()
so that all commands which use this facility for iterating over all
audio files can evaluate the counter afterwards. This allows to remove
several per-command counters.

Merge branch 't/alsa_improvements'

Merge branch 't/t0004'

web: Rework text on download page.

The git link to kernel.org was defunct and is probably not the best
pointer anyway. These days everybody knows git, so let's simply not
link to any git page.

This patch also reorders the three options for downloading (clone repo,
download snaphot, download release) so that git comes first.

http_recv: Fill both buffer pool buffers simultaneously.

This changes http_recv_post_select() to call readv_nonblock() rather
than read_nonblock() to read data from the socket, just like the udp
and dccp receivers do.

This saves one iteration of the scheduler loop if the end of the
buffer pool area is reached.

recv: Make ->btrp and ->fd generic.

All three receivers maintain a file descriptor and a buffer tree
pool per connection. Currently these are part of the receiver node's
private_data structure, which is a needless code duplication.

This patch moves both fields to the generic struct receiver_node. Since
the private_data structure of the udp and dccp receivers contained
no other fields, this allows to get rid of it completely for these
two receivers.

Merge branch 't/afs_argv0'

Merge branch 't/map_populate'