Merge branch 't/generic_match_count'

Merge branch 't/recv_improvements'

Compilation fix for FreeBSD.

Commit 25ca796b (daemon: Introduce parent_waits flag for
daemonize().) broke the compilation on FreeBSD due to signal.h not
being included. This patch adds the missing include.

Merge branch 't/makefile_cleanups'

daemon: Introduce parent_waits flag for daemonize().

In daemon mode, para_server should not detach from the console
until it is listening on its command socket. The previous approach
turned out to be buggy and has been reverted in the previous commit.

This second attempt tries to get it right. It adds a boolean parameter
"parent_waits" to daemonize(). After daemonize() has forked, the
parent process does not exit immediately if parent_waits is true but
waits until the child process sends SIGTERM to its parent, or exits.

para_server makes use of the new flag in server_init(). The daemon
process (child) sends SIGTERM to its parent after the command socket
has been initialized. para_audiod, on the other hand, does not need
this feature, so it calls daemonize() with parent_waits == false to
get the old behaviour.

Revert "server: Listen on command socket before daemonizing."

This reverts commit 7a4b6d5f19976ceac581f6dc235fcbd9b30c767f, which
was a rather bad idea because it caused the afs process to inherit
the open file descriptor of the command socket, so two processes
listened on the command socket at the same time.

Even worse, the afs process also inherited the command task in its
scheduler setup, causing it to answer incoming connections as well.
In fact it was more or less random which of the two processes served
an incoming connection.

If it was the afs process, interesting things happened in the command
handler due to its address space being a copy of the afs process,
where parts of what is needed for some commands not properly set
up. For example the si and the sender commands segfaulted due to a
NULL pointer dereference.

It's weird that this bug was not noticed earlier.

vss: Avoid read-overflowing the header buffer for ogg streams.

valgrind complains because of invalid reads/writes in vss.c:

==998== Invalid write of size 1
==998==    at 0x8050B09: vss_post_select (vss.c:574)
==998==    by 0x806106C: schedule (sched.c:71)
==998==    by 0x804EE04: main (server.c:579)
==998==  Address 0x46d99bc is 0 bytes after a block of size 548 alloc'd
==998==    at 0x4028A3B: realloc (vg_replace_malloc.c:632)
==998==    by 0x805356B: para_realloc (string.c:40)
==998==    by 0x80506EC: vss_post_select (vss.c:331)
==998==    by 0x806106C: schedule (sched.c:71)
==998==    by 0x804EE04: main (server.c:579)
==998==

...

==5543== Invalid read of size 1
==5543==    at 0x8050EBD: vss_post_select (vss.c:1099)
==5543==    by 0x806108E: schedule (sched.c:71)
==5543==    by 0x804EE04: main (server.c:579)
==5543==  Address 0x47c70ac is 0 bytes after a block of size 3,956 alloc'd
==5543==    at 0x4028A3B: realloc (vg_replace_malloc.c:632)
==5543==    by 0x805358D: para_realloc (string.c:40)
==5543==    by 0x80642AA: add_ogg_page (ogg_afh.c:78)
==5543==    by 0x8064458: vorbis_get_header_callback (ogg_afh.c:132)
==5543==    by 0x8063EF1: process_ogg_packets (ogg_afh_common.c:48)
==5543==    by 0x8063F9A: ogg_get_file_info (ogg_afh_common.c:144)
==5543==    by 0x8064200: vorbis_get_header (ogg_afh.c:149)
==5543==    by 0x804FDD9: recv_afs_result (vss.c:1006)
==5543==    by 0x80503F4: vss_post_select (vss.c:1124)
==5543==    by 0x806108E: schedule (sched.c:71)
==5543==    by 0x804EE04: main (server.c:579)

The problem is that for ogg streams chunk 0 points to a buffer on
the heap rather than to the mapped audio file, but we are checking
the buffer bounds against the memory map.

The fix consists of two parts. (a) We now treat a FEC group special
if it starts at chunk zero: Such a group now contains only this single
chunk. (b) When setting up the FEC group we always compare the buffer
bounds against the start of the first buffer in the group rather than
the memory map.

vss: Don't prefault header.

Commit 7bba6232 (vss: Mmap audio files using MAP_POPULATE.) introduced
read-ahead for chunks of the mmapped audio file. However, it missed
the fact that for ogg streams chunk 0 is created on the fly and stored
in a dynamically allocated buffer. Read-ahead on this buffer is likely
to access memory not owned by the process and might lead to a segfault.

Fix this bug by not performing read-ahead for chunk zero.

com_lsblob: Print an error message if no blob matched.

Just to be consistent with other commands.

com_ls: Print an error message if no file matched.

In case at least one pattern was given and no matches were found,
the ls command returned with no output at all. This makes it print a
"no matches" error message instead.

catblob: Fix "no matches" message.

The catblob commands are supposed to print this message only if none
of the given patterns matches any blob in the database.  However, in
case all of the matching blobs are empty, we do print the message.

The problem is that the match count is not being increased due
to cat_blob() returning negative for empty blobs. This count is
computed in action_if_pattern_matches() which calls cat_blob() as
its action handler which in turn calls osl_open_disk_object(). But
this function returns -E_OSL_EMPTY for empty blobs, and cat_blob()
just passes through this value.

This patch changes cat_blob() so that it explicitly checks for
-E_OSL_EMPTY and returns zero in this case so that the match counter
will be increased.

afs: Make catblob commands print an error if no blob matched.

This is straight-forward given the new generic num_matches
counter which was introduced in the previous patch.

afs: Provide generic counter for matching rows.

Several afs commands implemented their own counters, often only to
find out whether they should print an error message because no rows
matched the given pattern(s).

This patch makes counting matching rows generic by increasing the new
pattern_match_data->num_matches counter in action_if_pattern_matches()
so that all commands which use this facility for iterating over all
audio files can evaluate the counter afterwards. This allows to remove
several per-command counters.

Merge branch 't/alsa_improvements'

Merge branch 't/t0004'

web: Rework text on download page.

The git link to kernel.org was defunct and is probably not the best
pointer anyway. These days everybody knows git, so let's simply not
link to any git page.

This patch also reorders the three options for downloading (clone repo,
download snaphot, download release) so that git comes first.

http_recv: Fill both buffer pool buffers simultaneously.

This changes http_recv_post_select() to call readv_nonblock() rather
than read_nonblock() to read data from the socket, just like the udp
and dccp receivers do.

This saves one iteration of the scheduler loop if the end of the
buffer pool area is reached.

recv: Make ->btrp and ->fd generic.

All three receivers maintain a file descriptor and a buffer tree
pool per connection. Currently these are part of the receiver node's
private_data structure, which is a needless code duplication.

This patch moves both fields to the generic struct receiver_node. Since
the private_data structure of the udp and dccp receivers contained
no other fields, this allows to get rid of it completely for these
two receivers.

Merge branch 't/afs_argv0'

Merge branch 't/map_populate'

Merge branch 't/unix_path_max_fix'

alsa: Improve error diagnostics.

Always print the alsa error string corresponding to the failed library
call. This allows to get rid of all but one alsa errors in error.h.

alsa: Make two variables local to alsa_init().

The two members buffer_frames and buffer_time of struct
private_alsa_data are only needed in alsa_init(), so make them
local. Rename buffer_frames to buffer_size since this is the value
returned by snd_pcm_hw_params_get_buffer_size().

alsa: Dump the configuration on startup.

Currently we log selected alsa parameters, but it is sometimes
useful to see the full configuration. This patch adds a call to
snd_pcm_dump() to alsa_init() which obtains the alsa hardware and
software configuration. It is printed for loglevels info and debug.

alsa: Avoid busy loop with dmix.

When using alsa's direct mixing plugin, the alsa poll fd might be ready
for IO even though nothing can be written to the alsa handle. This
leads to a busy loop in para_audiod and para_write and makes these
applications eat up considerable amounts of CPU time during playback.

This patch fixes the problem by reading from the alsa fd after a
failed write. It also adjusts the test for when to return early from
alsa_post_select(). The old code was not wrong, however, since we
should never reach the test if poll_fd is negative.

Makefile: Remove unused variable man_pages_in.

This variable is defined but never used, so it is safe to remove it.

Makefile: Drop dependencies on *_command_list.[ch].

It is enough to let para_audiod and para_server depend on their object
files only as these object files in turn depend on _command_list.[ch],
so Mr Transitivity does the work for us.

testsuite: Introduce a new test for para_server.

This adds t0004-server.sh, a new test script which starts para_server
and tries to connect to it using the loopback device.

server: Kill temporary SIGCHLD handler.

During startup, para_server sets up a temporary signal handler for
SIGCHLD in order to notice if the afs child process terminates
immediately (doing the signal setup after the fork would be too
late). This patch makes it block this signal during this period
instead. This works equally well and it fixes a weird problem on Mac
OS where the temporary SIGCHLD handler was executed although it had
been replaced by the generic signal handler of signal.c.

server: Listen on command socket before daemonizing.

This makes sure that para_server is already listening on its TCP
command socket before it detaches from the console. This is desirable
because otherwise commands like

para_server -d -L /dev/null && para_client help

may fail due to para_client connecting before para_server starts to
listen.

testsuite: Sort tests.

This guarantees that the tests are run in numerical order.

testsuite: Don't write ANSI escapes to test output files.

The say() function adds ANSI escape sequences for colors to the output
if stdout is a tty. However, we don't want colors for output written
to a file, so don't use say() in this case.

testsuite: t0001 depends on sha1sum.

We don't want this test to fail if sha1sum is not installed.

Trivial: Fix typo in documentation of para_next_signal().

doc: Add some missing doxygen comments.

Merge branch 't/clang_analyzer_fixes'

para_filter: Decode also small ogg vorbis files properly.

ogg_post_select() returns after initializing the decoder without
decoding anything, which is usually OK. However, if the file is smaller
than half of the size of the stdin buffer tree area, the whole file
is going to be fed to the decoder during the first iteration of the
scheduler loop. Currently this results in an empty output file.

The problem with small files is that the post select function of the
stdin buffer tree node encounters EOF on the next read and returns
EOF. This causes oggdec_post_select() to abort without producing any
output since its parent (stdin) is gone and there is no input pending.

This patch fixes the problem by setting the "have_more" flag after
ogg_init() returned successfully. oggdec_post_select() checks this
flag and only returns negative if it is unset.

afs: Write 'afs' to argv[0].

This allows to distinguish the afs process from the main server
process by looking at the ps output. Although there are less hacky
ways to achieve this (prctl(PR_SET_NAME, ...), setproctitle()), the
argv approach has the advantage of working on all supported operating
systems except FreeBSD. We have been doing the argv mangling for a
long time now in the command handlers and it has never caused any
problems, so it should be safe.

Merge branch 't/uptime_cleanup'

Merge branch 't/shmmax'

doc: Minor doxygen fixes.

doxygen's \cond and \endcond commands treat the word after the
command as the name of the section which should be excluded from the
documentatation. So it is wrong to put an arbitrary comment there.

This fixes a couple of doxygen warnings about unknown loglevel defines
and makes these defines actually show up in the generated HTML.

Fix UNIX_PATH_MAX on NetBSD.

UNIX_PATH_MAX was hardcoded to 108 for all systems. However, at
least on 32 bit NetBSD the size of the sun_path buffer is only
104 bytes. This resulted in a very nasty bug caused by a memset()
overwriting 4 bytes on the stack.

Fix this by calculating the correct value at compile time.

Merge branch 't/distcc'

openssl RC4: Fix another invalid read.

Commit 11993981 fixed this bug for the RC4 sending function
but missed to change sc_recv_bin_buffer() accordingly.

This patch avoids the following invalid read detected by valgrind:

==23299== Invalid read of size 8
==23299==    at 0x510A020: RC4 (in /lib/libcrypto.so.0.9.8)
==23299==    by 0x408771: sc_recv_bin_buffer (crypt.c:313)
==23299==    by 0x40837F: sc_recv_buffer (crypt_common.c:331)
==23299==    by 0x4073C2: T.41 (client_common.c:139)
==23299==    by 0x407758: client_post_select (client_common.c:268)
==23299==    by 0x406A34: schedule (sched.c:71)
==23299==    by 0x405625: main (client.c:572)
==23299==  Address 0x613ccb8 is 3,992 bytes inside a block of size 3,999 alloc'd
==23299==    at 0x4C274A8: malloc (vg_replace_malloc.c:236)
==23299==    by 0x405D9F: para_malloc (string.c:65)
==23299==    by 0x408741: sc_recv_bin_buffer (crypt.c:309)
==23299==    by 0x40837F: sc_recv_buffer (crypt_common.c:331)
==23299==    by 0x4073C2: T.41 (client_common.c:139)
==23299==    by 0x407758: client_post_select (client_common.c:268)
==23299==    by 0x406A34: schedule (sched.c:71)
==23299==    by 0x405625: main (client.c:572)

vss: Mmap audio files using MAP_POPULATE.

This fixes buffer underruns on an old laptop containing a
slow IDE disk. The problem was that getting the next chunk
from the map sometimes hit the disk and took more than 300ms.

This patch adds MAP_POPULATE to the flags for mmap() to
turn on read-ahead for the mapping. This almost fixed the
problem, but some buffer underruns remained. Moreover,
MAP_POPULATE is only available on Linux. To fix also the
remaining cases, we now read one byte from each of the next
few pages in the map after a chunk has been sent. This way
the next chunk should already be cached when it is needed.

command: Remove two dead stores.

command.c:771:2: warning: Value stored to 'ret' is never read
        ret = -E_BAD_USER;
        ^     ~~~~~~~~~~~
command.c:765:2: warning: Value stored to 'numbytes' is never read
        numbytes = ret;
        ^          ~~~

aac_afh: Don't compute the number of milliseconds twice.

aac_afh.c:194:16: warning: Value stored to 'ms' during its initialization is never read
        long unsigned ms = 1000.0 * afhi->chunks_total * tmp
                      ^    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

ogg_afh: Kill dead store.

ogg_afh.c:108:3: warning: Value stored to 'ret' is never read
                ret = -E_OGG_PACKET_IN;
                ^     ~~~~~~~~~~~~~~~~

crypt: Streamline get_asymmetric_key().

The clang analyzer says

crypt.c:202:9: warning: Function call argument is an uninitialized value
        ret2 = para_munmap(map, map_size);
               ^                ~~~~~~~~
And right it is. This is not a bug though as map_size is only undefined
if map is NULL and in this case para_munmap does not look at its second
argument. However, this is rather subtle, so introduce a new label out_unmap
and jump there only if we really must unmap the file.

wmadec: Fix two dead stores.

wmadec_filter.c:772:3: warning: Value stored to 'mult1' is never read
                mult1 = mult;
                ^       ~~~~
wmadec_filter.c:1015:3: warning: Value stored to 'n' is never read
                n = pwd->block_len;
                ^   ~~~~~~~~~~~~~~

Also convert a statement of the form x = x * y to x *= y;

imdct: Remove dead store.

imdct.c:296:2: warning: Value stored to 'output' is never read
        output += n4;
        ^         ~~

dccp_recv: Avoid NULL pointer dereference.

dccp_recv.c:48:16: warning: Access to field 'btrp' results in a dereference of a null pointer (loaded from variable 'pdd')
        btr_pool_free(pdd->btrp);
                      ^~~

In dccp_recv_close(), if pdd is NULL, we avoid closing pdd->fd but
dereference pdd nevertheless one line later. Fix this by returning
early if pdd is NULL.

recv: Improve documentation of generic_recv_pre_select().

Make it clear that this function returns the state of the given buffer
tree node, i.e. > 0 on success, == 0 if there is nothing to do and <
0 on errors.

afh: Fix two typos in the man page.

Overhaul the daemon uptime functions.

The public interface of daemon.c offers some helpers for maintaining
and printing the uptime of the service. This interface consists of
the "uptime" enumeration and the public functions server_uptime()
and uptime_str(). The former function takes an uptime enum which is
either 'UPTIME_GET' or 'UPTIME_SET'.

It is cleaner to avoid the enumeration and have two separate
functions for getting and setting the uptime, so this patch
replaces server_uptime() by two new functions get_server_uptime()
and set_server_start_time(), renames uptime_str() to
get_server_uptime_str() and gets rid of the uptime enum.

All three new functions take an optional struct timeval * type argument
for the common case where the caller already knows the current time, or
wishes to specify another time for whatever reason. This allows to save
one time() system call per scheduler loop in para_server since with
this patch status_refresh() can pass the global "now" pointer (which
us updated by the scheduler once per loop) to get_server_uptime().

server: Kill an unused variable.

In status_refresh(), ret is set to 1 and never changed. Remove this
variable and get rid of the check which is always true.

ipc: Determine maximal size of a shared memory area at runtime.

During command dispatch, the afs process allocates shm areas for the
query result and passes the identifiers via the local socket to the
child process of para_server which is executing the command. If the
write to the (non-blocking) local socket fails, for example because
the call would block, afs closes the connection to the child process
immediately to avoid deadlocks.

Therefore the maximal output size of an (afs) command depends
linearly on the size of the shared memory areas, so it is desirable
to allocate areas as large as possible. Currently, we use the SHMMAX
if it is defined and fall back to the safe default value of 64K
otherwise. However, this default is much smaller than the typical limit
of 32M on Linux. Moreover, the maximal size of a shared memory area
(shmmax) can be set at any time on most if not all operating systems,
so runtime detection of shmmax is to be preferred.

Unfortunately the way to obtain shmmax varies between operating
systems. On Linux, the value is available as the contents of a file
in /proc while on {Free,Net}BSD and Darwin sysctlbyname() must be
called. Moreover, BSD and Darwin use different identifiers for the
sysctlbyname() call.

So any code that determines shmmax at runtime and works on all
of the above systems must necessarily be ugly. This patch tries to
concentrate all ugliness in the new shm_get_shmmax() function, so that
the changes outside of ipc.c consist only of replacements SHMMAX ->
shm_get_shmmax() and of the removal of the default SHMMAX setting.

The new function only determines shmmax once when it is called for
the first time.

time.c: Fix typo in comment.

autogen: Run parallel make if compiling with distcc.

This adjusts the value of the make -j option in case the DISTCC_HOSTS
environment variable is set. There is no way to determine the number of
processing units (cores) for the remote hosts listed in DISTCC_HOSTS,
so we set the number of jobs to run simultaneously to

n + 2 * n * d

where n is the number of cores on the local system and d is the
number of hosts in DISTCC_HOSTS. This seems to work fine on one such
distributed setup.

doc: Fix database name in server manual page.

Bugs are like mushrooms said Al Viro. Right he is.

mp3dec: Avoid possible endless loop.

If an error occurs during frame decode at the end of an 8K buffer,
the code in mp3dec.c might loop forever because we miss to consume
the data of all frames that have been decoded so far during this
iteration of the scheduler loop.

The two callers of used_mad_buffer_bytes() both call btr_consume()
next, and this fix requires to call the same two function once more
from another location. So it is natural to move the btr_consume()
call into used_mad_buffer_bytes() and rename the latter function
to mp3dec_consume().

string: Set result pointer to NULL on errors.

...and be strict in what you return.

string: Allow passing NULL to free_argv().

After all, free() also allows NULL pointers. Be liberal in what you
accept...

string: Fix trivial whitespace issue.

audioc: Trivial cosmetic cleanups.

Only whitespace and spelling fixes.

server: Fix typo in help text of the stat command.

The "=" is necessary.

bash_completion: Update database name.

Oops, this should have been done in v0.4.0..

new codename, reset version to git

the paraslash-0.4.8 release tarball

paraslash 0.4.8

mp3dec: Fix possible endless loop.

If the header of the last frame of a (corrupt) mp3 file can be decoded
but the rest of the frame can not, the mp3 decoder may end up in a
busy loop.

Fix this by performing the same check as for errors during header
decode. This adds some code duplication but as we are late in the
release cycle, let's go for the minimal fix for now.

sched: Zero-out fd sets on min delay.

If at least one pre_select method requests a minimal delay, we don't
call select() anymore as it would return immediately anyway. However,
the fds that have already been set by previous pre_select methods are
then treated as ready for IO in post_seelect which they most likely
are not. This causes unnecessary calls to readv() and friends which
returned EAGAIN.

Fix this by clearing all fd sets in case of minimal timeouts.

Merge branch 't/oggdec_cleanups'

Merge branch 't/writer_setup_cleanup'

Merge branch 't/alsa_poll_fd'

crypt: Really set result to NULL if get_asymmetric_key() fails.

The error path of this function sets the local variable "result"
is set to NULL, which is useless. We must store NULL in the pointer
variable whose address was passed to the function, so "*result =
NULL" is correct.

oggdec: Take internal state into account.

It is incorrect to look only at the node status of the oggdec buffer
tree node and do nothing if the status is zero. In case the previous
call to ogg_post_select() returned early because it hit the maximal
output buffer size limit, the node status is zero if there is no more
input available, but ov_read() will nevertheless return data which
should be fed to the children of the decoder node as soon as possible.

Fix this by remembering whether we hit the limit.

ogg_pre_select(): Remove __a_unused.

The scheduler task struct _is_ used in this function.

oggdec: Trivial cleanups.

Simplify ogg_post_select().

Currently, in each invocation of post_select(), we allocate a
640K buffer and shrink it afterwards to the actual size of the
decoded data. This is ugly and unnecessary.

This patch changes ogg_post_select() to allocate and fill 32K
buffers until the maximal output size is reached or there is
nothing left to decode.

write_common: Make check_writer_arg() exit on syntax errors.

This function parses the argument of the --writer option to extract
the name of the writer, which is the first word of the argument. If
this word is not the name of a supported writer, the function
returns NULL to indicate that the given writer does not exist.
Otherwise check_writer_arg() calls the ->parse_config_or_die method
of this writer which parses the remaining part of the argument and
exits on errors.

It is more consistent and simpler to let this function exit also
in case the writer was not found. This simplifies the callers a bit
since they do not have to check the return value any more. It also
allows to kill E_WRITE_COMMON_SYNTAX.

write: Kill E_WRITE_SYNTAX.

This value was used but no code path existed that would actually
return this error, so remove it.

write: Rename main_btr() to setup_and_schedule().

The old name was a leftover from the long ago when para_write
started to use the buffer tree API.

Move setup_writer_node() from write_common.c to write.c.

This function is only called from write.c, so move it there and make
it static.

audiod: Fix writer setup info message.

In the non-default case the wrong variable was used as the array index.

audiod: Fix memory leak in writer setup.

If no writers are given, the default writer is used for each supported
audio format. In this case, we called the writer's command line parser
on each open, rather than once at startup as we fo for the non-default
case. This resulted in a memory leak which is fixed in this patch by
setting up the default writer only once, in the same way the default
receivers and filters are set up.

Merge branch 't/mp3_frame_padding'

alsa: Select on the alsa poll fd.

This teaches the post_select method of the alsa writer to get a control
file descriptor from the alsa library via snd_pcm_poll_descriptors().
This file descriptor becomes readable when a buffer period has passed
and new samples can be written to the alsa handle. We add the fd to
the read fd set so that the select() call of the main scheduler loop
returns just in time.

This is more precise and simpler than the previous approach to compute
the time until a buffer underrun occurs.

alsa: Kill useless log message.

This message does not add much information and looks strange in case
no alsa option was given.

mp3_afh: Take padding into account when computing frame duration.

Without this fix, the computed duration of a frame can be slightly
larger than its actual duration. If this happens for many frames of
an mp3 file, the chunk size will be slightly too large, which leads
to buffer underruns during streaming.

Merge branch 't/smaller_tarball'

Merge branch 't/timing_improvements'

Merge branch 't/sched_improvements'

Merge branch 't/mad_sync_fix'

manual: A couple of minor improvements.

Rewording, an external link to libosl, removal of duplicate information
and a typo fix.

mp3dec: Handle decode errors gracefully.

Currently decoding damaged mp3 files leads to very audible artefacts
even if only a single frame is corrupt. This patch instructs the mp3
decoder to synchronize the stream on decode errors and to continue the
decode process. Only on fatal errors the input buffer is discarded.

mp3dec: Kill need_bad_data_delay().

This added quite some complexity for no real gain.

mp3dec: Allocate correct output buffer size also for mono files.

Currently the buffer size is chosen to hold 4 bytes per sample
even for mono files where 2 bytes per sample suffice.

Since the channel count does not change within a frame, use the
cached value in pmd->channels rather than the MAD_NCHANNELS
macro for each sample.

Add/fix some doxygen comments.

afh.h: Remove unused declaration.

This function was removed long ago, but we missed to remove the
declaration back then.