web: Rework text on download page.

The git link to kernel.org was defunct and is probably not the best
pointer anyway. These days everybody knows git, so let's simply not
link to any git page.

This patch also reorders the three options for downloading (clone repo,
download snaphot, download release) so that git comes first.

Merge branch 't/afs_argv0'

Merge branch 't/map_populate'

Merge branch 't/unix_path_max_fix'

doc: Add some missing doxygen comments.

Merge branch 't/clang_analyzer_fixes'

para_filter: Decode also small ogg vorbis files properly.

ogg_post_select() returns after initializing the decoder without
decoding anything, which is usually OK. However, if the file is smaller
than half of the size of the stdin buffer tree area, the whole file
is going to be fed to the decoder during the first iteration of the
scheduler loop. Currently this results in an empty output file.

The problem with small files is that the post select function of the
stdin buffer tree node encounters EOF on the next read and returns
EOF. This causes oggdec_post_select() to abort without producing any
output since its parent (stdin) is gone and there is no input pending.

This patch fixes the problem by setting the "have_more" flag after
ogg_init() returned successfully. oggdec_post_select() checks this
flag and only returns negative if it is unset.

afs: Write 'afs' to argv[0].

This allows to distinguish the afs process from the main server
process by looking at the ps output. Although there are less hacky
ways to achieve this (prctl(PR_SET_NAME, ...), setproctitle()), the
argv approach has the advantage of working on all supported operating
systems except FreeBSD. We have been doing the argv mangling for a
long time now in the command handlers and it has never caused any
problems, so it should be safe.

Merge branch 't/uptime_cleanup'

Merge branch 't/shmmax'

doc: Minor doxygen fixes.

doxygen's \cond and \endcond commands treat the word after the
command as the name of the section which should be excluded from the
documentatation. So it is wrong to put an arbitrary comment there.

This fixes a couple of doxygen warnings about unknown loglevel defines
and makes these defines actually show up in the generated HTML.

Fix UNIX_PATH_MAX on NetBSD.

UNIX_PATH_MAX was hardcoded to 108 for all systems. However, at
least on 32 bit NetBSD the size of the sun_path buffer is only
104 bytes. This resulted in a very nasty bug caused by a memset()
overwriting 4 bytes on the stack.

Fix this by calculating the correct value at compile time.

Merge branch 't/distcc'

openssl RC4: Fix another invalid read.

Commit 11993981 fixed this bug for the RC4 sending function
but missed to change sc_recv_bin_buffer() accordingly.

This patch avoids the following invalid read detected by valgrind:

==23299== Invalid read of size 8
==23299==    at 0x510A020: RC4 (in /lib/libcrypto.so.0.9.8)
==23299==    by 0x408771: sc_recv_bin_buffer (crypt.c:313)
==23299==    by 0x40837F: sc_recv_buffer (crypt_common.c:331)
==23299==    by 0x4073C2: T.41 (client_common.c:139)
==23299==    by 0x407758: client_post_select (client_common.c:268)
==23299==    by 0x406A34: schedule (sched.c:71)
==23299==    by 0x405625: main (client.c:572)
==23299==  Address 0x613ccb8 is 3,992 bytes inside a block of size 3,999 alloc'd
==23299==    at 0x4C274A8: malloc (vg_replace_malloc.c:236)
==23299==    by 0x405D9F: para_malloc (string.c:65)
==23299==    by 0x408741: sc_recv_bin_buffer (crypt.c:309)
==23299==    by 0x40837F: sc_recv_buffer (crypt_common.c:331)
==23299==    by 0x4073C2: T.41 (client_common.c:139)
==23299==    by 0x407758: client_post_select (client_common.c:268)
==23299==    by 0x406A34: schedule (sched.c:71)
==23299==    by 0x405625: main (client.c:572)

vss: Mmap audio files using MAP_POPULATE.

This fixes buffer underruns on an old laptop containing a
slow IDE disk. The problem was that getting the next chunk
from the map sometimes hit the disk and took more than 300ms.

This patch adds MAP_POPULATE to the flags for mmap() to
turn on read-ahead for the mapping. This almost fixed the
problem, but some buffer underruns remained. Moreover,
MAP_POPULATE is only available on Linux. To fix also the
remaining cases, we now read one byte from each of the next
few pages in the map after a chunk has been sent. This way
the next chunk should already be cached when it is needed.

command: Remove two dead stores.

command.c:771:2: warning: Value stored to 'ret' is never read
        ret = -E_BAD_USER;
        ^     ~~~~~~~~~~~
command.c:765:2: warning: Value stored to 'numbytes' is never read
        numbytes = ret;
        ^          ~~~

aac_afh: Don't compute the number of milliseconds twice.

aac_afh.c:194:16: warning: Value stored to 'ms' during its initialization is never read
        long unsigned ms = 1000.0 * afhi->chunks_total * tmp
                      ^    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

ogg_afh: Kill dead store.

ogg_afh.c:108:3: warning: Value stored to 'ret' is never read
                ret = -E_OGG_PACKET_IN;
                ^     ~~~~~~~~~~~~~~~~

crypt: Streamline get_asymmetric_key().

The clang analyzer says

crypt.c:202:9: warning: Function call argument is an uninitialized value
        ret2 = para_munmap(map, map_size);
               ^                ~~~~~~~~
And right it is. This is not a bug though as map_size is only undefined
if map is NULL and in this case para_munmap does not look at its second
argument. However, this is rather subtle, so introduce a new label out_unmap
and jump there only if we really must unmap the file.

wmadec: Fix two dead stores.

wmadec_filter.c:772:3: warning: Value stored to 'mult1' is never read
                mult1 = mult;
                ^       ~~~~
wmadec_filter.c:1015:3: warning: Value stored to 'n' is never read
                n = pwd->block_len;
                ^   ~~~~~~~~~~~~~~

Also convert a statement of the form x = x * y to x *= y;

imdct: Remove dead store.

imdct.c:296:2: warning: Value stored to 'output' is never read
        output += n4;
        ^         ~~

dccp_recv: Avoid NULL pointer dereference.

dccp_recv.c:48:16: warning: Access to field 'btrp' results in a dereference of a null pointer (loaded from variable 'pdd')
        btr_pool_free(pdd->btrp);
                      ^~~

In dccp_recv_close(), if pdd is NULL, we avoid closing pdd->fd but
dereference pdd nevertheless one line later. Fix this by returning
early if pdd is NULL.

recv: Improve documentation of generic_recv_pre_select().

Make it clear that this function returns the state of the given buffer
tree node, i.e. > 0 on success, == 0 if there is nothing to do and <
0 on errors.

afh: Fix two typos in the man page.

Overhaul the daemon uptime functions.

The public interface of daemon.c offers some helpers for maintaining
and printing the uptime of the service. This interface consists of
the "uptime" enumeration and the public functions server_uptime()
and uptime_str(). The former function takes an uptime enum which is
either 'UPTIME_GET' or 'UPTIME_SET'.

It is cleaner to avoid the enumeration and have two separate
functions for getting and setting the uptime, so this patch
replaces server_uptime() by two new functions get_server_uptime()
and set_server_start_time(), renames uptime_str() to
get_server_uptime_str() and gets rid of the uptime enum.

All three new functions take an optional struct timeval * type argument
for the common case where the caller already knows the current time, or
wishes to specify another time for whatever reason. This allows to save
one time() system call per scheduler loop in para_server since with
this patch status_refresh() can pass the global "now" pointer (which
us updated by the scheduler once per loop) to get_server_uptime().

server: Kill an unused variable.

In status_refresh(), ret is set to 1 and never changed. Remove this
variable and get rid of the check which is always true.

ipc: Determine maximal size of a shared memory area at runtime.

During command dispatch, the afs process allocates shm areas for the
query result and passes the identifiers via the local socket to the
child process of para_server which is executing the command. If the
write to the (non-blocking) local socket fails, for example because
the call would block, afs closes the connection to the child process
immediately to avoid deadlocks.

Therefore the maximal output size of an (afs) command depends
linearly on the size of the shared memory areas, so it is desirable
to allocate areas as large as possible. Currently, we use the SHMMAX
if it is defined and fall back to the safe default value of 64K
otherwise. However, this default is much smaller than the typical limit
of 32M on Linux. Moreover, the maximal size of a shared memory area
(shmmax) can be set at any time on most if not all operating systems,
so runtime detection of shmmax is to be preferred.

Unfortunately the way to obtain shmmax varies between operating
systems. On Linux, the value is available as the contents of a file
in /proc while on {Free,Net}BSD and Darwin sysctlbyname() must be
called. Moreover, BSD and Darwin use different identifiers for the
sysctlbyname() call.

So any code that determines shmmax at runtime and works on all
of the above systems must necessarily be ugly. This patch tries to
concentrate all ugliness in the new shm_get_shmmax() function, so that
the changes outside of ipc.c consist only of replacements SHMMAX ->
shm_get_shmmax() and of the removal of the default SHMMAX setting.

The new function only determines shmmax once when it is called for
the first time.

time.c: Fix typo in comment.

autogen: Run parallel make if compiling with distcc.

This adjusts the value of the make -j option in case the DISTCC_HOSTS
environment variable is set. There is no way to determine the number of
processing units (cores) for the remote hosts listed in DISTCC_HOSTS,
so we set the number of jobs to run simultaneously to

n + 2 * n * d

where n is the number of cores on the local system and d is the
number of hosts in DISTCC_HOSTS. This seems to work fine on one such
distributed setup.

doc: Fix database name in server manual page.

Bugs are like mushrooms said Al Viro. Right he is.

mp3dec: Avoid possible endless loop.

If an error occurs during frame decode at the end of an 8K buffer,
the code in mp3dec.c might loop forever because we miss to consume
the data of all frames that have been decoded so far during this
iteration of the scheduler loop.

The two callers of used_mad_buffer_bytes() both call btr_consume()
next, and this fix requires to call the same two function once more
from another location. So it is natural to move the btr_consume()
call into used_mad_buffer_bytes() and rename the latter function
to mp3dec_consume().

string: Set result pointer to NULL on errors.

...and be strict in what you return.

string: Allow passing NULL to free_argv().

After all, free() also allows NULL pointers. Be liberal in what you
accept...

string: Fix trivial whitespace issue.

audioc: Trivial cosmetic cleanups.

Only whitespace and spelling fixes.

server: Fix typo in help text of the stat command.

The "=" is necessary.

bash_completion: Update database name.

Oops, this should have been done in v0.4.0..

new codename, reset version to git

the paraslash-0.4.8 release tarball

paraslash 0.4.8

mp3dec: Fix possible endless loop.

If the header of the last frame of a (corrupt) mp3 file can be decoded
but the rest of the frame can not, the mp3 decoder may end up in a
busy loop.

Fix this by performing the same check as for errors during header
decode. This adds some code duplication but as we are late in the
release cycle, let's go for the minimal fix for now.

sched: Zero-out fd sets on min delay.

If at least one pre_select method requests a minimal delay, we don't
call select() anymore as it would return immediately anyway. However,
the fds that have already been set by previous pre_select methods are
then treated as ready for IO in post_seelect which they most likely
are not. This causes unnecessary calls to readv() and friends which
returned EAGAIN.

Fix this by clearing all fd sets in case of minimal timeouts.

Merge branch 't/oggdec_cleanups'

Merge branch 't/writer_setup_cleanup'

Merge branch 't/alsa_poll_fd'

crypt: Really set result to NULL if get_asymmetric_key() fails.

The error path of this function sets the local variable "result"
is set to NULL, which is useless. We must store NULL in the pointer
variable whose address was passed to the function, so "*result =
NULL" is correct.

oggdec: Take internal state into account.

It is incorrect to look only at the node status of the oggdec buffer
tree node and do nothing if the status is zero. In case the previous
call to ogg_post_select() returned early because it hit the maximal
output buffer size limit, the node status is zero if there is no more
input available, but ov_read() will nevertheless return data which
should be fed to the children of the decoder node as soon as possible.

Fix this by remembering whether we hit the limit.

ogg_pre_select(): Remove __a_unused.

The scheduler task struct _is_ used in this function.

oggdec: Trivial cleanups.

Simplify ogg_post_select().

Currently, in each invocation of post_select(), we allocate a
640K buffer and shrink it afterwards to the actual size of the
decoded data. This is ugly and unnecessary.

This patch changes ogg_post_select() to allocate and fill 32K
buffers until the maximal output size is reached or there is
nothing left to decode.

write_common: Make check_writer_arg() exit on syntax errors.

This function parses the argument of the --writer option to extract
the name of the writer, which is the first word of the argument. If
this word is not the name of a supported writer, the function
returns NULL to indicate that the given writer does not exist.
Otherwise check_writer_arg() calls the ->parse_config_or_die method
of this writer which parses the remaining part of the argument and
exits on errors.

It is more consistent and simpler to let this function exit also
in case the writer was not found. This simplifies the callers a bit
since they do not have to check the return value any more. It also
allows to kill E_WRITE_COMMON_SYNTAX.

write: Kill E_WRITE_SYNTAX.

This value was used but no code path existed that would actually
return this error, so remove it.

write: Rename main_btr() to setup_and_schedule().

The old name was a leftover from the long ago when para_write
started to use the buffer tree API.

Move setup_writer_node() from write_common.c to write.c.

This function is only called from write.c, so move it there and make
it static.

audiod: Fix writer setup info message.

In the non-default case the wrong variable was used as the array index.

audiod: Fix memory leak in writer setup.

If no writers are given, the default writer is used for each supported
audio format. In this case, we called the writer's command line parser
on each open, rather than once at startup as we fo for the non-default
case. This resulted in a memory leak which is fixed in this patch by
setting up the default writer only once, in the same way the default
receivers and filters are set up.

Merge branch 't/mp3_frame_padding'

alsa: Select on the alsa poll fd.

This teaches the post_select method of the alsa writer to get a control
file descriptor from the alsa library via snd_pcm_poll_descriptors().
This file descriptor becomes readable when a buffer period has passed
and new samples can be written to the alsa handle. We add the fd to
the read fd set so that the select() call of the main scheduler loop
returns just in time.

This is more precise and simpler than the previous approach to compute
the time until a buffer underrun occurs.

alsa: Kill useless log message.

This message does not add much information and looks strange in case
no alsa option was given.

mp3_afh: Take padding into account when computing frame duration.

Without this fix, the computed duration of a frame can be slightly
larger than its actual duration. If this happens for many frames of
an mp3 file, the chunk size will be slightly too large, which leads
to buffer underruns during streaming.

Merge branch 't/smaller_tarball'

Merge branch 't/timing_improvements'

Merge branch 't/sched_improvements'

Merge branch 't/mad_sync_fix'

manual: A couple of minor improvements.

Rewording, an external link to libosl, removal of duplicate information
and a typo fix.

mp3dec: Handle decode errors gracefully.

Currently decoding damaged mp3 files leads to very audible artefacts
even if only a single frame is corrupt. This patch instructs the mp3
decoder to synchronize the stream on decode errors and to continue the
decode process. Only on fatal errors the input buffer is discarded.

mp3dec: Kill need_bad_data_delay().

This added quite some complexity for no real gain.

mp3dec: Allocate correct output buffer size also for mono files.

Currently the buffer size is chosen to hold 4 bytes per sample
even for mono files where 2 bytes per sample suffice.

Since the channel count does not change within a frame, use the
cached value in pmd->channels rather than the MAD_NCHANNELS
macro for each sample.

Add/fix some doxygen comments.

afh.h: Remove unused declaration.

This function was removed long ago, but we missed to remove the
declaration back then.

crypt: Don't use plain integer as NULL pointer.

Found by sparse.

gui: Fix sparse warning.

Fixes:

gui.c:1373:24: error: symbol 'com_quit' redeclared with different type (originally declared at gui.c:102) - different modifiers

wma: Make log2_tab static.

This table is only used in wma_common.c.

gcrypt: Check return value of unpad_oaep().

unpad_oaep() may fail, so we have to check the return value.

gcrypt: Fix return value of pad_oaep().

This function returned an uninitialized variable on success.

vss: Clean up timeout computations.

By passing the sched struct to vss_compute_timeout() we can get
rid of the static the_timeout struct in vss_compute_timeout(). The
previous patch, which made the timeout helper functions of sched.c
return whether the given barrier is in the past, allows to simplify
the timeout code of vss.c a bit.

The patch also combines the general timeout computations and the
computation for FEC slices into a single function.

sched: Improve sched_request_barrier() and friends.

Make these functions tell its caller whether the given barrier
was in the past. This is useful for vss because for certain
barriers, no other actions should be performed before the barrier
has passed.

Merge branch 't/crypto'

Merge branch 't/osx_overhaul'

manual: Mention that clang is also a supported compiler.

And add a link to the clang home page.

gcrypt: Return key size in bytes.

The crypto API requires get_asymmetric_key() to return the size of
the RSA key in bytes on success.  The return value is evaluated in
populate_user_list() where keys which are too short to encrypt a
challenge buffer are rejected right away.

However, for ASN.1 keys, the gcrypt implementation returned the number
of *bits* instead. This caused para_server to accept keys which are
in fact not suitable for authentication.

The fix is trivial.

afs: Fix long-standing bug in add command.

Before the add command handler adds a given audio file to the database
it asks the afs process to check whether the file already exists.

The afs process looks for rows in the audio file table with path
and/or hash identical to the given file. If a match is found a
pointer to the matching row is passed from afs to the command handler.
The get_row_pointer_from_result() helper is then called by the command
handler to extract the row pointer from the result returned by afs.

However, this helper incorrectly dereferenced the pointer which caused
the command handler to examine an address rather than the content of
the address to tell whether the file already exists and whether path
or content has changed. This could lead to changed/moved files being
ignored as well as existing files being added again.

This bug was introduced in commit 0a3b9b83, back in 2008.

sched: Optimize the case of zero timeouts.

If a pre_select method calls sched_min_delay() there is no
point in calling the pre_select hooks of the other tasks since
these can not decrease the timeout any further, and adding file
descriptors to the fd sets makes no sense either. So we may
break out early in sched_preselect() in this case.

If the timeout is zero we may even omit the entire select call as
well as the subsequent gettimeofday() since select() will return
immediately anyway. This patch teaches sched_postselect() to do so
which saves at least two system calls (plus locking in case of
para_server) in a rather hot path.

sched: Kill unnecessary check in sched_pre_select().

The only two callers of sched_shutdown() call this function
from post_select context, so we may safely remove the check
whether the pre_select list is empty.

Add a comment to sched_shutdown() which mentions that this
function must be called from post_select.

sched: Use (0,0) as the timeval for a minimal delay.

The select(2) man page says:

If both fields of the timeval structure are zero,
then select() returns immediately.

This is exactly what is desired for sched_min_delay().

Merge branch 't/client_memory_leak_fix'

configure: Check for help2man.

help2man is required for generating the man pages, so we should print
a proper error message at configure time if help2man is not installed.

configure: Check for gengetopt.

Print an error message at configure time if gengetopt is not installed.

This patch also modifies the commands that call gengetopt in
ggo/makefile to use the executable which was found by configure.

manual: Move gengetopt section.

As gengetopt is now required also for building the tarball, move
the section on gengetopt from "Tools" to Requirements".

Don't ship generated *cmdline.[ch] files in tarball.

These files increase the size of the tarball considerably for no real
gain. Gengetopt is available as a package on all major distributions,
so simply require gengetopt.

alsa: Avoid busy loop.

It is possible that snd_pcm_writei() returns zero rather than -EAGAIN
in case nothing was written because the alsa buffer was already full.

Currently we try again, and eventually succeed. However, this is
ugly, burns CPU cycles and might even lead to an endless loop for
misconfigured alsa devices. So simply return from alsa_post_select()
if snd_pcm_writei() returned zero.

Merge branch 't/clang'

fecdec: Kill an unused variable.

The variable "p" is set, but the assigned value is never used.

client: Do not leak buffer tree node on exit.

Currently we deallocate the buffer tree node of the client
task in case the connect fails and in audiod.c's close_stat_pipe()
but miss to free it for para_client in case of a regular connection
shutdown.

Fix this memory leak by freeing the buffer tree node in
client_close().

Rewrite of the osx writer.

This replaces most of the code taken from mosx-mpg123 and should
make osx_write.c much more readable, shorter and more reliable.

Since coreaudio creates a new thread which periodically calls our
callback function, some kind of coordination between the two threads
of execution is necessary.

This implementation employs a new buffer tree node and a mutex to
serialize access to the data buffers.  The parent thread pushes
down all data to the child thread which consumes this data in the
callback function.  Both threads grab the new mutex whenever they
access or modify the data buffers.

audiod get_play_time_slot_num(): Avoid possible NULL pointer dereference.

The pointer to the buffer tree node is dereferenced unconditionally
in btr_get_node_start(). This patch makes sure we never pass a NULL
pointer to this function.

audiod: Kill noisy debug message.

Debug output is noisy enough even without this.

audiod: Use non-blocking writes for stat clients.

This allows to kill the call to write_ok() which involves
a select system call.

net.c: Use proper socket type for __get_sock_name().

This patch gets rid of

net.c:652:33: warning: incompatible pointer types passing 'int (int, __SOCKADDR_ARG, socklen_t *restrict)', expected 'int (*)(int, struct sockaddr *, socklen_t *)' [-pedantic]
        return __get_sock_name(sockfd, getsockname);
                                       ^~~~~~~~~~~

when compiling with clang.

Avoid warning when compiling with clang.

Apparently clang does not recognize the

#pragma GCC visibility push(default)

lines in osl.h and complains for each file which includes this
header. Compliling without -Wno-unknown-pragmas fixes this.