gcrypt: Introduce read_openssh_bignum().

This functionality was open-coded twice in apc_get_pubkey() which
reads the two public rsa params.  Use the new function instead to
get rid of the duplication. It will be turn out to be useful for
the subsequent work which adds support for RFC4716 keys. Since the
function is specific to libgcrypt, it has to stay in gcrypt.c.

gcrypt: Factor out read_pem_rsa_params().

We'll soon add a similar function which reads bignums from an RFC4716
key file, so it's good to separate this functionality from the rest
of get_private_key().

The patch also introduces struct rsa_params which contains
the six bignums used for RSA private key operations. This way
read_pem_rsa_params() only needs three arguments.

gcrypt: Let read_bignum() return bits, not bytes.

Callers need this to check if the size of the public key is acceptable.
Since sizes of cryptographic keys are generally measured in bits,
its natural to return bits here.

gcrypt: Let decode_key() return blob size through additional argument.

Currently we communicate the blob size through the return value, which
implies an implicit conversion from size_t to int. The new blob_size
argument guarantees type safety and simplifies the logic a bit.

After this patch the return value is only used for the (negative)
error code in the failure case while non-negative return values have
no meaning other than indicating success. Therefore this change also
allows us to convey the key type via the return value. This will turn
out to be handy for supporting RFC4716 keys.

gcrypt: Drop unnecessary arguments of decode_key().

Its single caller passes string literals, which are known at compile
time. So we may get rid of the two arguments.

Improve description of para_play.

For one, there is no stop command. Furthermore, make it clear that
the path and the playback position are shown *instead of* the prompt
and the command line.

manual: Fix command to create keys.

$key is neither defined nor required here.

Merge branch 'refs/heads/t/blob'

A single endian fix to blob.c.  Started on 2018-09-04, cooking since
2018-10-13, merged on 2018-12-21.

* refs/heads/t/blob:
  blob: Avoid direct access to blob IDs.

blob: Avoid direct access to blob IDs.

Some places of blob.c use read_u32() to get the blob ID from the
osl object while others directly access the mapped memory through
a uint32_t pointer. Besides alignment issues, this causes trouble
on big endian machines. Make sure we always use the primitives from
portable_io.h.

spxdec: Use read_u16() from portable_io.h.

It's about 1% slower on my little endian system, but this is not
reason enough to keep the le_short() macro of spxdec.c. If anything,
the primitives in portable_io.h should be improved.

server: Remove declarations of sender init functions.

The init functions of the three senders have been made static long ago.
Since then vss_init() calls these functions indirectly through the
function pointer of the sender struct. Hence the declarations in
vss.c are no longer needed.

ao: Get rid of E_AO_BAD_SAMPLE_FORMAT.

This error code is pointless as the generic E_BAD_SAMPLE_FORMAT is
just fine here.

check_wav: Remove pointless cast.

cwc->channels is already unsigned.

check_wav: Use read_u32() and read_u16().

This is equivalent and improves readability.

oss: Bail out on unsupported audio formats.

This is better than assuming signed 16 bit little endian. The patch
also improves the error message in oss.c that gets printed when the
audio format could not be set.

aft: Consolidate comments for sorting/listing enums.

This saves a couple of lines and improves readability.

The patch also changes the format of the doxygen comments from -sX
to -s=X and similar for -l, as this has become the required syntax
for -s, and is preferred (albeit not required) also for -l.

aft: Change return type of make_status_items() to void.

All callers ignore the return value anyway. However, let's print a
warning in the failure case.

aft: Add documentation of free_status_items().

It's a public function and thus should get doxygen comments.

blob.c: Fix stale comment of stdin_command().

The arg_obj variable was removed last year in commit 02623a7cbff3
(server: Convert blob commands to lopsub).

ao: Improve help text.

It was not clear how to obtain the list of available drivers and
their keys. This commit adds this information to the help text and
the man page of the ao writer.

ao: Fix formatting of aow_show_drivers().

This got messed up in the lopsup conversion commit 870fcd0379ab
from more than one year ago.

blob.c: Trivial whitespace fixes.

write: Remove osx writer from write_cmd suite.

The osx writer seems to be kind of a zombie: osx_write.c came back
through a mistake in a merge commit, see commit 7d9e3454 (remove
osx_write.c, this time for real) from last year. But we also missed
to remove the osx subcommand from the write_cmd lopsub suite.

command.c: Fix braino in help text of recv_sb().

net.c: Remove compat macros for AI_V4MAPPED et al.

These were added 11 years ago during NetBSD-3.1 days because this
version of NetBSD lacked the three macros. At least on NetBSD-7.1
(released 2017), the compat macros are no longer necessary while
FreeBSD and Linux never needed them. So let's get rid of them.

doc: Advise the user to generate PEM keys.

With openssh-7.8 the default has been changed to write OpenSSH format
private keys instead of OpenSSL's PEM format. paraslash can only read
the latter, so make sure everyone stays at PEM for now.

gcrypt: Fix gcrypt error log message in read_bignum().

The message says the error occured while scanning for the public
modulus n, which is not true because the function is called for each
of the five bignums stored in an RSA private key file.

openssl: Fix memory leak in read_rsa_bignums().

If an error occurs while reading the second bignum we leak the memory
allocated for the first bignum.

t0004: Always create PEM keys.

New versions of ssh-keygen create RFC4716 keys by default, which
breakes the test suite. Fortunately, the fix is easy and works also
for old versions of openssh/ssh-keygen.

Check for abstract sockets only once.

In net.c there is a static variable which is supposed to cache whether
the abstract local socket namespace is supported. This variable is
pointless because it is only ever set by command handlers, which exit
after the command completed. Hence the command handler process of
each subsequent afs command checks again. To make the caching work as
intended we must initialize the variable in the *parent* process. The
parent process, however, does not create any local sockets.

This patch changes init_unix_addr() to initialize the variable
without creating a socket when NULL is passed as the name parameter.
The server process passes NULL to initialize the static variable
while command handlers pass non NULL.

ao_write: Silence sparse warning.

ao_write.c:336:58: warning: incorrect type in argument 3 (different modifiers)
ao_write.c:336:58:    expected void *( *__start_routine )( ... )
ao_write.c:336:58:    got void [noreturn] *( *<noident> )( ... )

gcc versions 5, 6 and 7 all seem to be happy without the __noreturn
as well, so let's lose it.

compress: Use unsigned constant for definition of mask.

Without this, the integer constant is of signed type, which may cause
problems when blocksize is 31.

paraslash 0.6.2

Merge branch 'refs/heads/t/aft_fixes'

Two fixes related to the audio file table.

Cooking for three weeks.

* refs/heads/t/aft_fixes:
  aft: Remember current audio file after SIGHUP.
  aft: Honor AUDIO_FILE_REMOVE events.
  server: Update status items on file renames.

Merge branch 'refs/heads/t/long-help'

This series introduces lsu.c and lsu.h which contain helpers related to
the lopsub library. These helpers are designed to be shared between
the executables. The series starts by implementing a generic help
command for lopsub suites and converts para_server. Subsequent patches
convert audiod and para_play.

The second part of the series adds another lopsub related helper which
merges command line options and config file options. Each executable
is modified to make use of the new helper, getting rid of quite some
code duplication.

The conflict resolution for server.c has been tested for a while.

Cooking for five weeks.

* refs/heads/t/long-help:
  play: Use lsu_merge_config_file_options().
  mixer: Use lsu_merge_config_file_options().
  gui: Use lsu_merge_config_file_options().
  filter: Use lsu_merge_config_file_options().
  audioc: Use lsu_merge_config_file_options().
  audiod: Use lsu_merge_config_file_options().
  client: Use lsu_merge_config_file_options().
  lsu: Add helper to merge config file options, convert server.
  Trivial: Rename completion_result variables.
  play: Implement help --long.
  audiod: Implement help --long.
  Introduce lsu.{c,h}, implement help --long for para_server.

Merge branch 'refs/heads/t/listen-address'

A short series which adds options for para_server that allow the user
to specify the listening addresses of the passive sockets.

The resolution of the conflicts in server.c and send_common.c have
been well tested and were cooking for a couple of weeks.

* refs/heads/t/listen-address:
  server: Add --http-listen-address and --dccp-listen-address.
  server: Implement --listen-address for control service.

Merge branch 'refs/heads/t/clean_server_exit'

This series removes many memory leaks of para_server by refactoring
the shutdown and signal handling code. Most of the leaks happen only
at shutdown and are hence harmless. But it is still good to plug
the leaks because this puts more focus on real memory leaks in the
valgrind output.

The merge conflicted rather badly due to the changes introduced with
the crypt branch that was merged last week. The resolution has been
thoroughly tested, though.

* refs/heads/t/clean_server_exit: (32 commits)
  command.c: Document return value of handle_connect().
  user_list: Make list head static.
  afs: Allow database switching on sighup.
  afs: Free current mood or playlist on exit.
  afs: Free status items on exit.
  afs: Shutdown signals on exit.
  server: Free parse result also in afs.
  afs: Deplete user list at startup.
  server: Free audio file header on exit.
  sender: Deplete ACLs on exit.
  Remove some unused includes from {dccp,http}_send.c.
  server: Make argument of user_list_init() constant.
  server: Deplete user list on exit.
  server: Combine user_list_init() and populate().
  server: Move para_fgets() to user_list.c.
  server: Initialize user list at compile time.
  server: Rename functions related to user lists.
  server: Constify return value of lookup_user().
  server: Let stat command handler perform cleanup on signals.
  server: Have afs process close the current mood on exit().
  ...

Merge branch 'refs/heads/t/crypt'

A couple of simple patches which clean up the openssl and gcrypt crypto
backends. The non-trivial parts are the get_public_key() unification,
the memory leak fixes for openssl and the activation of the secmem
pool for gcrypt.

* refs/heads/t/crypt:
  gcrypt: Allocate a secmem pool at startup.
  crypt: Introduce crypt_shutdown().
  crypt: Rename init_random_seed_or_die() -> crypt_init().
  gcrypt: Use ROUND_DOWN() macro.
  crypt: Rename RSA functions.
  crypt: Deduplicate get_public_key().
  crypt.h: Remove two unused constants.
  Rename crypt.c -> openssl.c.

Merge branch 'refs/heads/t/doc'

Some minor documentation improvements. Cooking for four months.

* refs/heads/t/doc:
  Fix bad grammar "allows <infinitive>".
  doc: Move filter examples to man page.
  doc: Move sender examples to manual page.

aft: Remember current audio file after SIGHUP.

The current_aft_row pointer becomes stale when the osl tables are
re-opened because SIGHUP has been received. If the current audio file
is renamed, or its metadate (afs info or afh info) are modified,
the table event dispatcher of the audio file table compares the
stale row pointer against the (non-stale) row pointer of the audio
file that has been obtained by path lookup. The two pointers never
compare equal under normal circumstances due to ASLR, so the file
modification does not trigger an update of the status items.

This patch fixes this inconvenience by remembering the hash of the
current audio file at table close time. On SIGHUP, after the table
has been re-opened, we lookup the stored hash to replace the stale
row pointer.

aft: Honor AUDIO_FILE_REMOVE events.

If the current audio file has been removed, we should invalidate the
current_aft_row pointer.

server: Update status items on file renames.

The audio file table currently ignores rename events. This has the
effect that the status items, hence the display of para_gui, is not
updated when the current file has been renamed. Fix this oversight.

server: Remove incorrect __a_unused in com_ff() and com_jmp().

These subcommands do use the command context pointer.

Merge branch 'maint'

This fix for an ancient bug should also be in master.

* maint:
  server: Fix return value of com_ff().

Merge branch 'refs/heads/t/gui-sigwinch'

A single patch which removes a long standing issue of para_gui.

Cooking for half a year.

* refs/heads/t/gui-sigwinch:
  gui: Catch SIGWINCH.

server: Fix return value of com_ff().

We set the VSS_NEXT flag if the amount of seconds to jump forward
would exceed the end of the current audio file. However, in this case
we fail the command by returning -E_NO_AUDIO_FILE, which is incorrect.

This bug was present since day one of the git repo (2006).

server: Fix brown paper bag bug in generic_com_on().

Due to this bug an the wrong integer is stored in ->listen_fd,
resulting in errors of the form

Apr 30 20:56:15 (4) (31884) accept_sender_client: Socket operation on non-socket

Fixes: ac9f8fc0b4a20 (send_common: Combine generic_com_on() and
open_sender()) from one month ago.

play: Use lsu_merge_config_file_options().

Besides parsing the command line options and the config file,
parse_config_or_die() also checks the key map arguments
syntactically. This check needs to be kept of course.

play.c already includes lsu.h because it calls lsu_com_help().

mixer: Use lsu_merge_config_file_options().

para_mixer is special in the way the config file is handled because
it is the only executable which allows options for subcommands
to be stored in the config file. Therefore the mixer specific
parse_and_merge_config_file() is called twice. First to merge the
global (supercommand) options, then to merge the subcommand options.
This does not cause any problems regarding the conversion, though.

gui: Use lsu_merge_config_file_options().

para_gui supports config file reloading, so parse_config_file_or_die()
needs to set MCF_DONT_FREE to keep a reference to the command line
parse result and MCF_OVERRIDE in the reload case. Also, the code to
check the key maps and to initialize the theme needs to be kept.

filter: Use lsu_merge_config_file_options().

Straight forward conversion. We now set the loglevel only once,
after the config file options have been merged.

audioc: Use lsu_merge_config_file_options().

This gets rid of the pointless configfile_exists() and the equally
pointless cmd variable.

audiod: Use lsu_merge_config_file_options().

Besides reading and merging the config file, parse_config_or_die()
also creates the uid whitelist. This part has to be retained, but we
can reduce the indentation level by returning early if --user-allow
was not given.

client: Use lsu_merge_config_file_options().

The helper is a drop-in replacement for the old code. We only have
to include the lsu header and link with the object.

lsu: Add helper to merge config file options, convert server.

After the command line options have been parsed, most paraslash
executables read options from a config file. The two lopsub parse
result structures are then merged in a way that command line options
take preference over config file options. This logic is duplicated
in all executables.

This patch introduces a generic helper to eliminate the duplication.
The new lsu_merge_config_file_options() will eventually be employed
by all executables which need to parse the config file. This patch,
however, only converts para_server.

Trivial: Rename completion_result variables.

Most completers call the completion result pointer "cr", but some use
"result" instead. Let's be consistent and rename those to cr.

play: Implement help --long.

Also para_play benefits from the conversion to the generic
lsu_com_help(). After this patch, the three help commands of server,
audiod and play have the same syntax and their output is formatted
in the same way.

audiod: Implement help --long.

This converts the help command of para_audiod to the generic
lsu_com_help(), adding --long and removing quite a few lines of
duplicated code.  This patch also touches audioc.c since para_audioc
needs to learn to complete the new --long option. Moreover the help
text of the help command is made a bit more useful.

Introduce lsu.{c,h}, implement help --long for para_server.

This adds the --long option to the server help subcommand. The former
help output becomes the long help while the short help text is shown
if --long is not given.

Although only the help command of para_server is converted in this
patch, the new functionality is implemented in a generic way so
that the help commands of para_audiod and para_play can use the same
implementation. Those will be converted in subsequent patches.

t0004 parses the help output and thus needs to be changed to include
--long.

aft: Reorder global static variables of aft.c.

These variables constitute the state of the audio file table. The
overall logic is easier to understand if they are combined at one
spot at the top of the file.

The definition of struct ls_data needs to be moved up because of
this. Pure code movement, no semantic changes.

afs: Don't log table open error twice.

If ->open() fails, open_afs_tables() returns a negative error code,
so there is no need to log the error string.

aft.c: Trivial whitespace fix.

server: Add --http-listen-address and --dccp-listen-address.

Currently the http and the dccp sender accept connections on all IP
addresses. This commit makes it possible to configure the senders to
listen only on the specified subset of addresses.

To make this work, the sender_status structure has to be extended to
store an array of file descriptors rather than just a single one.
Several places need to iterate over all listening sockets of the
sender. The new FOR_EACH_LISTEN_FD macro helps to avoid duplicating
the corresponding loop.

The status part of the sender command now prints the listening
addresses instead of just on/off. This is why we also maintain the
ascii representation of the listening addresses in the sender_status
structure and introduce the format_url() helper to format host/port
pairs.

Move MAX_HOSTLEN from server.h to net.h.

This generic networking-related constant does not belong to
server.h. However, since server.h uses the constant, we have to make
sure that net.h is included before server.h.

server: Implement --listen-address for control service.

For hosts with multiple IP addresses one might want to configure the
listening sockets so that connections can only arrive on a subset of
the host's addresses. This patch implements this feature.

Unlike para_listen_simple() the new para_listen() receives an optional
argument to let the caller specify the listening address in addition
to the port number. para_listen_simple() is now a simple wrapper
that passes a NULL pointer as the new argument which indicates that
the socket should listen on all local addresses, just like prior to
this change.

The set of listening addresses for the control service of para_server
can be specified via the new --listen-address option. This option
can be given multiple times, once for each listening address.

Due to this change the server needs to maintain more than a single
file descriptor to dispatch incoming connections. Hence the integer
->listen_fd of struct server_command_task has to be replaced by an
array of file descriptors and the {pre,post}_select methods of the
command task have iterate over all descriptors in the array.

The meaning of the --port option has changed due to the new option:
since the argument to --listen-address can also contain a port number,
the argument to --port is only used for addresses with no port number,
or if --listen-address is not given at all.

Although the http and dccp senders also open a listening socket, this
commit affects only the control service of para_server (listening on
TCP 2990 by default). Senders will be covered in the next commit.

net: Combine para_listen() and para_listen_simple().

The only caller of para_listen() is para_listen_simple(), since
flowops are only used for active sockets.

net: Improve error diagnostics of makesock_addrinfo().

Since the function iterates over all addresses in the passed
addressinfo structure, errors can be non-fatal and may even be
expected. Therefore the function does not log any errors from
socket(2), setsockopt(2), connect(2) or bind(2), but only returns
a generic -E_MAKESOCK error code if none of the addressinfo members
worked. Unfortunately, this means it's impossible to tell from the
log message which of these system calls has failed.

This patch changes the function to also log the errors from the above
system calls, but only with loglevel notice. This way the non-fatal
errors are not shown by default (since the default loglevel is
"warning"), but one can easily activate them by specifying a lower
loglevel.

send_common: Improve error diagnostics of generic_com_on().

Currently the function returns an error code but does not log a message
on errors. The callers, http_send_init() and dccp_send_init(), print
the strerror text with no indication that it is was generic_com_on()
which caused the error.

This commit moves the log messages from the callers to generic_com_on()
and changes the return type of generic_com_on() to void because both
callers now ignore the return value. The new log messages include a
text which tells the user what went wrong.

send_common: Combine generic_com_on() and open_sender().

The latter function is only called by the former, and both are short.

fd: Let readv_nonblock() recover from EINTR.

No need to fail the operation if the read was interrupted by a signal.

The patch also fixes some minor issues in the documentation:
a typo ("The" was incorrectly capitalized) and a missing \ref
for xwrite().  We use the opportunity to get rid of the \a and \p
font annotations. This improves the readability of the source code,
which is more imporatant than nice looking web pages. However, we
only touch those parts of the documentation which are modified anyway.

mixer: Improve sleep subcommand.

This avoids a pointless exec of "para_client stop" in case no fade-out
mood is given, and another pointless "para_client play" exec which
was executed when already playing.

Other than that behaviour should be identical.

http_recv: Improve error diagnostics.

If the http receiver is started when the stream is stopped or paused,
para_recv exits silently with no error message. Let's tell the user
what is going on.

afh_recv: Improve error diagnostics.

There are many reasons for afh_recv_open() to fail. For example, the
afh receiver could be unable to open its input file, or the given
begin chunk was larger than the end chunk. At the moment the error
reporting is a bit scarce since only the string of the error code is
printed. This commit makes afh_recv_open() print also the reason for
the error and the name of the file that caused the error.

afs: Document ->lpr of struct afs_callback_arg.

This should have been documented when the ->lpr member was introduced
two years ago in commit ba0a963f (server: Convert com_add() to lopsub).

base64.h: Add Copyright and Doxygen header.

doxygen: Exclude config.h.

This file is generated by autoconf and contains no doxygen
comments. Therefore it should not be part of the web documentation.

recv: Mention default for --receiver.

It's not obvious that http is the default receiver, so let's mention this.

recv: Add description of para_recv.

para_recv is the only executable whose man page has no short
description at the beginning.

client: Remove unused ->config_file member.

Currently we store a copy of the config file path in the client task
structure for no reason at all. Remove it.

client: Remove duplicate error message.

client_parse_config() returns an error code, so the caller is responsible
for printing a suitable error message.

client: Fix loglevel setting.

If --loglevel is given in the config file but not at the command line,
the value from the config file should be used. However, currently we
use the default value in this case. Moreover, client_parse_config()
sets the loglevel *after* it already printed some log messages.

This commit changes client_parse_config() to initialize the loglevel
pointer right after the command line and config file options have
been merged.

command.c: Document return value of handle_connect().

Kind of pointless, but gets rid of the following Doxygen warning:

/home/maan/scm/paraslash/server.h:112: warning: return type of member handle_connect is not documented

Fix help text of the dccp receiver.

CCIDs are no longer reported in the server info output for more than
three years, see commit 435ad905 (Add sender subcommand "status").

send_common: Remove outdated comment.

Commit 8dab386f (Rework para_accept()) from eight years ago changed
the function to receive also a pointer to the read fd set and pass
this pointer to para_accept() which performs the check for readability
of the socket file descriptor. Since then the comment which says that
the caller must check the fd set is stale.

user_list: Make list head static.

It is only used in user_list.c.

afs: Allow database switching on sighup.

Currently the database dir is set at startup and stays unmodified even
after the sighup handler has reloaded a configuration which specifies
a different database path.

This patch makes it possible to switch to a different database after
SIGHUP was received. To make this work, we only have invalidate the
database_dir pointer after the database has been closed.

afs: Free current mood or playlist on exit.

Another harmless memory leak in the afs process which only occurs
on exit.

afs: Free status items on exit.

The server process frees the memory allocated for the status items
on exit but the afs process does not. To avoid the leak we have to
make free_status_items() public.

afs: Shutdown signals on exit.

This frees the signal task structure, avoiding a (harmless) memory
leak on exit.

server: Free parse result also in afs.

Both the server and the afs process need to access the lopsub parse
result which is allocated and initialized prior to the fork(2) that
creates the afs process. Hence both processes should free this memory
on exit.

The new public free_lpr() frees the memory allocated by both parse result
structures.

afs: Deplete user list at startup.

The afs process does not need the user list, so we may free the list
in server.c before calling init_afs().

server: Free audio file header on exit.

This fixes a harmless memory leak which occurs when para_server terminates
while a header stream is active.

sender: Deplete ACLs on exit.

This teaches the dccp and the http sender to empty their access control
lists during shutdown, avoiding some (harmless) memory leaks at exit.

Remove some unused includes from {dccp,http}_send.c.

The access control and close on fork lists are handled in send_common.c,
so the two senders do not need to know anything about them.

The dccp sender does not perform chunk queuing, so it does not need to
include chunk_queue.h.

server: Make argument of user_list_init() constant.

The function does not modify the memory pointed to by user_list_file.

server: Deplete user list on exit.

This eliminates a bunch of valgrind memory leak warnings when
run with --leak-check=full --show-leak-kinds=all.

server: Combine user_list_init() and populate().

The latter is only called by the former, and both are short enough.

server: Move para_fgets() to user_list.c.

It's only used there, so we can make it static and dedoxify its
documentation.

server: Initialize user list at compile time.

This allows the removal of the "initialized" variable, and it
simplifies user_list_init().

server: Rename functions related to user lists.

The common user_list prefix of the two public functions declared in
user_list.h indicates that these functions are defined in user_list.c.