Major audio format handler cleanups.

The main change is the replacement of afhi->taginfo by more specific
fields: This patch adds struct taginfo to the audio format handler
info struct.

The prefix is no longer stored inside the osl database, i.e. it is
no longer duplicated for each audio file.

The tag information is only stored in memory as a dynamically allocated
string if it is new, i.e. if the struct was generated by the audio format
handler. If it was retrieved from the database, pointers to the memory
mapped table are used instead.

The crappy fixup_info_string() function is gone. It was too ugly to live.
Of course, this re-introduces the bug it fixed, but as we broke the
on disk format with this patch anyway, we might as well fix it right(TM).
This will be done in a subsequent patch.

afhi->eof_tv is gone as well. It was not useful at all.

Replace the convert_0.2-0.3.sh script by convert_0.3-0.4.sh.

Fix osl() wrapper.

Fix checking of return values from osl_open().

Use different paths for the 0.4 database and the afs socket.

Add osl.h include to generated command C files.

Fix para_strerror() and use osl() wrapper for osl library calls.

First draft of the libosl patch series.

Merge commit 'fml/master'

Trivial typo fixes and cosmetic cleanups.

Fix a typo in the audiod man page.

Thanks to Gerrit Renker who pointed out the typo.

Merge commit 'fml/master'

alsa_write: Avoid EAGAIN.

Before writing to the sound device, use snd_pcm_avail_update() to
check how many frames alsa will accept and write only that many
frames.

Merge commit 'meins/master'

Truncate overlong tag info and replace newlines by spaces.

The tag info which is computed by the audio format handlers and stored
in the audio file table is read into a fixed-size buffer by the audio
file selector in open_and_update_audio_file(), passed to the server
process and then sent to the client via the stat command. It is not
interpreted at all during this process. In particular, it is not
essential for correctly streaming the audio file.

Vorbis comments and id3v2 tags have no size limit and may contain
arbitrary data which may lead to the following twi problems:

- As noted by Gerrit Renker, if the tag info is too long
to fit into the fixed-size buffer, the current code skips
the audio file and removes it from the list of currently
admissible files. So para_server fails to stream such files.

- If the tag info contains newlines, these are included
verbatim in the status output which may confuse para_audiod.

This patch truncates the tag info string if it does not fit into the
4K buffer and replaces newlines by spaces. This is a bit ugly but
avoids both of the above problems. It's still possible to retrieve
the complete tag info via the "ls -lv" command.

aft: Reorganize make_status_items().

It's cleaner to allocate the struct ls_data within make_status_items().

Fix build on MacOs.

The changes to write.h broke the osx writer. The fix is trivial though.

aft: Make make_status_items() static.

Move its single caller, open_and_update_audio_file(), below
make_status_items and get rid of the declaration in afs.h.

Kill some semicolons outside function definitions.

struct writer_node: Store the number of the writer rather than a pointer.

This makes it easier to get the name of the writer from the writer_node
struct.

Fix a gcc warning on x86_64.

Fix a copy-and-paste typo in the udp sender.

Fix the --log_color option of para_server and para_audiod.

rbtree: Add const qualifier to some functions.

The 'rb_first()', 'rb_last()', 'rb_next()' and 'rb_prev()' calls take a pointer
to an RB node or RB root. They do not change the pointed objects, so add a
'const' qualifier.

See commit f4b477c47332367d35686bd2b808c2156b96d7c7 in the linux source tree.

Add some missing source code documentation.

Add ggo/.gitignore to hide derived ggo files.

Add new prebuffer filter.

This could be handy for lossy networks that require a lot of buffering
in addition to methods (like FEC) to cope with packet loss.

filter: Force a minimal select timeout if something was converted.

When filter_preselect() runs. other pre_select functions might have
already been called and decided to do nothing, e.g. because their
output buffer was full or the input buffer was empty.

If this call to filter_preselect() changed any of the involved buffers,
we want those other pre_select() functions to be called ASAP. So force
a minimal timeout for the next select call to avoid unnecessary delays.

mp3dec: Try harder to recover from non-fatal errors.

If there's still data left, try to decode the next header in the
same scheduler run. This avoids unnecessary copies of large parts
of the mp3 input buffer.

audiod: Properly handle wng open failures.

If opening the writer node group fails, no task is being registered to the
scheduler although a task structure is allocated. This makes audiod think
everything is fine until the output buffer of the receiver or a filter is
filled up which may take several seconds.

Fix this flaw by setting the error field of the wng to -E_TASK_UNREGISTERED.
This causes audiod to close the receiver node and the filter chain and to
clear the affected slot.

First draft of the oss writer.

This adds client-side support for FreeBSD and NetBSD and provides an
alternative writer for Linux.

Allow writers that have no pre_select functions.

Also, fix the pointer being printed in a debug message of the scheduler.

NEWS update.

Merge branch 'next'

new codename, reset version to git

the paraslash-0.3.4 release tarball

paraslash 0.3.4

Remove an overambitious sanity check in the fecdec filter.

Kill a bashism in configure.ac.

This caused additional quotes when /bin/sh is dash or tcsh which would result
in syntax errors during compilation.

Fix compilation on FreeBSD.

Without these two includes, compilation fails on FreeBSD with

/usr/include/net/if.h:265: error: field `ifru_addr' has incomplete type
/usr/include/net/if.h:266: error: field `ifru_dstaddr' has incomplete type
/usr/include/net/if.h:267: error: field `ifru_broadaddr' has incomplete type
/usr/include/net/if.h:299: error: field `ifra_addr' has incomplete type
/usr/include/net/if.h:300: error: field `ifra_broadaddr' has incomplete type
/usr/include/net/if.h:301: error: field `ifra_mask' has incomplete type
/usr/include/net/if.h:368: error: field `addr' has incomplete type
/usr/include/net/if.h:369: error: field `dstaddr' has incomplete type

Fix two gcc warnings.

mp3_afh.c:420: warning: comparison of distinct pointer types lacks a cast
alsa_write.c:119: warning: format '%zu' expects type 'size_t', but argument 4 has type 'int'

Merge branch 'master' into next

Alsa fixes and cleanups.

This patch

- replaces the unused E_SND_PCM_INFO error by E_PHYSICAL_WIDTH,

- checks the return value of snd_pcm_format_physical_width() and returns
  -E_PHYSICAL_WIDTH if this causes bytes_per_frame being non-positive,

- introduces an upper bound for the start threshold. Without that
  change, playback could be delayed by several seconds on some alsa
  configurations (problem pointed out by Johannes Wörner, thanks).

- does not return early on input errors which could cause the last
  part of the audio stream being skipped.

- avoids calling snd_pcm_writei() with a frame count of zero which
  could happen with the old code in case there's more than zero but
  less than a full frame of audio data available.

- cleans up the documentation of struct private_alsa_write_data

Re-revert "Auto-adjust fecdec output buffer size."

This re-applies commit 35f9051506345255c7ed3c076b7df5f3b7d26039 which
should work due to the previous output buffer patch.

Merge branch 'master' into next

Use only a single buffer pointer for filters/receivers.

This allows filters to change the output buffer size on the fly.

fecdec: Add another sanity check to find_group().

alsa: Do not call alsa shutdown functions if alsa wasn't yet initialized.

This might happen if the wng is destroyed before any output was
produced. This bug could trigger

para_audiod: pcm.c:1105: snd_pcm_drain: Assertion `pcm' failed

causing audiod to crash.

alsa: Fix a typo in comment.

fecdec: Be more anal when finding fec groups.

If the number of (data) slices changes, there's something seriously
wrong. So return an error if we detect this situation.

fecdec: Fix warning message when freeing incomplete groups.

This could lead to a segfault.

[client] Dynamically allocate output buffer.

This should simplify subsequent patches that allow variable-sized
output buffers for filters/receivers.

Merge branch 'master' into next

Revert "Auto-adjust fecdec output buffer size."

This reverts commit 35f9051506345255c7ed3c076b7df5f3b7d26039.

Currently, filters must not change their output buffer on the fly
because the writer might already have a reference to the old buffer
and keeps using this buffer.

As dealing with changing output buffers requires much more work,
including changes to the generic filter and writer code, let's defer
this change to post 0.3.4.

Merge branch 'master' into next

afs: Rename signal_post_select() to afs_signal_post_select().

Just to distinguish the fatal error messages on shutdown.

Avoid dirty afs tables on shutdown.

The server process must wait for afs because afs catches SIGINT/SIGTERM
and may thus not respond immediately to these SIGNALS.

Before reacting to the signal, afs might want to use the shared memory
area and the mmd mutex.  If the server process destroys this mutex
too early and afs tries to lock the shared memory area, the call to
mutex_lock() will fail and terminate the afs process. This leads to
dirty osl tables.

There's no such problem with the other children of the server process
(the command handlers) as these reset their SIGINT/SIGTERM handlers
to the default action, i.e.  these processes get killed immediately
by the above kill().

Fix an invalid free() in command handlers.

The chunk table and the info_string are pointers located in the mmd
struct that point to dynamically allocated memory that must be freed
by the parent and the child. However, as the mmd struct is in a shared
memory area, there's no guarantee that after the fork these pointers
are still valid in child context. As these two pointers are not used
in the child anyway, we save them to local variables and free the
memory via that copy in the child.

This gets rid of

*** glibc detected *** para_server (serving 127.0.0.1#53650): double free or corruption (!prev): 0x08086fe0 ***

Merge branch 'master' into next

Conflicts:
mp3_afh.c

[net]: Fix buffer overflow in send_cred_buffer().

As pointed out by Johannes Wörner, para_audioc crashes on recent
Ubuntu systems due to stack smashing. This is caused by writing past
the end of the control buffer which stores the message header and
the socket credentials.

This patch fixes the bug by allocating a properly sized buffer.

Merge commit 'fml/master'

[udp_send] Refuse to stream files with invalid chunk tables.

If an audio file contains a chunk so large that even the maximal
possible number of slices is not sufficient to put this chunk into
a single FEC group, we must refuse to send this file. It's likely a
corrupt file anyway.

The old code in num_slices() was buggy as it returned the number of
slices needed to send the file as an uint8_t, so the return value
was actually the number of needed slices mod 256. This could trigger
the assert() in setup_next_fec_group() which checks that the group
contains at least one chunk.

This patch changes num_slices() to detect this situation more
reliably. As it is likely caused by a bad audio file rather than by a
networking problem, we do _not_ kick the fec client, but deactivate
it for the current file only. This requires the new "error" member
of struct fec_client which indicates a temporarily disabled fec client.

[mp3_afh]: Ignore junk at the end of an mp3 file.

There are mp3 files containing large areas of zeros at the end of the
file. The old code in mp3_afh.c would include these zeros in the last
chunk of the file.

This leads to unnecessary network traffic as including this area in
a chunk means that useless data is going to be sent to the client.
More importantly, it causes the udp sender to bail out because such
large chunks can not be fec-encoded, even with the maximal number
of slices.

This patch uses frame_start+frame_length instead of the file size as
the end of the last chunk which avoids this particular problem.

Merge commit 'athcx/next' into next

Fix off-by-one bug in mp3_afh.

audiod: Add more detailed docu on when to use --no_default_filters.

Kill remaining instances of signal().

Also, make para_sigaction() and para_install_sighandler() return void
and exit on errors.

server: Use para_sigaction() to install the temporary SIGCHLD handler.

Use para_sigaction() in command handlers.

This allows to get rid of an ugly hack for solaris. The patch also adds checks
for whether the signals were reset sucessfully in the command handler and
aborts early on errors.

Introduce para_sigaction().

This wrapper for sigaction() is public and may be used to setup
a handler different from the generic handler that gets installed
for the signal by para_install_sighandler().

signal: Switch from signal() to sigaction.

Use of signal() should be avoided because the behavior of signal() varies
across Unix versions, and has also varied historically across different
versions of Linux.

This patch rewrites para_install_sighandler so that it calls sigaction()
instead of signal(). The implementation is taken from good old APUE.

There are a couple of other users of signal() in the paraslash code. Most
of which are OK because they use signal() only to ignore/reset a signal which
happens to be the only portable use of signal(). All other users of signal()
have to be converted in subsequent patches.

Auto-adjust fecdec output buffer size.

Fix a memory leak in the fecdec filter.

fecdec: Return an error on zero size slices.

INSTALL: Minor improvements.

Fix some memory leaks.

In fact, there was only one "real" leak: An empty info string (100
bytes) could leak on file change.

Destroy the close_on_fork_list in close_listed_fds().

This is called from child context and the child does no longer
need the list once all fds have been closed.

server: Use a temporary SIGCHLD handler to catch afs init failures.

If afs dies immediately on startup (because of dirty tables) para_server
would not notice as the SIGCHLD handler is being intalled after the
call to afs_init().

audiod: Improve display of play time.

Keeping track of the offset, server stream start and the duration
of the audio file length at the time the receiver/writer was started
allows to compute the play time more accurately.

Fix various dead stores found by the clang static analyzer.

udp_send: Also mention the FEC parameters of all targets.

wav: Replace assertion by a proper error message.

This assertion can be hit easily by choosing wav as the first filter
of the filter chain.

GET_NUM_DIGITS: Evaluate macro parameter only once.

Fix possible NULL pointer dereference in afh_get_header().

mp3: Avoid rounding errors during bitrate calculation.

Just add up the bitrates of all frames and divide by the number
of frames afterwards. By using uint64_t for the sum, we should
be safe wrt. overflows.

Fix year in comment to color.c.

The code was actually stolen this year :)

alsa: Split alsa_open().

Only perform what is absolutely necessary in alsa_open(). Call the
real alsa initialization from alsa_post_select(), when we actually
have audio data available to start streaming.

This should get rid of the sound artefacts that happen sometimes
at the beginning of the stream.

write: Get rid of wn->chunk_bytes and wng->max_chunk_bytes.

These are not used anyway. Make all writers return 1 on success.

Minor documentation updates.

alsa: Simplify alsa_open().

No need to call snd_pcm_info() as we do not use it anyway.

audiod: Improve receiver restart logic.

Use the vss status flags and the stream_start time announced by
para_server to decide when to start a new receiver.

This is better than basing this decision only on whether the vss status
equals "playing" as we did before. This allows to reliably detect when it
is safe to start a new receiver while the filter/writer of the current
stream are still active.

The old code would simply wait until filter/writer complete which, due to
buffering, might be much too late.

vss: Take fec group durations into account when computing the eof barrier.

On eof, we must wait at least as long as the duration of the last sent
fec group.

Fix a typo in the documentation to struct writer.

alsa: Revert 596d1d97f90854bd941db02f1353df8e1196ccc0

This was really a brain fart. Instead, introduce a small delay
in alsa_open() that defers audio data writing by 100ms. This seems
to be enough to get rid of the buffer underruns with the udp sender.

audiod: Change return value of open_current_receiver() to void.

Its single caller ignores the return value.

Move struct status_task from audiod.h to audiod.c.

It's only used in audiod.c.

vss: Fix need_audio_header().

This braino caused the audio file header to be included in each FEC group.

vss: Improve EOF handling.

Set the "next" flag only if no more writes to fec clients happen.

vss: Handle errors in setup_next_fec_group() properly.

setup_next_fec_group() might return a negative value.

recv_afs_msg(): Fix indentation.