vss: Use the stripped header also at stream start.

For ogg vorbis streams the stripped header is computed when a new audio file is
opened, but chunk zero, the unmodified header, is used for the first FEC group.
This not only wastes bandwidth but might cause vss to abort because the length
of the real header was not taken into account when computing the FEC
parameters.

Solve this by introducing vss_get_chunk() which returns either the stripped
header or calls afh_get_chunk() to obtain a reference to a "real" chunk.

Introduce get_header() for ogg/vorbis.

Define the get_header() method for the ogg vorbis audio format handler
which replaces ogg packet #2 by a dummy packet which contains no meta
data.

We call ogg_get_file_info() with afhi == NULL which only passes the
first three ogg packets to the given callback but does not compute
the chunk table. Ogg packet #1 and #3 are copied unmodified into the
header.

vss: Introduce extra_header_buf.

For the same reasons the extra data buffer is necessary, we also need to reserve
an extra buffer for the header in order to not read-overflow the header buffer
provided by the new get_header() function.

Add Infrastructure for dynamic header computation.

vorbis allows to add arbitrary many comments to an audio file. These
comments are stored in ogg packet #2, which is part of the audio file
header of ogg vorbis files. Hence ogg/vorbis headers may be arbitrary
large. Since the header is sent periodically, this wastes bandwidth
and may cause FEC parameters to become unnecessary large.

This introductory patch paves the way for replacing ogg packet #2 at
stream time by a dummy packet with does not contain any comments and
is therefore of bounded size.

In order to do so, we need audio file headers which are not necessarily
an unmodified portion of the audio file. Therefore we call back into
the audio format handler code at stream time to compute an appropriate
audio file header.  Hence an optional new method ->get_header() is
added to struct audio_format_hander. If it is non-NULL, is is called
instead of using the first header_len bytes of the file.

Unfortunately, this implies that the virtual streaming system must
be aware of the audio format id in order to know which get_header()
method should be called. Thus we store the audio format id in struct
audio_file_data which is passed from the afs process to the server
process. Vss then calls afh_get_header() with the audio format id as
an additional argument.

ATM, the new functionality is not yet used as as no audio format
handler defines ->get_header() yet.

Kill afhi->header_offset.

It is always zero, and stored _twice_ in the osl table. Since we must
not change the layout of the on-disk afhi structure, rename these
fields to AFHI_UNUSED1_OFFSET and AFHI_UNUSED2_OFFSET, and set them
to zero in save_afhi().

afh: Fix a memory leak in stream mode.

We need to free the audio format handler info in both info and stream mode.

vss: Initialize all bytes of the FEC header.

Does not matter much but makes valgrind happier.

Trivial comment cleanups.

NEWS update.

Merge branch 't/command_util_replace_tabs'

Merge branch 't/color_cleanups'

Merge branch 't/aacdec_cleanups'

Change year in version string to 2011.

NEWS update.

Merge branch 't/periodic_header_optional'

Suppress non-fatal bitstream error message at BOF/EOF.

These errors occur frequently for 64KBit aac files. So print an
error message only if the error occurs in the middle of the stream.

aacdec: Print error message only once.

No need to call NeAACDecGetErrorMessage() twice.

aacdec: Remove useless call to btr_get_input_queue_size().

The returned input queue size is never used.

command_util: Replace tabs by \t.

Probably does not matter much...

Replace 2010 in copyright message by 2011.

ogg_afh_common.c: Remove pointless loop counter.

The integer variable i is not used at all in the loop body.

http_recv.c: Trivial typo fix.

Merge remote-tracking branch 'fml/master'

new codename, reset version to git

the paraslash-0.4.5 release tarball

paraslash 0.4.5

web: Remove server side includes.

The new apache on systemlinux.org does not have this feature activated.
We don't need it anyway.

Merge branch 't/kill_udp_cq'

client: Kill superfluous label "err".

The position of this label is identical to the "out" label, and "out"
is more to the point as we jump there not only in case of an error. So
jump always to "out" and remove the "err" label.

color: Simplify color error handling.

We exit on errors anyway, so get rid of the return value of
color_parse() and daemon_set_log_color() and abort immediately rather
than returning -1. Add the familiar "_or_die" suffix to these functions
to make it clear that no error handling is necessary in the caller.

NEWS update.

Merge branch 't/writer_cleanups'

Minor documentation cleanups.

fecdec: Use a fixed buffer pool size of 64K.

With the new variable sized FEC slices, it may happen that the
number of bytes per slice of the first FEC group is very small. It is
therefore no longer appropriate to base the size of the buffer pool
on this quantity. It happened to be much too small (< 1000 bytes)
for one aac file which caused the fecdec filter to abort early due
to a full buffer pool.

This patch uses a fixed buffer pool size of 64K for the fecdec filter,
which ought to be enough for everybody.

write_common: Don't abort if btr_exec_up() failed.

btr_exec_up() failure is unusual but possible if the upper btr node dies just in
the right moment.  It happened for an aac file due to another bug in the fecdec
filter (fixed in a subsequent patch)  which caused the fecdec and hence the aacdec
btr nodes to unregister themselves due to a full buffer tree pool.

So replace the assertion by a fat error message. This sets the sample rate,
channel count and the sample format to zero which makes the writer unregister
itsself. This is better than aborting.

fd.c: Fix typo in comment.

vss: Avoid large FEC parameters for the DCCP transport.

Now that for DCCP streams the audio file header is sent only once at client
connect time, we can go one step further and send the header as its own FEC
group. Then all subsequent FEC groups contain data slices only, hence the
maximal required size for a FEC group reduces from

header_size + largest_chunk_size

to

max(header_size, largest_chunk_size)

This patch introduces a new helper function need_data_slices() which returns
false only at the beginning of a DCCP stream. In this case FEC group 0 consists
of the header only and an arbitrary time interval of 200ms is used for this
group.

vss: Let the transport specify whether periodic headers are necessary.

This adds the new flag need_periodic_header to struct fec_client_parms. It is
true for the UDP transport and false for the DCCP transport.

vss checks this flag in need_audio_header() and does not send the header
periodically if the flag is false.

writers: Kill ->open.

Now that ->open is a dummy function for all writers, we may safely remove
this method from struct writer and kill the dummy functions.

osx_write: Make osx_write_open() a no-op.

Move the allocation of the private_osx_write_data struct to core_audio_init()
and adjust the the check whether core audio has been initialized accordingly.

oss: Make oss_open() a no-op.

Move the allocation of the private_oss_write_data struct to oss_init() and
adjust the the check whether oss has been initialized accordingly.

file_writer: Make file_write_open() a no-op.

Move the allocation of the private_file_write_data struct to ->post_select()
and adjust the the check whether the output file has already been opened
accordingly.

If the output file has just been opened, pfwd->fd will never be set in
the write fd set of the scheduler, so we can skip this test.

alsa: Make alsa_open() a no-op.

Move the allocation of the private_alsa_write_data struct to
->post_select() and adjust the the check whether alsa has
been initialialized accordingly.

writers:  Unify ->pre_select().

Always treat the easy cases "nothing to do", "error", and "not yet initialized"
first. For the alsa writer,  this change fixes two minor bugs:

First, if data is available but alsa has not yet been initialized, we return
from ->pre_select() without setting a delay. This is wrong, we should init
the alsa handle ASAP in this case.

Second,  on errors we wait 20ms which is both ugly and unnecessary.
Requesting a minimal delay is the right thing to do here as well.

Change the ->open method of writers to void.

These methods always succeed. Add missing documentation of the public
register_writer_node() function while we're at it.

file_write: Fix NULL pointer dereference.

register_writer_node() is the only caller of the ->open method for paraslash
writers. It does not check its return value, which is OK for alsa, oss and osx
as these writer's ->open method always succeeds. However, the ->open() method
of the file writer may fail, for example because the output file could not be
opened. This error will be ignored and the writer node task is registered as
usual with ->fd being initialized to zero.

Fix this bug by splitting the ->open method of the file writer into the part which
merely allocates the private_file_write_data structure, hence always succeeds,
and the part which actually opens the output file. This second part is called later
from ->post_select as soon as there is data available to be written.

After this patch the ->open methods of all writers always succeed and we
may change its return value to void which is done in the next patch.

write_common: Remove check which is never true.

All writers have a config parser. This check was bogus anyway: If there was a writer
without config parser and we call it without arguments (i.e. "c" is NULL), this would lead
to a NULL pointer dereference.

write: Simplify config parsers.

These functions all call the gengetopt parser which aborts on errors. It is therefore
pointless to check the return value. Document this fact and make it explicit by renaming
->parse_config of struct writer to ->parse_config_or_die().

Minor makesock() fixes.

On getaddrinfo() or setsockopt() errors, we leak the flowopts and/or
the local/remote address info structure. Fix this by jumping to the
cleanup section at the bottom of makesock() rather than returning
early without cleaning up.

Moreover, we can not rely on errno containing a valid error code in the
cleanup part of the function because flowopt_cleanup() calls free()
which usually resets errno. So use the error code provided via "rc"
if possible and fall back to the new -E_MAKESOCK if rc is non-negative
to make sure we return a negative value on errors.

NEWS update.

Merge branch 't/server_optional'

manual: Add a section on rebuild of the "next" branch.

NEWS update.

Make build of para_server optional.

para_server is the only executables which requires libosl, so do not consider
it a fatal error if libosl could not be located. This allows to build the
paraslash package for example on client-only machines which do not need
para_server anyway.

chunk_queue: Remove cq_force_enqueue().

It was only used by the UDP sender which does not use chunk queueing
any more.

udp: Remove chunk queueing.

This was broken beyond repair for several reasons:

First of all, not each write to a UDP socket with no listener on
the remote leads to a write error. For a local connection on Linux,
only each second write yields ECONNREFUSED while all others seem to
succeed. So we would only queue each second FEC slice which is next
to useless.

Secondly, only buffer references are stored in the chunk queue, the
buffer contents are not copied for performance reasons. This works fine
if the buffers point to the read-only memory map of the audio file,
which is the case for the HTTP sender, but not for the UDP sender.
In fact, for UDP the buffer is always the same, namely ->enc_buf of
the FEC client struct for the UDP target.

Finally, it is not clear that the buffer references stored in the chunk
queue are still valid when the chunk queue is emptied by sending the
buffers since vss.c might have realloced the enc_buf.

So remove that broken code and be happy.

udp: Also send the EOF packet when a target is removed.

This notifies the client of the EOF condition and causes it to remove
its buffer tree.  Without this patch, the client keeps listening
which can lead to problems when the target is added later while a
different audio file is being streamed.

Also there is no point to check twice whether the chunk queue exists.

Remove unused field "sc" of struct udp_target.

All functions get/pass a struct sender_client which contains a struct
udp_target as its private data, but we never need to get the struct
sender_client from a struct udp_target. So the sc pointer is unnecessary.

udp_send: Add/remove the udp socket fd only once.

Currently, we remove this fd from the close-on-fork list in
udp_close_target() and re-add it in udp_init_session(). This is wrong
because we want the fd being closed in the command handlers also if
the child process for the command is spawned while the udp sender
is inactive.

So add/delete the fd when the udp target is added/removed rather than
on a per session basis.

Fix a fd leak in the udp sender.

When deleting the UDP target, we forgot to close the socket fd.

vss: Avoid potential double free of FEC parameters.

If an error occurs in initialize_fec_client() we free the FEC parameter
structure but do not invalidate it. It's both easier and safer to
free this struct just before allocating it.

Introduce per group slice sizes.

While the FEC parameters k and n are fixed, the size of a FEC slice may
be different for each FEC group. This patch exploits this freedom and
implements variable sized FEC slices for the DCCP and UDP transports.

Two new functions, compute_group_size() and compute_slice_size(),
are introduced which try to compute an optimal size for the entire
FEC group and the slice size of the group respectively.

The group size is chosen such that the group duration is approximately
150ms. Larger values cause too much latency while smaller groups use
the available bandwidth ineffectively. Several contraints such as
the maximal packet size are taken into account when computing the
group size.

Once the group size is known, a suitable slice size is chosen. It
should be as small as possible to avoid unnecessary FEC calculations
but must be large enough to guarantee that the k data slices suffice
to encode the header (if needed) and the data chunk(s).

vss: need_audio_header(): Change return value to bool.

Obviously an equivalent transformation.

Compute the maximal chunk size only once.

This patch adds the new field max_chunk_size to struct audio_file_data.
It is initialized in the afs process when the chunk table is saved,
just before the audio_file_data struct is passed to the server process.

The vss code benefits from this change since it can just use the
new information rather than calling afh_get_largest_chunk_size()
to recompute the maximal chunk size from scratch whenever a new
client connects.

Since vss.c was the only user of afh_get_largest_chunk_size(), we
may kill this function.

Replace ROUND_UP by DIV_ROUND_UP and use it everywhere.

Remove FEC parameter max_slice_bytes.

It is no longer a FEC parameter as its value is determined at runtime
from the MPS of the connection.

So replace ->max_slice_bytes of struct fec_client_parms by the new
->mps field of struct fec_client.

Simplify vss_send().

Replace check for stream_chunk < 0 by state == NONE.

The two conditions are equivalent but the latter form is more readable.

FEC initialization cleanups.

Initialization was performed in two steps: During vss_send and
during compute_next_fec_slice(). This patch moves the init code
for fec clients to the single location.

vss: Cleanup num_slices().

This makes num_slices() take ints rather than uint8_t arguments which
avoids nasty integer overflows and allows to drop the result parameter
since the result is now contained in the return value.

Moreover, num_slices() now takes the number of redundant slices as
an additional argument, so that this value has to be comuted only
once in the caller.

NEWS update.

Merge branch 't/sched_cleanups'

para.h, recv.h: Move parts marked with \cond to bottom.

This makes doxygen much happier as it does no longer spit out
tons of messages like

warning: documentation for unknown define VERSION_TEXT found.

Merge remote branch 'refs/remotes/fml/master'

udp_recv: Add missing line break in log messages.

Also reduce the line length a bit and fix a whitespace issue.

para.h: Fix typo in comment.

web/download.html: Recommend downloading the snapshot tarball.

Mention that the git tarball is a snapshot of the master branch and
is expected to be more stable than the released versions.

NEWS update.

dccp_send: Fix com_off().

This command made para_server sefgault due to the FEC client structure being
freed, but still used from vss.c. Fix this serious bug by first calling
dccp_shutdown_clients() which removes all FEC clients.

audiod: Handle crashes of para_server more robustly.

In case para_server dies unexpectedly, para_audiod may still have a partial status
item in the buffer tree node of the client task which can lead to a busy loop.

Fix this by flushing the input queue and invalidate the current audio format to prevent
recreating a buffer tree before the status task resumes.

There is already flush_input_queue() in buffer_tree.c but that can't be called by audiod.c
as it is a static function. Make it public and rename it to btr_drain() which is shorter and
more to the point and has the usual btr_ prefix.

Add missing documentation of moods_event_handler() and btr_free_node().

connect_local_socket(): Silence noisy debug message.

sched: Use built-in instead of open-coded timeout helpers.

In many places, sched_min_delay() or sched_request_timeout() are
open-coded.  Use the corresponding helpers from sched.c instead and
rename the "timeout" parameter of sched_request_timeout() to avoid
warnings on old gcc versions.

Improve filter help text.

- Mention that "efficient way" means zero-copy,

- Replace "filter options" by "options for a particular filter",

- Replace -f by --filter.

net: Rename create_remote_socket() connect_local_socket().

It's all about local unix domain sockets, so avoid the word
"remote". Also, this function does not create the socket special
in /var/paraslash.

fade: Print the mixer device.

Otherwise the error "no such file" can be misleading.

afh: Chunk numbers are zero-based.

This makes the numbers match what para_server logs.

Fix an invalid-free-bug in the ogg audio format handler code.

In process_ogg_packets(), if ogg_sync_pageout() fails, we jmp to
the out label where "stream" is being freed by ogg_stream_clear()
without being initialized.

This causes para_afh and para_server to segfault in libogg:

*** glibc detected *** para_afh: munmap_chunk(): invalid pointer: 0x6f890d42 ***
======= Backtrace: =========
/usr/lib/glibc/lib/libc.so.6(+0x66e5a)[0x6f712e5a]
/usr/lib/glibc/lib/libc.so.6(+0x68021)[0x6f714021]
/usr/local/lib/libogg.so.0(ogg_stream_clear+0x2f)[0x6f891adf]
para_afh[0x804cb52]
para_afh[0x804cbeb]
para_afh[0x804ce59]
para_afh[0x804be71]
para_afh[0x804a97c]
/usr/lib/glibc/lib/libc.so.6(__libc_start_main+0xd9)[0x6f6c2c79]
para_afh[0x8049991]

Fix this bug by returning the error code directly rather than jumping
to "out".

new codename, reset version to git

the paraslash-0.4.4 release tarball

paraslash 0.4.4

manual: Minor cleanups.

- Mention that OGG/Speex also needs periodic audio file headers, reword
this sentence.

- para_write now understands formats != 16 bit, so remove this restriction also
from the documentation. Also mention that the sample format is being read from
the wav header, if present.

- Typo fix.

Fix typo in write_common.h.

This makes doxygen happy again.

Rename some variables to avoid warnings on old gcc versions.

Fortunately, gcc-4 no longer warns on these. However, gcc-3.3 is still supported
for compiling paraslash, so rename "index" to "idx" and "conf" to "config" to get
rid of warnings of the form

wmadec_filter.c:1013: warning: declaration of `index' shadows a global declaration

Add documentation of ->free_config() while we're at it.

NEWS update.

Merge branch 't/speex'

Merge branch 't/error2'

NEWS update

Merge branch 't/bits_per_sample'

alsa: Add a missing "goto again" statement.

Without this the return value of btr_node_status() might be incorrect
as the wrong minimal input queue size was used.