osl_open_table(): Remove pointless directory check.

The subsequent mmap(2) call will fail if the directory does not exist
(or if the path is not a directory), so this check is not needed.

This removes the only user of the E_OSL_NOTDIR error code. We must
keep it in the errlist file though, because error codes must be
considered part of the API.

Remove sha1.h.

The file contains only the declaration of sha1_hash() and the
definition of HASH_SIZE This commit moves HASH_SIZE from sha1.h to
hash.h and moves the declaration of sha1_hash() to hash.h, the only
file which needs it.

Remove COMPAT_TABLE_VERSION.

The compatibility version concept was introduced eight years ago in
commit (62d228ec), and was never needed. In fact, COMPAT_TABLE_VERSION
has always been zero so far. This commit gets rid of it.

Given a library version and the on-disk table version, we can still
tell whether the table can be opened by comparing the MIN_TABLE_VERSION
and the CURRENT_TABLE_VERSION numbers of the library against the
value stored in the table (i.e., the CURRENT_TABLE_VERSION value of
the library that created the table).

Don't mention MacOS and Solaris in README and INSTALL.

Support for these was dropped recently.

Makefile: Also build osl.h by default.

Otherwise it gets built as root during make install and is thus owned
by root. This may cause problems, for example if the source resides
on an NFS mounted directory where root is not allowed to write.

build: Add $(LDFLAGS) to rule for oslfsck.

This allows for example to specify an additional -L option if lopsub
is not installed at a standard location.

build: Prefix CFLAGS and friends with OSL_.

It is best practice to leave the "official" CPPFLAGS, CFLAGS and
LDFLAGS variables alone and just add them at the end of the command
line options. This way the user may override any of our settings
by setting the corresponding option in the official variable. For
example, to deactivate warnings about unused variables or functions,
one may compile with

make CFLAGS=-Wno-unused

build: Reorder make variables.

Move and assignment to LDFLAGS up to have the settings of all three
sets of flags at one location. Move libname down to where it is
needed.

build: Combine CFLAGS and LIBCFLAGS.

We stopped compiling some object files twice some time ago. Since
then, all object files are build with the concatenation of both sets
of options.

The two variables are only used at this point, so it is safe to
combine them.

build: Simplify LDFLAGS setting.

There is no more reason to distinguish between the three supported
operating systems. In particular all three support -Wl,-z,defs by now.

build: Simplify Makefile.

Now that only elf is supported we may get rid of the "format" variable
and the conditional.

build: Drop support for SunOS and MacOS.

Nobody uses this software on these platforms. It has not been tested
for a decade and is likely broken anyway.

build: Don't insist on gcc.

On BSD systems gcc might not be installed while cc should always exist.

build: Create dependencies on the fly.

This is faster since we run the compiler only once. It is more robust,
too, because the build does not break if a random .h file is added to
the working directory. Using $(wildcard) is almost always a mistake..

NEWS: Fix two typos.

Improve documentation of osl_rbtree_loop().

Mention that E_OSL_LOOP is the only possible error. Fix a few trivial
whitespace issues and a typo while at it.

Merge branch 'refs/heads/t/lopsub'

* refs/heads/t/lopsub:
  Convert oslfsck to lopsub.

The merge conflicted twice for the Makefile because of commit
ec08b17c7514 which touched the object list of oslfsck and added
-DVERSION to the CPPFLAGs. This was easy to fix, though.

Merge branch 'refs/heads/t/build'

A single commit that was cooking for four months.

* refs/heads/t/build:
  build: Fix dependencies for oslfsck.

Add explanation about lifetime of table description.

Add link to author homepage.

The osl page already contains a link to the paraslash page, but it
makes sense to link also to the main software page.

build: Fix dependencies for oslfsck.

The autogenerated Makefile.deps does not work for the oslfsck
exectutable because we compile the object files for oslfsck without
-fPIC to generate more performant code, and name them e.g. util.fsck.o
instead of util.o.

Geting rid of this optimization not only fixes the dependencies but
also simplifies the Makefile and speeds up the build.

Convert oslfsck to lopsub.

The gengetopt project seems to be dead (last release was five years
ago), so we eventually need to switch to something else.

This commit migrates the option parser of oslfsck to the lopsub
library, which turned out to be rather simple. As a result, the osl
package no longer depends on gengetopt and help2man.

The change only affects the oslfsck executable. No changes to the
library proper.

osl-0.1.3.

INSTALL: Explain how to update the library cache on MacOS.

Thanks to Thomas Helle for pointing this out.

README: Remove duplicate "network".

Convert README and INSTALL to markdown.

The grutatxt project is dead, so we need to switch to something else
eventually. Fortunately, only little changes are required for the
switch to the markdown markup language as there are only two files in
the source tree which are formated with grutatxt. This patch converts
both files and adjusts the Makefile to run the markdown converter
instead of the grutatxt script.

web: Create man page with groff rather than man2html.

The man2html project is dead, as is the link on the osl web page. The
URL mentioned in the info of the man2html package for Ubuntu-14.04
still works but might not be the most up to date page on the planet
any more:

http://users.actrix.gen.nz/michael/vhman2html.html

In any case, it's a funny read. Needless to say that the link to the
sunsite FTP server is also dead.

This commit makes osl independent of man2html, simply by running groff
-Thtml instead of man2html. This even simplifies the Makefile a bit.

The patch also removes the dead link on the osl main page. We don't
need a replacement reference to groff because groff should be installed
on all systems anyway.

sha1: Make private functions static.

These are not exported in osl.h or osl-core.h, so the symbols should
not be exposed to applications.

web: Update Doxyfile.

This file was created long ago with doxygen version 1.5.4. The system
on which the public web pages are generated runs Ubuntu 14.04 which
ships doxygen-1.8.6. This doxygen version complains as follows:

Warning: Tag `DETAILS_AT_TOP' at line 162 of file web/Doxyfile has become obsolete.
To avoid this warning please remove this line from your configuration file or upgrade it using "doxygen -u"
Warning: Tag `SHOW_DIRECTORIES' at line 424 of file web/Doxyfile has become obsolete.
To avoid this warning please remove this line from your configuration file or upgrade it using "doxygen -u"
Warning: Tag `HTML_ALIGN_MEMBERS' at line 727 of file web/Doxyfile has become obsolete.
To avoid this warning please remove this line from your configuration file or upgrade it using "doxygen -u"

This patch is the result of running doxygen -u web/Doxyfile. With the
updated file the above warnings go away, and the pages look identical.

web: Switch to UTF-8 encoding.

Probably doesn't matter at all since there isn't a single text file in
the repo which is not pure ASCII. But still, in 2016 iso-8859 should
not be used any more..

web: Fix gibweb link.

The correct git:// and gitweb URLs contain a ".git" suffix. While the
git service works with and without this suffix, the gitweb link
404s without it.

This commit adds the .git suffix to both URLs.

Add make target www.

The new target allows to update the web page with "make www", followed
by a suitable command to copy the "web" directory to the server. That's
as easy as it gets.

web: Remove SSI for last modification in footer.html.

The footer.html file is is only used for the doxygen pages. It contains
a server side include directive although SSI is not activated on the
people.tuebingen.mpg.de web server and probably will never be.

This commit gets rid of the SSI and also removes the end tags </td>
and </table> from footer.html as these elements are not open at this
point of the document. This was found by the w3c validator.

Removes also the link to the W2C validator. Nobody wants to see this,
and doxygen does not even create valid html anyway..

Explain the osl_strerror dance.

It's not completely obvious what is going on here and *why* we not
just go with a simple pointer array for the messages returned by
osl_strerror(). This commit explains why pointer arrays are bad
in DSOs.

Fix comment on SHA1 implementation.

The dependency on openssl was dropped six years ago in commit
f0884471. This commit corrects the stale comment that still says we
use openssl's sha1 implementation.

osl_get_nth_row(): Always initialize result pointer.

We buy into Postel's prescription and try to be liberal in what we
accept, and conservative in what we send. This patch makes sure the
result pointer is set to NULL on failure, and documents this fact.

Silence a gcc warning.

Unfortunately, casting the return value to void is not enough to make
the warning go away, at least on Ubuntu systems.

osl_update_object(): Honor OSL_DONT_FREE.

When osl_update_object() is called to replace an object of
an OSL_NO_STORAGE column, it frees the old object even if the
OSL_DONT_FREE flag is set for the column, which is wrong. This patch
changes the function to call free() only if OSL_DONT_FREE is unset.

Mention that OSL_RBTREE implies OSL_UNIQUE.

Also print a warning when a table is opened or created which contains
a column description with OSL_RBTREE set but OSL_UNIQUE unset. Future
versions of osl might reject such table descriptions. But in order
to not break existing applications, we can not make such a change
without a deprecation period. So a warning has to suffice for now.

hlt.c: Clarify description.

The old text was misleading since hlt looks only at regular
files. Directories can not be hard linked on most systems anyway.

Minor API documentation improvements.

A couple of spelling and punctuation fixes, and some language
improvements.

osl.c: Fix assertion in create_table_index().

Classic "=" vs. "==" bug. Since offset is positive, and not used any
more after the assert statement, the line has always been a no-op.

Found by cppcheck.

rbtree.c: Remove unused rb_replace_node().

Found by cppcheck.

Update URLs and email addresses.

The project has been moved from systemlinux.org to people.tuebingen.mpg.de.
This commit updates all links and email addresses.

Install relative links to the soname.

On make install, the library is installed to $(libdir)/$(realname)
(e.g. /usr/local/lib/libosl.so.0.1.2), and a link is created to
map $(linkername) to $(soname) (e.g. /usr/local/lib/libosl.so ->
/usr/local/lib/libosl.so.0).

This changes the ln command to create a relative link rather than an
absolute link. For example, /usr/local/lib/libosl.so now points to
libosl.so.0 without the leading directory. This shouldn't matter much
but it allows to move both files elsewhere without breaking the link.

Improve documentation of the data_size field.

Make it clear that for objects of type OSL_FIXED_SIZE, the size has
to be specified in number of bytes.

osl-0.1.2.

This commit also adds a NEWS file which contains the release notes
of all previous releases.

Fix adu link.

After the upgrade of the servers at systemlinux.org last week, the web
service is no longer available through http://systemlinux.org. Adjust
the link to the adu page accordingly.

Add shared target.

This allows to build and install the shared library and the oslfsck
executable on systems without help2man via

        make shared oslfsck
        sudo make install-lib install-bin

Allow to build a static version of libosl.

This adds the new target libosl.a which creates an archive that can
be statically linked into applications. Currently this works only on
ELF-based systems including Linux, FreeBSD and NetBSD, but fails on
MacOS. So it is not built automatically.

Unfortunately, creating libosl.a turned out to be trickier than
expected, because -fvisibility=hidden works only for dynamic libraries.
So we need a different method to hide non-static internal symbols
like make_message() which must not be global (external) because they
might clash with symbols used in the application.

objcopy(1) does the trick but we must provide a list of exceptional
symbols that should not be made local. This list is generated from
the osl.h header file.

init_rbtrees(): Fix initialization of volatile objects.

In case a table contains both volatile and non-volatile rbtree columns
we must inititalize the arrray of pointers to the volatile objects.

Without this patch, re-opening a non-empty table leads to a segfault.

Simplify __log().

No need for outfd as it is always stderr.

Clarify documentation of osl_table_description->dir.

Makefile: Remove unused uname_rs.

hlt: Fix typo in comment.

Fix creation of zero-sized disk storage objects.

We must not call write_all() with a zero length parameter.

osl-0.1.1

Split install target.

As proposed by Sebastian Stark, this introduces the install-lib,
install-bin and install-man targets. The simple "make install" still
installs everything, but splitting the target allows people to install
for example only the library if they do not have all tools available
which are necessary to build the oslfsck binary or its man page.

INSTALL update.

Remove dependency on openssl and describe more clearly what is needed
to compile and install the package.

Also mention that one can set PREFIX to change the installation prefix
at make install time.

Drop dependency on openssl.

This patch adds git's implementation of the sha1 hash algorithm. This
makes osl more self-contained as it allows to build osl without
openssl being installed.

It should also reduce the startup time of applications that link
against libosl.

Don't use ?:= for setting PREFIX.

This does not work with all versions of (gnu) make.

Set CC to gcc by default.

On systems where cc != gcc, compilation likely fails because we are
using quite some gccisms in osl. So default to gcc but let the user
override the default by setting CC manually.

The straight-forward CC ?= gcc does not work with gnu make as make
assigns CC the default value "cc".

Thanks to Steffen Schmidt for pointing out this shortcoming.

Capitalize prefix variable.

As noted by Steffen Schmidt, in most projects the installation prefix is
spelled in caps, so follow this rule in osl.

Also use ?:= as the assignement operator as it creates a simply expanded
variable which is more suitable for the PREFIX variable.

MacOs Fixes.

- Fix name of symbolic link used during installation.
- Do not strip the installed library.

[Makefile]: Also create bindir and mandir on install.

README: Clarify red-black tree statements.

As noted by Sebastian Stark, the old text was a bit misleading. So
make it clear that no special linux files are necessary to compile
the library.

Also, the sentence on table locking was not quite true: There's the
dirty bit in each osl table which is some kind of locking. Correct that
statement as well.

The fsck program is called oslfsck rather than osl_fsck.

Remove the underscore and kill an outdated comment.

Improve table versioning.

This patch changes the way table version numbers are stored on disk.
Two version numbers instead of only one are stored in the table header:
The version of the lib that created the table, and the lowest version
number of the lib that can read the table.

As the latter is currently 0, it has no effect so far, i.e. tables
created with previous versions of the library still work fine. However,
with this change future versions of the library can detect from the
on-disk versions and the library version numbers if table and library
are compatible.

Remove unnecessary $O from gengetopt target.

Another relict from the paraslash code.

Merge commit 'fml/master'

Install executables using mode 755.

Add subject=[osl] to the mailto link.

Suggested by Sebastian Schultheiss. Let's see how much spam comes
through this link..

Add the osl logo.

Many thanks to Sebastian Schultheiss who created the logo.

README: Trivial typo fix.

Noted by Sebastian Stark.

Change the osl slogan.

As the text "object storage layer" is already contained in the logo,
we need something different.

INSTALL: Add links to man2html and ImageMagick Homepages.

Downgrade Doxyfile to version 1.5.4.

It must work for Ubuntu Hardy.

Add README/INSTALL and webpage generation stuff.

.gitignore: Don't ignore foo*

It matches the new footer.html file :-/

osltar: Hide the comment for the __static__ #define.

osltar.c: Make write_all() static.

gitignore updates.

osl.h.in: Minor documentation improvements.

osltar: Minor cleanups.

Makefile: Add doxygen comment to the osl_errors enum.

fsck.c: Make a couple of functions static.

Add two examples to illiustrate programming with libosl.

Add COPYING file.

Implement --dry-run option for fsck.

We had this option for quite some time, but it was silently ignored because
the option was never implemented..

Fix a gcc warning on x86_64.

fsck.c: In function 'check_for_invalid_objects':
fsck.c:513: warning: format '%u' expects type 'unsigned int', but argument 5 has type 'size_t'

Add target for man page, install oslfsck and its man page on make install.

Change copyright year to 2009.

Replace underscores with dashes in fsck command line options.

The auto-generated --detailed-help uses a dash, so use dashes everywhere.

Simplify check_index_ranges().

Use FOR_EACH_MAPPED_COLUMN rather than open-code it.

fsck: Add some more log messages.

These were helpful to find the bug which was fixed by the previous patch.

fsck: Fix a serious bug in prune_mapped_column().

This function still contained a relict from the old database format that was changed in commit
6d7dce7f277fc8606fb8d5ed6360660c13a218af.  This caused prune_mapped_column()
to write one byte too much to the data file of a mapped column for each removed row.

Running the buggy oslfsck on a table with mapped columns where rows have been deleted
likely results in data corruption to objects adjacent to the deleted objects.

Worst of all, since only the data files but not the index is affected,  the corruption will not
immediately be noticed, which is probably why it took one year to find this bug. Kill it with
pleasure.

fsck: Overwrite the backup index file if it exists.

A bit dangerous, but without this change, osfsck always fails if this file exists.

Also, print a bit more information about what is going on.

Fix stale comment.

Remove remaining references to paraslash.

Mostly trivial stuff. We can't change the magic string though, so this will have to
stay "PARASLASH" for the rest of eternity.

Add #ifdef wrapper for osl.h.

This allows to include osl.h more than once.