build: Fix dependencies for oslfsck.

The autogenerated Makefile.deps does not work for the oslfsck
exectutable because we compile the object files for oslfsck without
-fPIC to generate more performant code, and name them e.g. util.fsck.o
instead of util.o.

Geting rid of this optimization not only fixes the dependencies but
also simplifies the Makefile and speeds up the build.

osl-0.1.3.

INSTALL: Explain how to update the library cache on MacOS.

Thanks to Thomas Helle for pointing this out.

README: Remove duplicate "network".

Convert README and INSTALL to markdown.

The grutatxt project is dead, so we need to switch to something else
eventually. Fortunately, only little changes are required for the
switch to the markdown markup language as there are only two files in
the source tree which are formated with grutatxt. This patch converts
both files and adjusts the Makefile to run the markdown converter
instead of the grutatxt script.

web: Create man page with groff rather than man2html.

The man2html project is dead, as is the link on the osl web page. The
URL mentioned in the info of the man2html package for Ubuntu-14.04
still works but might not be the most up to date page on the planet
any more:

http://users.actrix.gen.nz/michael/vhman2html.html

In any case, it's a funny read. Needless to say that the link to the
sunsite FTP server is also dead.

This commit makes osl independent of man2html, simply by running groff
-Thtml instead of man2html. This even simplifies the Makefile a bit.

The patch also removes the dead link on the osl main page. We don't
need a replacement reference to groff because groff should be installed
on all systems anyway.

sha1: Make private functions static.

These are not exported in osl.h or osl-core.h, so the symbols should
not be exposed to applications.

web: Update Doxyfile.

This file was created long ago with doxygen version 1.5.4. The system
on which the public web pages are generated runs Ubuntu 14.04 which
ships doxygen-1.8.6. This doxygen version complains as follows:

Warning: Tag `DETAILS_AT_TOP' at line 162 of file web/Doxyfile has become obsolete.
To avoid this warning please remove this line from your configuration file or upgrade it using "doxygen -u"
Warning: Tag `SHOW_DIRECTORIES' at line 424 of file web/Doxyfile has become obsolete.
To avoid this warning please remove this line from your configuration file or upgrade it using "doxygen -u"
Warning: Tag `HTML_ALIGN_MEMBERS' at line 727 of file web/Doxyfile has become obsolete.
To avoid this warning please remove this line from your configuration file or upgrade it using "doxygen -u"

This patch is the result of running doxygen -u web/Doxyfile. With the
updated file the above warnings go away, and the pages look identical.

web: Switch to UTF-8 encoding.

Probably doesn't matter at all since there isn't a single text file in
the repo which is not pure ASCII. But still, in 2016 iso-8859 should
not be used any more..

web: Fix gibweb link.

The correct git:// and gitweb URLs contain a ".git" suffix. While the
git service works with and without this suffix, the gitweb link
404s without it.

This commit adds the .git suffix to both URLs.

Add make target www.

The new target allows to update the web page with "make www", followed
by a suitable command to copy the "web" directory to the server. That's
as easy as it gets.

web: Remove SSI for last modification in footer.html.

The footer.html file is is only used for the doxygen pages. It contains
a server side include directive although SSI is not activated on the
people.tuebingen.mpg.de web server and probably will never be.

This commit gets rid of the SSI and also removes the end tags </td>
and </table> from footer.html as these elements are not open at this
point of the document. This was found by the w3c validator.

Removes also the link to the W2C validator. Nobody wants to see this,
and doxygen does not even create valid html anyway..

Explain the osl_strerror dance.

It's not completely obvious what is going on here and *why* we not
just go with a simple pointer array for the messages returned by
osl_strerror(). This commit explains why pointer arrays are bad
in DSOs.

Fix comment on SHA1 implementation.

The dependency on openssl was dropped six years ago in commit
f0884471. This commit corrects the stale comment that still says we
use openssl's sha1 implementation.

osl_get_nth_row(): Always initialize result pointer.

We buy into Postel's prescription and try to be liberal in what we
accept, and conservative in what we send. This patch makes sure the
result pointer is set to NULL on failure, and documents this fact.

Silence a gcc warning.

Unfortunately, casting the return value to void is not enough to make
the warning go away, at least on Ubuntu systems.

osl_update_object(): Honor OSL_DONT_FREE.

When osl_update_object() is called to replace an object of
an OSL_NO_STORAGE column, it frees the old object even if the
OSL_DONT_FREE flag is set for the column, which is wrong. This patch
changes the function to call free() only if OSL_DONT_FREE is unset.

Mention that OSL_RBTREE implies OSL_UNIQUE.

Also print a warning when a table is opened or created which contains
a column description with OSL_RBTREE set but OSL_UNIQUE unset. Future
versions of osl might reject such table descriptions. But in order
to not break existing applications, we can not make such a change
without a deprecation period. So a warning has to suffice for now.

hlt.c: Clarify description.

The old text was misleading since hlt looks only at regular
files. Directories can not be hard linked on most systems anyway.

Minor API documentation improvements.

A couple of spelling and punctuation fixes, and some language
improvements.

osl.c: Fix assertion in create_table_index().

Classic "=" vs. "==" bug. Since offset is positive, and not used any
more after the assert statement, the line has always been a no-op.

Found by cppcheck.

rbtree.c: Remove unused rb_replace_node().

Found by cppcheck.

Update URLs and email addresses.

The project has been moved from systemlinux.org to people.tuebingen.mpg.de.
This commit updates all links and email addresses.

Install relative links to the soname.

On make install, the library is installed to $(libdir)/$(realname)
(e.g. /usr/local/lib/libosl.so.0.1.2), and a link is created to
map $(linkername) to $(soname) (e.g. /usr/local/lib/libosl.so ->
/usr/local/lib/libosl.so.0).

This changes the ln command to create a relative link rather than an
absolute link. For example, /usr/local/lib/libosl.so now points to
libosl.so.0 without the leading directory. This shouldn't matter much
but it allows to move both files elsewhere without breaking the link.

Improve documentation of the data_size field.

Make it clear that for objects of type OSL_FIXED_SIZE, the size has
to be specified in number of bytes.

osl-0.1.2.

This commit also adds a NEWS file which contains the release notes
of all previous releases.

Fix adu link.

After the upgrade of the servers at systemlinux.org last week, the web
service is no longer available through http://systemlinux.org. Adjust
the link to the adu page accordingly.

Add shared target.

This allows to build and install the shared library and the oslfsck
executable on systems without help2man via

        make shared oslfsck
        sudo make install-lib install-bin

Allow to build a static version of libosl.

This adds the new target libosl.a which creates an archive that can
be statically linked into applications. Currently this works only on
ELF-based systems including Linux, FreeBSD and NetBSD, but fails on
MacOS. So it is not built automatically.

Unfortunately, creating libosl.a turned out to be trickier than
expected, because -fvisibility=hidden works only for dynamic libraries.
So we need a different method to hide non-static internal symbols
like make_message() which must not be global (external) because they
might clash with symbols used in the application.

objcopy(1) does the trick but we must provide a list of exceptional
symbols that should not be made local. This list is generated from
the osl.h header file.

init_rbtrees(): Fix initialization of volatile objects.

In case a table contains both volatile and non-volatile rbtree columns
we must inititalize the arrray of pointers to the volatile objects.

Without this patch, re-opening a non-empty table leads to a segfault.

Simplify __log().

No need for outfd as it is always stderr.

Clarify documentation of osl_table_description->dir.

Makefile: Remove unused uname_rs.

hlt: Fix typo in comment.

Fix creation of zero-sized disk storage objects.

We must not call write_all() with a zero length parameter.

osl-0.1.1

Split install target.

As proposed by Sebastian Stark, this introduces the install-lib,
install-bin and install-man targets. The simple "make install" still
installs everything, but splitting the target allows people to install
for example only the library if they do not have all tools available
which are necessary to build the oslfsck binary or its man page.

INSTALL update.

Remove dependency on openssl and describe more clearly what is needed
to compile and install the package.

Also mention that one can set PREFIX to change the installation prefix
at make install time.

Drop dependency on openssl.

This patch adds git's implementation of the sha1 hash algorithm. This
makes osl more self-contained as it allows to build osl without
openssl being installed.

It should also reduce the startup time of applications that link
against libosl.

Don't use ?:= for setting PREFIX.

This does not work with all versions of (gnu) make.

Set CC to gcc by default.

On systems where cc != gcc, compilation likely fails because we are
using quite some gccisms in osl. So default to gcc but let the user
override the default by setting CC manually.

The straight-forward CC ?= gcc does not work with gnu make as make
assigns CC the default value "cc".

Thanks to Steffen Schmidt for pointing out this shortcoming.

Capitalize prefix variable.

As noted by Steffen Schmidt, in most projects the installation prefix is
spelled in caps, so follow this rule in osl.

Also use ?:= as the assignement operator as it creates a simply expanded
variable which is more suitable for the PREFIX variable.

MacOs Fixes.

- Fix name of symbolic link used during installation.
- Do not strip the installed library.

[Makefile]: Also create bindir and mandir on install.

README: Clarify red-black tree statements.

As noted by Sebastian Stark, the old text was a bit misleading. So
make it clear that no special linux files are necessary to compile
the library.

Also, the sentence on table locking was not quite true: There's the
dirty bit in each osl table which is some kind of locking. Correct that
statement as well.

The fsck program is called oslfsck rather than osl_fsck.

Remove the underscore and kill an outdated comment.

Improve table versioning.

This patch changes the way table version numbers are stored on disk.
Two version numbers instead of only one are stored in the table header:
The version of the lib that created the table, and the lowest version
number of the lib that can read the table.

As the latter is currently 0, it has no effect so far, i.e. tables
created with previous versions of the library still work fine. However,
with this change future versions of the library can detect from the
on-disk versions and the library version numbers if table and library
are compatible.

Remove unnecessary $O from gengetopt target.

Another relict from the paraslash code.

Merge commit 'fml/master'

Install executables using mode 755.

Add subject=[osl] to the mailto link.

Suggested by Sebastian Schultheiss. Let's see how much spam comes
through this link..

Add the osl logo.

Many thanks to Sebastian Schultheiss who created the logo.

README: Trivial typo fix.

Noted by Sebastian Stark.

Change the osl slogan.

As the text "object storage layer" is already contained in the logo,
we need something different.

INSTALL: Add links to man2html and ImageMagick Homepages.

Downgrade Doxyfile to version 1.5.4.

It must work for Ubuntu Hardy.

Add README/INSTALL and webpage generation stuff.

.gitignore: Don't ignore foo*

It matches the new footer.html file :-/

osltar: Hide the comment for the __static__ #define.

osltar.c: Make write_all() static.

gitignore updates.

osl.h.in: Minor documentation improvements.

osltar: Minor cleanups.

Makefile: Add doxygen comment to the osl_errors enum.

fsck.c: Make a couple of functions static.

Add two examples to illiustrate programming with libosl.

Add COPYING file.

Implement --dry-run option for fsck.

We had this option for quite some time, but it was silently ignored because
the option was never implemented..

Fix a gcc warning on x86_64.

fsck.c: In function 'check_for_invalid_objects':
fsck.c:513: warning: format '%u' expects type 'unsigned int', but argument 5 has type 'size_t'

Add target for man page, install oslfsck and its man page on make install.

Change copyright year to 2009.

Replace underscores with dashes in fsck command line options.

The auto-generated --detailed-help uses a dash, so use dashes everywhere.

Simplify check_index_ranges().

Use FOR_EACH_MAPPED_COLUMN rather than open-code it.

fsck: Add some more log messages.

These were helpful to find the bug which was fixed by the previous patch.

fsck: Fix a serious bug in prune_mapped_column().

This function still contained a relict from the old database format that was changed in commit
6d7dce7f277fc8606fb8d5ed6360660c13a218af.  This caused prune_mapped_column()
to write one byte too much to the data file of a mapped column for each removed row.

Running the buggy oslfsck on a table with mapped columns where rows have been deleted
likely results in data corruption to objects adjacent to the deleted objects.

Worst of all, since only the data files but not the index is affected,  the corruption will not
immediately be noticed, which is probably why it took one year to find this bug. Kill it with
pleasure.

fsck: Overwrite the backup index file if it exists.

A bit dangerous, but without this change, osfsck always fails if this file exists.

Also, print a bit more information about what is going on.

Fix stale comment.

Remove remaining references to paraslash.

Mostly trivial stuff. We can't change the magic string though, so this will have to
stay "PARASLASH" for the rest of eternity.

Add #ifdef wrapper for osl.h.

This allows to include osl.h more than once.

Return -E_OSL_NOENT if stat/open fails with errno == ENOENT.

This often indicates a non-fatal error, so callers might want to
know.

Kill error.h.

This completes the cleanup of the error handling.

Kill all users of is_errno().

Kill all remaining users of ERRNO_TO_ERROR().

Kill all users of ERRNO_TO_ERROR() in util.c and util.h.

Get rid of all remaining users of ERRNO_TO_ERROR() in osl.c.

Replace ERRNO_TO_ERROR(ENOMEM) by E_OSL_NOMEM.

osl calls should only return osl error codes. Therefore, ERRNO_TO_ERROR()
must die. This is a first step to get rid of this macro.

rbtree: Add const qualifier to some functions.

The 'rb_first()', 'rb_last()', 'rb_next()' and 'rb_prev()' calls take a pointer
to an RB node or RB root. They do not change the pointed objects, so add a
'const' qualifier.

See commit f4b477c47332367d35686bd2b808c2156b96d7c7 in the linux source tree.

Merge commit 'athcx/master'

Fix a dead initialization.

Merge commit 'fml/master'

Merge commit 'stark/master'

Fix compilation on FreeBSD.

remove oslfsck on 'make clean' as well

Merge commit 'meins/master'

Remove osl_hash_compare().

API change, but as the code is not yet publically available..

Fix two doxygen warnings.

Add a comment to search_rbtree().

osl.h.in: Always include inttypes.h

Get rid of E_INVALID_OBJECT.

It's introduction of the one-byte header for mapped objects
was a bad move because it changes the alignment of mapped objects.

This also simplifies the code a bit. The downside is of course
that this changes the on-disk data format. But hey, this stuff
is still pre-beta, so..

Add missing dependency.