Add support to decompress xz files

Xz files are supported if liblzma is available when compiling sarg.

Merge branch 'master' of ssh://git.code.sf.net/p/sarg/code

Extract the starting date from a parsed log file

The period covered by a parsed log file is coded in its file name but the
start date was not properly saved resulting in reports allegedly generated
for 1900-1-1.

Thanks to Evgeniy Yakushev for reporting this problem.

Validate the year extracted from a parsed log file

A parsed log file name contains the date range covering the log content in
a form like sarg-15062015_0100-15062015_0101.log.gz.

The date was insufficiently validated as any date below 1900 produces
an integer overflow.

Split can uncompress compressed log files to split

Thanks to Evgeniy Yakushev for suggesting that idea.

Update the comment of the split function

The split function documentation was still describing the function that
used an external program to uncompress log files.

There is no need to document the changes in the function documentation as
that information is available in git.

Update the man page

Option -m has been deprecated.

Option -b is not working as it should.

Update the default limits in sarg.conf

There were a few mistakes in the documentation of the user_report_limit and
download_report_limit.

Thanks to Evgeniy Yakushev for reporting this error.

Initialize the default value for siteusers_report_limit.

Update sarg.conf to reflect the correct default value

per_user_limit_file_create was documented with a non existing option.

Don't abort if a host name cannot be resolved into an IP address

Finding the IP address of a host is not that critical. If it can't be
resolved, keep generating the report.

If the host name cannot be resolved into an IP address, an error message is
printed on stderr.

Don't try to resolve aliased host names when creating the datafile

If a host name has been previously replaced by an alias, there is no point
in trying to convert the host name into an IP address if datafile_url is
set to ip (the default value).

Prevent a segfault if a host name doesn't resolve to an IP address

If getaddrinfo fails, the linked list is not initialized. It must therefore
not be freed.

The error occurred when datafile was defined in sarg.conf and datafile_url
was set to ip (the default value).

Thanks to Evgeniy Yakushev for finding and reporting this bug.

Fix the static and const correctness of a function

I happened to stumble on that function that was unnecessarily declared as
global and without using const strings for strings that are not modified.

That's just a style problem.

Optimize away a useless strcpy.

The reported user agent report date was wrong

At the top of the user agent report, the period covered by the report was
wrong when the entries were coming from an extended log or when several
useragent.log files were provided with the useragent option in sarg.conf.

Thanks to Evgeniy Yakushev for reporting this bug.

Create a user agent report if the input log provides the information

An extended log can contain the user agent identification string. Sarg can
now use it to generate the user agent report.

The new user_agent type is added to report_type to generate a user agent
report. For compatibility with previous versions, that report type is
automatically selected if at least one file name is provided with the
useragent option.

Produce a user agent log if the information is in the extended log

The extended log can contain the user agent name. If it is available, we
produce the user agent log.

Update Russian translation.

Display the correct date in the redirector report

Due to a typo in the source code, any date in October would be displayed as
month 0, November as month 1 and December as month 2.

Thanks to Evgeniy Yakushev for reporting this bug

Initialize LDAP connection after generating the useragent log

The useragent log doesn't need the connection to the LDAP server. Let's
exclude this task from the connection timeout and have more time to
resolve the user names.

Thanks to Evgeniy Yakushev for spotting that error.

Add a comment to clarify some piece of code.

Make b-tree cache functions static.

Always display a message when exiting on a failure.

Use the proper exit constant instead of the hard coded numérical value.

Try to reconnect to the LDAP server

If a query fails, we try to connect again to the server just in case it
timed out between two requests. If it fails again, sarg abort the
reporting.

Move some doxygen comments into the source file

The doxygen documentation is best placed into the source file. It is easier
to spot any discrepancy.

Initialize usertab as late as possible

The usertab option may use LDAP but the connection to the server was open
before parsing the access and useragent logs. It was possible that the
connection would time out before the first request was sent.

An attempt to fix this problem is to open the connection to the LDAP server
after parsing the log files.

Draw dependency graphs in doxygen documentation

The caller dependency graph let me quickly see where a function is called
from.

Update doxygen file

File simply updated with

    doxygen -u

Update the Russian translation.

Merge branch 'HEAD' of ssh://fmarchal@git.code.sf.net/p/sarg/code

The list of users to include in the report is processed after every aliasing mechanism

It is more logical to filter the users to include in the report after they
have been aliased to the final name. It makes it possible to identify the
final user irrespective of the name she happens to have when connecting to
the proxy.

Translate sarg-php into Russian

Thanks to Evgeniy Yakushev for this translation.

Update the Russian translation

Thanks to Evgeniy Yakushev for this work.

Limit the useragent log period to the same period as the access log

If no explicit date range was provided on the command line, the useragent
report used to contain the content of the whole useragent.log file even if
it covered a wider period than the access log.

Now, the useragent report only covers the same period as the access log
provided they both overlap. If both logs cover distinct periods, the
useragent log is not produced.

Rewrite the useragent log processing

Create more functions to distinguish the reading of the useragent log file
from the report generation.

The idea is to prepare the code to read the useragent data from other
sources than the useragent_log option.

Ignore empty URL in extended log format

The sample log provided here:
https://sourceforge.net/p/sarg/discussion/234317/thread/224c3daa/#a5ca
shows that some lines can have an empty URL.

It looks like it denotes failed connection attempts to unavailable
resources. Instead of aborting the processing, we ignore such lines.

The summary presented when debug output is enabled shows how many lines
have been ignored.

Hide the alias prefix for the user name

When a host name is replaced by an alias, the host name is prefixed with a
* to write it with no link to a special function such as a link to block
that url.

Host name don't need that prefix.

Improve the documentation in sarg.conf

Write a more complete documentation about exclusion and alias files.

Accept case insensitive regular expressions

Such a regex must be suffixed with the lower case "i".

As a consequence, a regex must now be separated from the alias by at least
one space or tab in the definition file.

Fix a use after free buffer in the regex

A buffer was used after freeing its memory. As a consequence, replacement
operators were not working in regex.

Fix a comment indentation.

Process users in redirector log as those from the access log

Users in the redirector log are include, excluded and aliased as those in
the access.log.

Perform the user's ID processing in one function

There are quite a lot of options to drive the user's ID or IP address
processing, replace the ID, include or exclude the entry from the report
and so on.

That processing is only applied in full to the access.log. The redirector
and dansguardian logs are much more primitive in comparison.

By moving the processing to one function, I intent to use it everywhere.

Strip suffix length is a global variable

Compute only once the suffix length to strip from the user name and store
it globally.

Copy less bytes from the user name

When removing a user suffix, copy and truncate the user name in one call.

Fix an error introduced when stripping the user domain

Several reports such as the download and authentication reports would
fail with an error about unknown user "-".

It has been fixed by choosing a new method to strip the domain.

The change partially reverts some changes made in commit
36a0b94cbcaa8a9899fcc878639945e8787d0fec that were responsible for the
proper user name not being propagated to the intermediary report files.

Thanks to Yakushev Evgeniy for reporting this bug.

Read an extended log even if cs-uri is split over several columns

Sarg used to require that the visited URL be stored in column cs-uri of the
extended log format. But the URL can be split over the cs-uri-scheme,
cs-host, cs-uri-port, cs-uri-path and cs-uri-query columns.

Sarg detects the columns and re-create the full URL if cs-uri is not
found.

Include sub configuration files

Sarg.conf can include other configuration files with the "include"
directive. It can be used to store common option in one file and create
shorter sarg.conf dedicated to reporting tasks.

Improve the documentation for strip_user_suffix

Provide a link to the useralias option that can do the same as
strip_user_suffix and much more but is more difficult to set up.

Strip the user suffix from the redirector log

User names are also truncated in the suffix is found in the redirector log.

Strip a suffix from the user name

Only applied to the access.log file.

Not yet available for the redirector.log.

Update a translation error in the French messages

The first line in the e-mail report was completely wrong!

Generate a top user email with the same options as the html report

The produced e-mail is still plain text but it is possible to sort the
entries and limit the number of lines with the same options as the html
report.

The top user list is the only report currently supporting that feature.

Split the top user report generation

Use one function to prepare the top user list and another to generate the
html report.

It is the first step to merge the html and email reports.

Limit the number of top users reported in the mail report

The topuser_num parameter in sarg limits the number of users reported in
the email report. Set it to zero to report every user as was done before.

Thanks to Yakushev Evgeniy for reporting this limitation.

Properly limit the redirector log to the date range covered by the access log

If no date range are provided on the command line, the redirector log would
contain the whole content of the blocked log.

This patch limit the content of the redirector log to the date range found
in the access.log.

Send email report directly to stdout

If the email report must be sent to stdout, do it directly. Don't use
another temporary file simply to output it later to stdout.

Make it possible to delete an old temporary directory

Sarg prepares the report in a the temporary directory. The directory must
be empty before starting the report generation. Deleting an old stray
temporary directory must be made with care to make sure we don't delete
a wrong directory.

The old temporary directory check would not take the email report generated
files into account.

Fix a sort error when generating an email report

A line had been mistakenly deleted from the source code. Generating an
email report was not possible any more.

Thanks to Yakushev Evgeniy for reporting this bug.

Remove one unused parameter from the mail function.

Simplify the code to create the report directory

There were too many string copying in that code and the code path was
needlessly duplicated depending on the type of index tree to generate.

Don't delete anything from the temporary directory if unsure

Sarg must delete any previous stray temporary directory before filling it
with the current log data. But sarg must not just delete any directory and
its content if it isn't ours. Therefore, sarg check the directory content
to make sure that it only contains files that may belong to us.

There was an error in that routine. It would recursively delete directories
found in the candidate temporary directory before making sure the whole
directory content can be safely deleted.

This problem is fixed here.

Generate redirector log even if -d is not given

The redirector log would only be produced if a date range is given on the
command line or redirector_filter_out_date was set in sarg.conf.

This patch makes sarg use the whole redirector log if no date range is
provided.

Don't glob the file name "-" that means to read from stdin

The special file name "-" must not be globed as the content will be read
from stdin.

This change fix the error message: No files matching "-"

Thanks to Yakushev Evgeniy for reporting this bug.

Update the configure script and its dependencies

The configure script was rebuild while trying to find out how to get rid
of gettext 0.19 and use gettext 0.18 instead.

The po/Makefile.in file now on my computer requires gettext 0.18 as
expected but I don't know what I did to achieve that result. I still don't
know what tool is responsible for generating Makefile.in from
Makefile.in.in.

Restore support for bzip2 files

Sarg can read log compressed with bzip2 again.

It doesn't use an external program to do that. It relies on the bzlib
library if it is found.

Rewrite the check for zlib

Use quote characters around arguments.

Indent the configure script for more readability.

Remove trailing lone commas in the configure script.

File globbing is mandatory but can be disabled

The configure script requires glob.h to be available by default but allow
the user to disable it.

Change a message string.

Use AS_IF in the configure script

I just found out about that macro that is supposed to make the code more
portable.

The indentation of the AS_IF blocks was a bit changed to use tabs instead
of spaces.

Read compressed useragent logs

Only gzip files are supported for now.

Display an error when trying to read a Z file

Z compressed files are not supported any longer because I want to use
libraries instead of relying on external processes to parse compressed
files. I haven't found a library or piece of code to read those files.

It is my understanding that the Z format is not used much these days. If
you think otherwise, please open a bug ticket.

Use a library to read gzip access.log files

LZW compressed files (.Z) are not supported any more until I find out how
to read such a file using a library.

Bzip2 files (.bz2) are not supported yet even thought an untested
non-working code exists in sarg.

Fails if no file names can be found when file globbing is on

If file globbing is enabled and no files can be found to match the pattern,
sarg must fail as it does when file globbing is disabled (that was how
sarg worked before file globbing was programmed).

It is meant as a safety in case there is a problem with the generated log
files.

Change the message saying there is a limit to the number of access_log

There is no fixed limit on the number of access_log that can be used in
sarg.conf or on the command line except for the available memory.

Allow the use of wildcards in the access.log and useragent.log

A file name can contain * or ? if configure was not run with
--without-glob.

It is possible to see if file globbing was compiled in by running sarg with
-x -V.

Don't display the period covered by the logs if it is empty

Sarg outputs a line with the earliest and latest dates found if the logs
but it displays 00/01/00 if no log was found. It is best not to display
anything in that case.

Display version information after parsing every option

The version can be displayed with command line option --version or -V but
it is necessary to parse every option in case -x is provided.

It is intended to display what features are available when -x is passed
along with -V.

Add the stringbuffer.h include file to the cmake file

That file has been overlooked.

Add a limit on the size of some string generated with sprintf

This is to avoid a buffer overflow.

Accept multiple useragent logs

Command line option -b can be repeated to add more useragent logs.

The useragent_log configuration option can be repeated multiple time to
scan several files.

Rename configure.in as configure.ac

Automake 1.14 will deprecate configure.in. Only configure.ac will be
accepted and processed.

Git doesn't show it at all but nothing was changed inside the file itself.
Only its name was changed.

Read the useragent log even if no report date is specified

The useragent log was ignored if the report date was not defined on the
command line. The only way to generate the useragent log was to use
command line option -d.

Take the useragent log file into account

The useragent log file provided on the command line with option -b was
ignored.

Thanks to Yakushev Evgeniy for reporting this bug.

Fix a spelling error in the name of libgd.

Update the xgettext definition of debuga

xgettext needs to know what argument of debuga is a c-format string to add
the proper flag in the po file. The printf-like argument changed place when
the source file and line number were added to debuga.

Function debugaz was not declared as a function taking a printf like
argument.

Display the source of the message displayed on stderr

Messages that have been merged in previous commits cannot be distinguished
from each other. It makes debugging more difficult.

To solve this problem, when sarg is run with -zzz, the source file name
and the line number is displayed in the message prefix. It makes it easy to
look at the corresponding source code and understand why the message was
printed.

Tell the compiler that debuga_more uses printf like arguments.

Minor message content adjustments.

Put double quotes around remaining file names in messages

Be consistent with the naming of files in messages. It makes life easier
for the translators.

Fix a message (missing colon).

Merge messages about memory shortage.

Merge messages about IP addresses.

Make the script to change copyright date executable.

Merge messages

These messages are related to file manipulation.

Merge the messages about invalid data

There were far too many redundant messages to be translated just to report
errors in the data read from a file. The messages have been merged to
reduce the diversity in vocabulary.