Update doxygen file

File simply updated with

    doxygen -u

Update the Russian translation.

Merge branch 'HEAD' of ssh://fmarchal@git.code.sf.net/p/sarg/code

The list of users to include in the report is processed after every aliasing mechanism

It is more logical to filter the users to include in the report after they
have been aliased to the final name. It makes it possible to identify the
final user irrespective of the name she happens to have when connecting to
the proxy.

Translate sarg-php into Russian

Thanks to Evgeniy Yakushev for this translation.

Update the Russian translation

Thanks to Evgeniy Yakushev for this work.

Limit the useragent log period to the same period as the access log

If no explicit date range was provided on the command line, the useragent
report used to contain the content of the whole useragent.log file even if
it covered a wider period than the access log.

Now, the useragent report only covers the same period as the access log
provided they both overlap. If both logs cover distinct periods, the
useragent log is not produced.

Rewrite the useragent log processing

Create more functions to distinguish the reading of the useragent log file
from the report generation.

The idea is to prepare the code to read the useragent data from other
sources than the useragent_log option.

Ignore empty URL in extended log format

The sample log provided here:
https://sourceforge.net/p/sarg/discussion/234317/thread/224c3daa/#a5ca
shows that some lines can have an empty URL.

It looks like it denotes failed connection attempts to unavailable
resources. Instead of aborting the processing, we ignore such lines.

The summary presented when debug output is enabled shows how many lines
have been ignored.

Hide the alias prefix for the user name

When a host name is replaced by an alias, the host name is prefixed with a
* to write it with no link to a special function such as a link to block
that url.

Host name don't need that prefix.

Improve the documentation in sarg.conf

Write a more complete documentation about exclusion and alias files.

Accept case insensitive regular expressions

Such a regex must be suffixed with the lower case "i".

As a consequence, a regex must now be separated from the alias by at least
one space or tab in the definition file.

Fix a use after free buffer in the regex

A buffer was used after freeing its memory. As a consequence, replacement
operators were not working in regex.

Fix a comment indentation.

Process users in redirector log as those from the access log

Users in the redirector log are include, excluded and aliased as those in
the access.log.

Perform the user's ID processing in one function

There are quite a lot of options to drive the user's ID or IP address
processing, replace the ID, include or exclude the entry from the report
and so on.

That processing is only applied in full to the access.log. The redirector
and dansguardian logs are much more primitive in comparison.

By moving the processing to one function, I intent to use it everywhere.

Strip suffix length is a global variable

Compute only once the suffix length to strip from the user name and store
it globally.

Copy less bytes from the user name

When removing a user suffix, copy and truncate the user name in one call.

Fix an error introduced when stripping the user domain

Several reports such as the download and authentication reports would
fail with an error about unknown user "-".

It has been fixed by choosing a new method to strip the domain.

The change partially reverts some changes made in commit
36a0b94cbcaa8a9899fcc878639945e8787d0fec that were responsible for the
proper user name not being propagated to the intermediary report files.

Thanks to Yakushev Evgeniy for reporting this bug.

Read an extended log even if cs-uri is split over several columns

Sarg used to require that the visited URL be stored in column cs-uri of the
extended log format. But the URL can be split over the cs-uri-scheme,
cs-host, cs-uri-port, cs-uri-path and cs-uri-query columns.

Sarg detects the columns and re-create the full URL if cs-uri is not
found.

Include sub configuration files

Sarg.conf can include other configuration files with the "include"
directive. It can be used to store common option in one file and create
shorter sarg.conf dedicated to reporting tasks.

Improve the documentation for strip_user_suffix

Provide a link to the useralias option that can do the same as
strip_user_suffix and much more but is more difficult to set up.

Strip the user suffix from the redirector log

User names are also truncated in the suffix is found in the redirector log.

Strip a suffix from the user name

Only applied to the access.log file.

Not yet available for the redirector.log.

Update a translation error in the French messages

The first line in the e-mail report was completely wrong!

Generate a top user email with the same options as the html report

The produced e-mail is still plain text but it is possible to sort the
entries and limit the number of lines with the same options as the html
report.

The top user list is the only report currently supporting that feature.

Split the top user report generation

Use one function to prepare the top user list and another to generate the
html report.

It is the first step to merge the html and email reports.

Limit the number of top users reported in the mail report

The topuser_num parameter in sarg limits the number of users reported in
the email report. Set it to zero to report every user as was done before.

Thanks to Yakushev Evgeniy for reporting this limitation.

Properly limit the redirector log to the date range covered by the access log

If no date range are provided on the command line, the redirector log would
contain the whole content of the blocked log.

This patch limit the content of the redirector log to the date range found
in the access.log.

Send email report directly to stdout

If the email report must be sent to stdout, do it directly. Don't use
another temporary file simply to output it later to stdout.

Make it possible to delete an old temporary directory

Sarg prepares the report in a the temporary directory. The directory must
be empty before starting the report generation. Deleting an old stray
temporary directory must be made with care to make sure we don't delete
a wrong directory.

The old temporary directory check would not take the email report generated
files into account.

Fix a sort error when generating an email report

A line had been mistakenly deleted from the source code. Generating an
email report was not possible any more.

Thanks to Yakushev Evgeniy for reporting this bug.

Remove one unused parameter from the mail function.

Simplify the code to create the report directory

There were too many string copying in that code and the code path was
needlessly duplicated depending on the type of index tree to generate.

Don't delete anything from the temporary directory if unsure

Sarg must delete any previous stray temporary directory before filling it
with the current log data. But sarg must not just delete any directory and
its content if it isn't ours. Therefore, sarg check the directory content
to make sure that it only contains files that may belong to us.

There was an error in that routine. It would recursively delete directories
found in the candidate temporary directory before making sure the whole
directory content can be safely deleted.

This problem is fixed here.

Generate redirector log even if -d is not given

The redirector log would only be produced if a date range is given on the
command line or redirector_filter_out_date was set in sarg.conf.

This patch makes sarg use the whole redirector log if no date range is
provided.

Don't glob the file name "-" that means to read from stdin

The special file name "-" must not be globed as the content will be read
from stdin.

This change fix the error message: No files matching "-"

Thanks to Yakushev Evgeniy for reporting this bug.

Update the configure script and its dependencies

The configure script was rebuild while trying to find out how to get rid
of gettext 0.19 and use gettext 0.18 instead.

The po/Makefile.in file now on my computer requires gettext 0.18 as
expected but I don't know what I did to achieve that result. I still don't
know what tool is responsible for generating Makefile.in from
Makefile.in.in.

Restore support for bzip2 files

Sarg can read log compressed with bzip2 again.

It doesn't use an external program to do that. It relies on the bzlib
library if it is found.

Rewrite the check for zlib

Use quote characters around arguments.

Indent the configure script for more readability.

Remove trailing lone commas in the configure script.

File globbing is mandatory but can be disabled

The configure script requires glob.h to be available by default but allow
the user to disable it.

Change a message string.

Use AS_IF in the configure script

I just found out about that macro that is supposed to make the code more
portable.

The indentation of the AS_IF blocks was a bit changed to use tabs instead
of spaces.

Read compressed useragent logs

Only gzip files are supported for now.

Display an error when trying to read a Z file

Z compressed files are not supported any longer because I want to use
libraries instead of relying on external processes to parse compressed
files. I haven't found a library or piece of code to read those files.

It is my understanding that the Z format is not used much these days. If
you think otherwise, please open a bug ticket.

Use a library to read gzip access.log files

LZW compressed files (.Z) are not supported any more until I find out how
to read such a file using a library.

Bzip2 files (.bz2) are not supported yet even thought an untested
non-working code exists in sarg.

Fails if no file names can be found when file globbing is on

If file globbing is enabled and no files can be found to match the pattern,
sarg must fail as it does when file globbing is disabled (that was how
sarg worked before file globbing was programmed).

It is meant as a safety in case there is a problem with the generated log
files.

Change the message saying there is a limit to the number of access_log

There is no fixed limit on the number of access_log that can be used in
sarg.conf or on the command line except for the available memory.

Allow the use of wildcards in the access.log and useragent.log

A file name can contain * or ? if configure was not run with
--without-glob.

It is possible to see if file globbing was compiled in by running sarg with
-x -V.

Don't display the period covered by the logs if it is empty

Sarg outputs a line with the earliest and latest dates found if the logs
but it displays 00/01/00 if no log was found. It is best not to display
anything in that case.

Display version information after parsing every option

The version can be displayed with command line option --version or -V but
it is necessary to parse every option in case -x is provided.

It is intended to display what features are available when -x is passed
along with -V.

Add the stringbuffer.h include file to the cmake file

That file has been overlooked.

Add a limit on the size of some string generated with sprintf

This is to avoid a buffer overflow.

Accept multiple useragent logs

Command line option -b can be repeated to add more useragent logs.

The useragent_log configuration option can be repeated multiple time to
scan several files.

Rename configure.in as configure.ac

Automake 1.14 will deprecate configure.in. Only configure.ac will be
accepted and processed.

Git doesn't show it at all but nothing was changed inside the file itself.
Only its name was changed.

Read the useragent log even if no report date is specified

The useragent log was ignored if the report date was not defined on the
command line. The only way to generate the useragent log was to use
command line option -d.

Take the useragent log file into account

The useragent log file provided on the command line with option -b was
ignored.

Thanks to Yakushev Evgeniy for reporting this bug.

Fix a spelling error in the name of libgd.

Update the xgettext definition of debuga

xgettext needs to know what argument of debuga is a c-format string to add
the proper flag in the po file. The printf-like argument changed place when
the source file and line number were added to debuga.

Function debugaz was not declared as a function taking a printf like
argument.

Display the source of the message displayed on stderr

Messages that have been merged in previous commits cannot be distinguished
from each other. It makes debugging more difficult.

To solve this problem, when sarg is run with -zzz, the source file name
and the line number is displayed in the message prefix. It makes it easy to
look at the corresponding source code and understand why the message was
printed.

Tell the compiler that debuga_more uses printf like arguments.

Minor message content adjustments.

Put double quotes around remaining file names in messages

Be consistent with the naming of files in messages. It makes life easier
for the translators.

Fix a message (missing colon).

Merge messages about memory shortage.

Merge messages about IP addresses.

Make the script to change copyright date executable.

Merge messages

These messages are related to file manipulation.

Merge the messages about invalid data

There were far too many redundant messages to be translated just to report
errors in the data read from a file. The messages have been merged to
reduce the diversity in vocabulary.

Update the copyright year in every source file

I join a script to automatically update the year.

Fix the file name reported in a write error message

An error message when closing a file was not reporting the right file name.

Output only two sets of messages when fclose fails

One message is for write errors and the other is for read errors. Read
errors were mostly not detected before this change.

Remove deleted C file from po source list

The source file charset.c was deleted a long time ago. It is now removed
from the list of the files to scan to update the po files.

More messages merged to reduce the number of messages to translate.

More messages merged to reduce the number of messages to translate.

Use the function name in a message to reduce the number of messages.

Use the same variable type in a message

To reduce the number of messages to translate, the index reported in the
message is always an int. There was no reasons to use something else in the
first place.

Fix a spelling error in messages.

Don't check a write error in the trailer

Other fputs are not checked and any write error is caught more reliably
when the file is closed.

Normalize the messages to have less messages to translate.

Fix a few spelling mistakes.

Simplify the messages to translate

Translated messages that differ only in the file name printed at the
end of the message are now split in two parts. The file name is taken out
of the translated message to leave only the common part to be translated.

Remove old commented out code.

Remove execution bit on source files

Some c and h files had the execution bit set. It was a mistake.

Update the build date and version number

Sarg is now labeled as version 2.4.0-pre2 dated from 2015-03-19.

Real time report takes POST into account

As PUT and POST are very similar, there is no point in including the former
into the real time report and not the latter.

Merge branch 'master' of /run/media/maf/TRACK/sarg/sarg

Get rid of the dependency to an external tail command

The real time report relied on an external "tail" command to get the last
lines of the input log file. That dependency has been removed.

Moreover, if several log files were passed, the real time report would
always read the first one. Now, sarg chooses the most recently modified log
file.

The input log file can be in any supported format. It doesn't have to be
a standard squid log format.

CMake pack command ignores git instead of svn

The CMake command to create a package must ignore the .git directory. The
.svn directory isn't used any more.

Don't search for bzero during configuration

That function isn't used any more in sarg.

Ignore negative elapsed time in squid log

Squid sometime reports a negative elapsed time. Commit d91457d25 only
improperly fixed it. The negative value was still rejected as an invalid
line.

This fix detects the negative value and ignore it.

Configure the images directory in sarg.conf

The directory where the images resides can be changed at run time by
setting image_dir in sarg.conf.

Get the file size with the available stat member

On MinGW, the stat structure doesn't have all the member variables used to
compute the size of a file.

LC_MESSAGES undeclared by MinGW

Including gettext.h produces an error because LC_MESSAGES is not declared
by MinGW. To solve this, the gettext.h file isn't included on MinGW and
the missing functions are manually declared.

Include winsock2.h before windows.h to please the compiler

windows.h display a warning if winsock2.h isn't included first.

List the header files in cmake

QtCreator needs the header files to be listed in the source variable to
display them in its project tree when the cmake project is imported.

mkdir is really a mess on MinGW

mkdir with one argument produces an error as the macro requires two
arguments. I couldn't find which macro it is!

mkdir with two arguments doesn't work as _mkdir isn't defined without
direct.h.

_mkdir isn't defined without direct.h and direct.h cannot be included
unless NO_OLDNAMES is defined to mask the mkdir macro which conflict with
the definition in io.h.

Replace bzero by memset

That function isn't available on MinGW.