Add an option to create the per_user_limit files

Sarg.conf allows the user to either always create a per_user_limit file
even if it is empty or only create it if some user crosses the limit.

Add a function to look a user up by IP address

The function is currently unused but I might have had some use for it so I
left it in the code.

Create multiple per_user_limit files

Each file can have a different limit.

For each file, it is possible to write the user's ID or the user's IP
address.

If the files exists, they are purged.

Don't generate the date/time report page if it isn't used

The temporary file may still be created but it will be deleted before sarg
exits.

As a consequence, if temporary files are kept, the temporary directory may
hold more files than were actually used.

Don't segfault if date_time_by is empty

Thanks to nuphero for reporting this bug and helping in tracking it down.

Remove bashisms from configure.in

Tests using == as equality operator are not portable. They are replaced by
a single =.

Thanks to Renato Botelho for reporting this bug.

Fix the reporting of downloaded files

The reporting of downloaded files was in fact reporting the denied accesses
since a previous changes in version 2.4.

Fix some compiler warnings

Unused variables.

Merge branch 'master' of ssh://git.code.sf.net/p/sarg/code

Conflicts:
html.c

Avoid rereading the user_limit file each time a user is added

Each time a user reach the download limit, he/she is added to the
user_limit file only once. Instead of rereading the whole file to see if
the user is already there, a flag is kept in memory to track already
limited users.

Compare correctly a per user limit greater than 2GB

A user limit greater than 2GB would sometime list the user into the
limit file even though the user does not exceed the limit.

Thanks to RodinM for reporting this bug.

Iconv converts the terminating NUL in the LDAP string

The LDAP string was not completely converted and was lacking the
terminating zero.

Apply patch 36 submitted by Dayel Zabin

The patch converts the string returned by a LDAP search into a user
selected character set.

The patch has been slightly modified to avoid memory leaks and report
errors the sarg's way.

Build alias.c with cmake

Update the build date

Don't force the use of libpcre

Libpcre was always included in alias.c to do some testing but it breaks
the compilation when libpcre isn't available. It has been removed.

Suppress warning when compiling with mingw

Mingw doesn't accept the __attribute__ option. It is removed when
compiling with that compiler.

Merge branch 'master' of ssh://git.code.sf.net/p/sarg/code

Report a proper message if a log file cannot be read

Previous versions used to report that the file doesn't exist if the user
doesn't have read access.

Thanks to Henry Lin for reporting this bug.

Report a proper message if a log file cannot be read

Previous versions used to report that the file doesn't exist if the user
doesn't have read access.

Thanks to Henri Lin for reporting this bug.

Make sarg as the default target

This bug was introduced after listing the source files dependencies.

Fix some messages from the configure script

Get rid of the hard coded echo instructions.

Add a user alias

It is similar to the hostalias file but is applied to the user ID.

Proper include dependencies in Makefile

The Makefile build the necessary source files when a header file is
changed.

Use constant strings for the IP address and user name read from the log file

Fix an error when processing NTLM user formatted name

An uninitialized variable was used to split the user name when the format
was declared as NTLM.

Update po files

Disambiguate the string "time" for the translators

The same word is used whether the value is a wall-clock time or a duration.
Translators may need to translate them with different words.

Rewrite the function to format numbers with a suffix KMGT

The function use less string manipulation functions for one or two bytes
strings. The bytes are copied one at a time. It makes the code more
readable.

Suffixes up to yotta are supported.

A comma is used when configured to to so with use_comma in sarg.conf.

Work around a bug in mingw's snprintf

snprintf doesn't limit the output string to the requested size (or at least
not strictly). The formatted numbers displayed in the report were wrong.

Test for an absolute path on Windows

The code to test for an absolute path on Windows was not compiled because
the constant to enable that code is not supported.

Install sarg.exe on Windows

Use the executable extension discovered by the configuration script when
installing sarg.

Revert to an old version of the Chinese translation

Several merge conflict tags has gone unnoticed. Since the po file hasn't
been modified for a long time, it is safe to revert to the old version.

Some characters had been damaged too. This version looks good from the
po point of view.

Remove merge tags from the po files

A merge conflict in the po files must have gone unnoticed and the conflict
tags were committed. They have now been removed.

Ugly patch to link on Windows

Library ws2_32 is required when compiling on Windows but the autoconf macro
to test for a library doesn't work due to the special declaration of the
functions in that library.

Link against an external libintl

Without this library, the linker complains about missing libintl_gettext
and the like if gettext is not part of libc.

Suppress warnings from the compiler for unused variables

Fix a warning about an uninitialized variable

Don't complain if pcre.h is not available

The file can be compiled even if pcre is not available.

Check for winsock.h

The header file is required to compile sarg on windows but its
availability was not checked in the configuration script.

Update program build date

Write the access times in one html page

Web sites access times were written in a file named after the user's name
and the visited site URL. There were one file per site, they were small and
numerous. In fact, they could be so numerous that they could fill the disk
inode table.

Moreover, with a file name made of the user's name and the visited site
URL, the manufactured file name could be more than 256 characters resulting
in an OS error on Windows and Linux.

To fix these two problems, the access times are all grouped inside one web
page with anchors to directly scroll to the relevant site. The html file
name is fixed (tt.html) and doesn't depend on the user's name or web
site URL.

Make sure the configure script is up to date when packaging the project

The configure script must exist and have been updated by autoreconf before
sarg can be released.

Packaging script accepts a tag with a translation suffix

When a translation is submitted after the version has been tagged, a new
tag is added with the language as a suffix. It must be accepted by the
packaging script.

Update the date in the header of every C file

Mangled file name is really unique

Due to an error, the file name created by mangling the user ID was not
using the suffix that was supposed to make it unique. Therefore, user's
names made of several consecutive non alphanumeric characters were not
unique.

The error manifested itself as an error message saying that the
_.user_unsort file could not be sorted. It occurred after the first
user assigned to the _ file name had been sorted and its file deleted.
Therefore any subsequent user sharing the _ file name would fail.

This patch also makes sure no original user name might possibly ends up
being the same as a mangled name.

Use less memory to store the user strings

Use the string buffer object to store the strings corresponding to the
users. It takes much less memory as the strings only take the exact amount
of memory instead of allocating a fixed size buffer as big as the biggest
expected string.

Don't ignore lines starting with a space in access.log

Sarg was ignoring any access.log line starting with a space character. I
see no reasons for this limitation. Therefore, I simply removed it.

Any restriction on the processed lines should be placed in the specific
format engine that requires it.

Explain why some input log lines are ignored

When verbose mode is enabled, a listing explaining how many lines have
been excluded is displayed. Every reason to ignore a line is listed. It
should make it easier to figure out why the report is not generated.

Make sure the total number of lines read is big enough

Use an unsigned long int to store the number of lines read from the access
log file.

Get rid of the limit on the number of input files

Previous versions were limited to 255 access log files with a maximum
length of 1024 characters. That limit has been alleviated.

Replace the "getword loop" messages

The "getword loop" messages are unclear. They don't explain what went
wrong.

The new messages explain that the end of a word or number was not found.

Fix a message string

Make a translator friendly message out of pieced together words

The "generated by" message written at the page bottom was made out of
words assembled together during the page generation. It was not possible
to translate that message.

Include Danish translation

Make one function to read an input log

This is the first step to read files using wildcards in the
configuration file.

Fix the month extracted from a common log format

The month number was one value short of the right value due to one
supernumerary subtraction

Be more thorough when ensuring a file is correctly written

The return status of every written file is checked when the file is closed.
Any incorrectly written file should be detected early and a proper message
should be reported.

Overwrite any existing dansguardian temporary file

When sarg parses a dansguardian log, the temporary file to store the
parsed value is overwritten if it exists instead of appending the entries
at the end of any left over from a previous run.

Explain the reason when a file cannot be opened

The system error string is written in the error message when a file cannot
be opened. It should help in diagnosing the reason for a failure.

Report the IP address from which the user visited some site

The IP address makes sense in that report to detect users visiting sites
from another computer but still identified by their credential.

Remove a message about the redirector log that can't be deleted

If no redirector log was provided, a message was displayed in debug mode to
inform the user about a temporary file that can't be deleted. That message
was unnecessary and misleading. It is now displayed only when appropriate.

Download report encapsulated in a module

Module build upon the model of the denied and authfail reports.

Add a safety to prevent the deletion of files that haven't been created

There was a path in the source code where sarg could try to delete the
temporary unsorted files of the denied and authfail reports without
checking that the file names were not empty.

The functions where the guard was added are not supposed to be called if
no reports are to be generated but that check relies on the caller. If the
caller fails and call the function to generate the reports, it will try
to delete a file whose name is empty.

Don't delete the denied and authfail temporary files if requested

The temporary unsorted files containing the denied and authfail could be
deleted when the user had requested to keep the temporary files.

Autoconfigure the XSL stylesheets to produce the man page

The configure script detects Debian and Gentoo current XSL stylesheets
paths and use the appropriate one when generating the man page.

Add the documentation for the --statistics parameter

Documentation added to the man page and the usage page displayed by sarg.

Compute and display execution statistics

The total run time is displayed along with the number of lines read in the
input logs, the number of records kept and the number of users.

The time it takes to read the input log files and the time it takes to
process the records are computed.

Tell in sarg.conf that access_log can be repeated

The possibility of repeating access_log to read more than one log file was
not documented. It is now documented in sarg.conf.

Change version number to 2.4.0-pre1

The last digit will serve as a bug fix counter.

The build date is up to date.

Don't trash the period when reading multiple log files

Reading multiple input log files overwrite the period due to the
processing made before reading a new file in readlog_sarg.c.

This fix make sure the period is as big as the total period of all the logs
read by sarg. It doesn't take into account gaps in the logs.

Fix the filtering out of the log based on a date

The date range was ignored and, in the worst case, no entries were
reported.

Don't keep the % in the URL when converted into a file name

When a file name is manufactured from a URL, the percent sign is removed to
prevent the web server or the browser from requesting a file with a % in
it.

The server or the browser would decode the percent sign if the two
subsequent bytes happened to be a valid hexadecimal byte and would request
the wrong file.

Remove trailing spaces in every source file

Fix the reported year in the extended log

The year was not properly encoded in the internal structure.

Keep reading the log files even with a small number of errors

Sarg tolerates a few errors in the input log files. The number of errors
can be configured. Sarg can stop on some consecutive errors and on the
total number of errors.

Allow an empty data size in a common log

Any column of the common log format may be - to denote missing or
no applicable data. In particular, apache writes a - when the URL is a
redirection. That case is taken into account with this patch.

Accept common log files without extension column

The sample common log file used to test the program contained additional
columns. The standard common log format doesn't have those column. Sarg
failed to parse the standard format due to the lack of any supernumerary
column.

Remove trailing spaces

Change the structure to search for the current log format

Rewrite the loop to scan through the known log formats to make it more
readable and let the compiler optimize it.

Ignore the sarg log file name until the format is confirmed

The validity of the sarg input log file must be delayed until the format
header is detected or the filter will fail when parsing any other log
format.

Purge the old log file decoding code

The legacy code to read the log files is gone for good.

Extract the covered period from the sarg log file

A sarg log file is named after the covered date range. The range is
extracted and used in the report.

Decode extended log formats

Microsoft ISA produces such a log. This change is supposed to handle more
general cases than the previous routine.

The current code successfully decode the one line long log I have to test
the code. The decoding procedure may not be compatible with *any*
compliant extended log implementation. Sample logs are necessary to improve
the code.

Fix a crash when no log formats are found suitable

If no log formats can decode a line from the input log, an index would
exceed its bound and produce a crash.

Editor removed trailing spaces

No change in the program. Only those files are affected. Other files may
get changed in the future.

Validate the entry time from the input log

The date and time found in the input log file are validated. Moreover,
additional fields such as the week day are computed.

Store the entry time in a structure instead of a pointer

Instead of requiring that the module keeps track of the entry time on
behalf of the main loop, the entry time is stored in the entry structure.
Therefore, there is no need to keep a static variable inside the module
and pass its pointer to the caller.

Modular reading of some input log formats

Currently supported log formats are squid, common and sarg.

Remove the project number from doxygen documentation

Ignore Doxygen files (hmtl and log)

Don't use strcmp to check strings one or zero characters long

As a side effect, the date format is stored in a single character instead
of a string and df is now the only variable used globally to set the
date format.

Don't show the input log reading percentage

The show_read_percent option shows the percent of the input log file
reading independently of show_read_statistics. It allows for a progress
indicator without having to read the input log file twice.

Merge remote branch 'origin/v2.3'

Conflicts:
CMakeLists.txt
configure.in
po/zh_CN.po

Switch to version 2.3.3-pre3

Too bad I forgot to update the po files and set a git tag.

Check the working directory before preparing the archive

The script test for the usual things I always forget:

1) Update the po files.
2) Commit the changes.
3) Set a git tag to find the version back.

Update the po files

Really update the French translation

This is the real file from the Translation Project.

Update French translation

Format the hour in a translator friendly way

Translators can have full control over the hour format in the hourly
report.