Remove the obsolete cc option

If sarg is compiled with cc, the old configure script would add the -Aa
option to the CFLAGS but that option produces an error on modern cc. The
error is about a missing argument. I could not find the new syntax nor the
purpose of that option but it was reported that removing the whole
condition was solving the problem.

Bug report here:

http://sourceforge.net/tracker/?func=detail&aid=3467463&group_id=68910&atid=522791

Speed up the second stage of the report generation

A lot of temporary files are produced after the log is split into several
files each containing the data of the users but those temporary files were
constantly being opened and closed for each line to be written into. It
was a small waste of time.

The new processing opens the temporary user's files once per user, process
the data of the corresponding user and generate the temporary file with
those data. The gain is roughly 10% on my data set.

Add a double check on the data at the user's level

There already was a check on the global data collected from the access log
to ensure no data was lost.

There is now a check on the amount of bytes download by the user and the
time elapsed. The detection of a failure is therefore more accurate and
make it easier to locate the leak.

Suppress a false warning

During the creation of the topusers report, if the the report consist
entirely of failed connection without any byte downloaded, the incache
and outcache are both zero and don't sum up to 100%. This is expected and
should not output a warning about corrupted data.

Report any error while reading the day summary file

Sarg generates a temporary file containing the downloaded bytes and the
elapsed time to produce the user's hourly report. While that temporary
file is read and processed into yet another temporary file, any error
found is reported and the processing is aborted instead of being silently
ignored. It ensure no data are missing from the reports.

Don't fail if report_type doesn't request for topusers

The topusers page is always generated and now serves as an index for the
other report pages instead of promoting the topsites pages as the main
page.

Update the build date

Fix the formating of the e-mail subject

The date in the subject line of the e-mail was produced with asctime.
But that function append a \n at the end of the date. The subject line
was therefore followed by a blank line as mailx was concerned and that
would mess with the header of the e-mail.

This patch render the subject line using strftime. It avoid the line
break and allow mailx to add additional headers from the command line.

Print a debug message when purging the temporary directory

The temporary directory used by sarg is purged before the report is
generated and it can take some time if a previous directory was left
from a previous run.

A debug message is printed to tell the user about the delay that's
occuring.

Fix the version number

This is version 2.3.3-pre1 and not 2.3.3 as mentioned in the
configuration script!

Update the building date

Fix the link to the URL in some reports

Some URL are stripped of the scheme while others are not. Yet they were
all printed using the same function that prefixed a http:// in front of
the URL even if the original scheme was stil present.

To make the links clickable without error in the report, the scheme may
be provided by the caller when it requests the printing of the URL in a
HTTM link.

The affected reports were the authentication failures, the denied
accesses and the downloaded files.

Thanks to budsz for reporting this problem.

Delete legacy file.

The content of squidguard_report.c ended up in report.c a long time ago.

Include the Danish translation

Thanks to Joe Hansen

Format the help of the configure script

The help messages of the configuration script is formated with
AS_HELP_STRING instead of using a hardcoded layout.

Support for gd, ldap and iconv can be disabled during configuration

The configuration script support the three command line switches
--without-gd, --without-ldap and --without-iconv to build sarg without
one of those external module.

Don't abort on squidGuard log errors

squidGuard sometime wraps the url in the log file and sarg used to abort
the whole report generation. This patch merely issue a warning but keep
producing the report.

The report contains a warning indicating how many lines were ignored
from the original log file.

Prepare version 2.3.3

Danish translation by Joe Hansen

Update the po files

Fix some errors introduced by the previous patch for windows

The changes made to make the realtime report compatible with windows
produced some errors on linux. This patch fixes those problems.

This fix also correctly sorts the entries by date and time whatever the
requested output date format is.

Fixes to compile sarg with mingw32

The mkstemp function isn't available on mingw32 so it is replaced by the less
safe mktemp/open calls.

mkstemp is used whenever possible. The weaker code is only used if mkstemp is
not available.

Remove one more unused variable

Remove unused variables

The variables were not detected as unused because they were assigned a value
but the value was never actually used.

Add missing \n on several debug messages

Some messages were missing the carriage return. The consequence was a
concatenation of the following message with the previous one potentially
letting it go unnoticed.

Add the xml manpage to the archive

That file is required to generate the manpage.

Rename the file to better suit its purpose

Update the PO files

Delete the unused user's directories

Some directories are created to store the user's data but if they end up
not being used, they are deleted along with their content. It saves
space on the disk.

A nicer fix would be not to create the directories and their content in
the first place but I'll keep that for the next release.

Add a script to prepare the archive to distribute

The shell script builds a list of the files to include in the archive,
build the archive and compute the checksums.

Update the po files

Add a note about sorttable.js to README

Now, sorttable.js is distributed along with sarg.

Don't link the download report to users not in the topusers list

If the topusers list is truncated, don't link the download page to the
missing users.

Don't process the details of the users that are not listed

When the topusers list is limited to some users, the details of those
users are not processed and the corresponding files are not generated.

Some files are still generated but the changes needed to remove those
files are too intrusives for this release.

Add links on the Sites & Users page to the user's page

The page listing the links visited and who visited them contains links to
jump directly to the page of each user provided they are on the top
users page.

Use a function to safely copy the strings

Some calls already used strncpy to copy strings but, now, we are using a
function to encapsulate the code and it is used to copy the arguments
passed to sarg by the user.

Fix some translations

The messages were produced through strings manipulations that are
incompatibles with the translation process.

Update ChangeLog

Update the po files

Display some messages to understand why sarg isn't doing something

One common class of questions from users is to ask why sarg isn't
producing some kind of report. Considering the number of configuration
parameters, it is not surprising that some users get lost.

To help the users help themselves, the -z command line option has been
enhanced to print messages indicating why sarg don't produce a report.

Protect a few buffers against overflows

Use snprintf instead of strcpy, strcat or sprintf.

Decouple the denied and authentication failure reports

Both reports were produced if only one of them was requested in the
report_type option and there were enough material to produce the other
report.

Fix a sorting issue in the DansGuardian log

Times with a one digit hour must be sorted before the times with two
digits. To fix this issue, a padding zero is prefixed to the hour if it
contains only one digit.

Thanks to Iain Lopata for the patch.

Fix the computing of the date to filter out in the dansguardian log

The date to filter out when reading a dansguardian log is computed
through a string manipulation that fails when the day is encoded over
one digit.

This patch should fix the computation of the date value.

Thanks to Iain Lopata for reporting this bug.

Check for an integer overflow in getword_atoll

Just to be sure we are reading correct data, the number build by
getword_atoll is checked for any overflow.

Fix the date range exclusion while reading the dansguardian log

The exclusion of the entries in the dansguardian log based on the
selected date range was not working.

Thanks to Iain Lopata for fixing this bug.

Write a note about the ignored items in the reports

Several parameters of sarg.conf can limit the number of lines written in the
reports but, so far, only the denied report was reporting how many entries were
left out.

Now, the authentication failure, the dansguardian and the redirector reports do
write the number of ignored lines.

That change should spare some headaches to the users trying to understand the
reports.

Thanks to Iain Lopata for reporting this problem.

Attempt to fix a FreeBSD IP address resolution

According to this post:

http://lists.freebsd.org/pipermail/freebsd-standards/2005-July/000948.html

Some old version of FreeBSD requires that the sa_len of the sockaddr_in
structure be initialized with the exact length passed to getnameinfo.

As Linux doesn't have the sa_len member, it is not initialized in sarg.
Therefore the IP address resolution fails when sarg is compiled on FreeBSD.

Update version number and release date

The ChangeLog is updated too and the po files have been rebuild for this
version.

Correctly append a suffix to the mangled temporary file name

When two users end up with the same mangled temporary file name, a suffix is
supposed to be added at the end of the new file name to make it distinct from the
previous one but the suffix was added one byte too far making it useless.

The result was that the log entries of two or more users were written into the
same file overwritting each other's data and corrupting the report.

Thanks to Mark Dennison for reporting this bug.

Replace tabs by spaces in the URL and the code

Any tab encountered in a field of the input log file will send sarg off track
as it uses a tab to delimit columns in its temporary files.

To prevent this problem, the URL and the HTML code found in the input log file
are processed to replace any tab character by a single space.

Don't abort if topusers is not in report_type

If topusers is not set in report_type, sarg fails with a message indicating
that it can't open sarg-users.

This is expected as the file is not created if the top users list is not
generated.

Thanks to Peter for reporting this bug.

Protect the columns sorting against missing or invalid dates

Sorttable.js fails on columns containing a date on the first row but not on
subsequent rows. This patch assumes a zero date for any missing or invalid date
sorting those rows at the top of the table.

Use locale aware comparison when sorting tables

Convert sorttable.js to UTF-8

Original script was in ISO8859-1.

Add the javascript to dynamically sort the tables in the reports

This is the original script written by Stuart Langridge and downloaded on
http://www.kryogenix.org/code/browser/sorttable/. It is included here as the
script contains some bugs and the author doesn't seem to be supporting his
script any more.

Update the po files for translation

Update the list of the sources files to include in the po files

The translation files did not include the replacement of squidguard_log.c
and squidguard_report.c by redirector.c.

Update the ChangeLog file

Set the correct release date in the code

Exclude IPv6 hosts

Host exclusion didn't support IPv6 addresses. This change add the
possibility to exclude host identified by a IPv6 address in the log.

The change required some extensive changes to the code to alias the host
names as several strings had to be made constants.

Stop parsing the URL at the parameters

The end of a host name is marked by a / for a path or a ? for
parameters. Both must end the host name.

Add documentation for IP addresses in hostalias

Previous commit added support for IP addresses in the hostalias file but
I forgot to update the documentation in sarg.conf.

Add support for IPv6 in the aliasing of host names

IPv6 addresses can be defined in the hostalias file and accept the CIDR
notation.

Squares brackets are not required around the IP address in the hostalias
file but the log file should enclose the IPv6 address between square
brackets to avoid confusion with the port number.

A IPv6 address is made of 8 short int

The allocated buffer was too small.

Properly check the boundary of an array

Increase the limit on the number of days that can be processed

If a log file (possibly restricted to a date range) ends up with more than 90
different dates, sarg aborts and complains that there are too many dates.

That restriction is just a safety and isn't critical so it has been increased
to a more reasonable value.

Alias IP addresses in the URL using the CIDR notation

Listing all the addresses in a range is tedious so the syntax is
extended to support the CIDR notation.

Only IPv4 are fully supported at the moment.

Add underscore in scheme characters

The underscore is not a valid character in the scheme of a URL but it is used
by squid as in cache_object://.

Update ChangeLog

Merge squidguard_log.c and squidguard_report.c into one file

The functions are renamed to make them less specific to squidGuard as
they are compatible with other redirectors.

Alias the host names in the redirector report

The scheme is removed from the URL even for a custom report format and the
URL is always truncated to keep only the host name. The full URL was
always reported for a custom log format.

In addition, the reported host name is replaced by the alias if one is
defined.

There is no grouping of the identical host names as the report list one
access per line along with the access time so there is no grouping any
way.

Improve a bit the processing of the URL

Detect more strictly the scheme prefixing the URL to avoid any false
positive.

The caller decides if the full URL must be kept or truncated.

Don't report clickable link for aliased url

The HTML reports contain A tags to link to the page visited by the users
but if the host name is aliased, the link is meaningless and must not be
reported.

Protect the sort commands against buffer overflow

The external sort commands are build by snprintf instead of sprintf
to guard against buffer overflows.

External sort command delimits the columns only on a tabulation

The default sort command splits the columns on a blank to non blank
transition but our files only use a tabulation as the column separator.

Therefore, the calls to the external sort command explicitly require
that the columns be identified by a tabulation. It prevents problems
when the fields contain spaces.

Alias host names in URL and group identical names

The user can write a file providing rules to replace the host names
extracted from the URL and displayed in the reports. The rules allow
for one wildcard in the host names to be matched.

Identical aliased host named are grouped together in the reports.

Explicitly link against libm

Thanks to Diego Elio Pettenò for this patch.

Fix the error messages when parsing a redirector log with custom format

If redirector_log_format is set in sarg.conf, the error messages displayed for
any error encountered while parsing the format string are unclear or wrong.
This patch fix the message and explain really why the format string could not
be used.

Use anonymous file and directory names

The files and directories are named after the user whose report is
about. Therefore, even if the administrator tries to hide the user's
identity with a useratb file, the real identity is still visible in the
URL.

To solve this problem, option anonymous_output_files was added to
sarg.conf. When it is on, each user's file is named using a unique
number that can't be traced back to the real user.

This patch also allows to shorten the URL of the report.

Thanks to dbmaxpayne for suggesting this feature.

Add Danish po file

Thanks to Joe Hansen.

Retry if getnameinfo returns EAI_AGAIN

The man page tells that the program should try again when getnameinfo
returns EAI_AGAIN but it doesn't say if the program should wait and how
many attempts it should perform. Therefore, we assume the implementation
just want us to call it again but we won't waste more time than that.
The number of IP addresses to resolve is potentially very big and it
doesn't matter much if a few addresses are not resolved.

Parse the time from a common access log

The time was ignored when parsing a squid log file written with the common
logformat. The consequence was that all the accesses were reported as occuring
at 00:00.

This is a bug introduced in sarg 2.3.

Thanks to Richard P Scott for reporting this bug.

Don't abort for an empty report directory

If sarg fails and leaves an empty report directory, one without a
sarg-date file in it, any subsequent execution of sarg will fail due to
that empty report directory.

This change ignores such an empty directory and issue a simple warning.

Update the po files, in particular the Russian translation

Thanks to Leonid Pushkarev for the Russian translation.

Accept IPv6 addresses in realtime report

Take the date_format into account when converting a file

The date_format parameter read from sarg.conf was taken into account too late
in the program flow and was ignored during the convertion or the splitting of a
file. Only command line option -g was effective.

Display the redirector link on the top users page

The previous commit (svn 518) disabled the link from the top user list
to the redirector page.

Thanks to Arnaud Florent for locating the cause of the problem.

Don't delete a file twice if -i is given on the command line

If sarg is ran with command line option -i, in some circunstances I have
yet to clarify, the ip file is not produced. In that case, the name of
the previously created file (whose name is still in the string buffer)
is deleted a second time. The result is a failure as the file doesn't
exists any more.

Thanks to Arnaud Florent for reporting this bug.

Add the pt_BR translation

Thanks to Mauricio Silveira.

Check for empty body in source code

Enable a warning in gcc to stop the compilation if an empty body is found after
some control structures. It should detect stray semi-colons at the end of the
control structures such as if, for, while,...

Disable LDAP referrals

LDAP referrals are disabled in ldapsearch. Let's see if that avoid the
Operations Error message produced when querying a MS AD server.

Take the result of the test for -Werror=format into account

Due to a copy and paste error, the non availability of -Werror=format in
the compiler was not taken into account.

Install the man page in man/man1

Thanks to Mauricio Silveira for providing the patch.

Fix a problem with the attributes passed to ldap_search

The attributes list passed to ldap_search must be terminated by a NULL
pointer. That wasn't the case in sarg and was likely responsible for a
segfault. It should be fixed now.

Support for IPv6 addresses in Dansguardian's log

The buffer to hold an IP address read from Dansguardian's log wasn't
big enough to contain an IPv6 address. The reading of such log was
failing.

Accept IPv6 addresses in squidGuard's log

The buffer to store a IP address from squidGuard's log was not big
enough to hold an IPv6 address. That resulted in a getword loop error.

Update the languages files

Settle for gettext version 0.18

According to the gettext manual, AM_GNU_GETTEXT_VERSION sets the
minimum gettext version required to build the package but it doesn't
look quite right as my system insist on using that exact version of
gettext to install the po files.

Fix escaping of user id in LDAP query

The wrong variable was used uninitialized when escaping the user id
for the LDAP search.