Update dates in the manpage

Update po files

Update help

The manpage is up to date.

So is the help displayed by sarg with command line options -h or --help.

Add --help to the command line to display the help

That syntax is more user friendly.

Old -h is still accepted.

Keep the excluded files out of the archive

The tar.gz archive created to release the sources included the ignored
files if they were located in a subdirectory.

Update the translation files

Update the content of the po files for the translators.

Add 3 missing files to gettext

The content of three files was not processed by gettext and was therefore
untranslated.

Update ChangeLog

Include some previously overlooked changes.

Fix a printf-like format specifier

Reminder for myself: a sizeof must be cast to a int and formated with %d.

IP address resolution using one external program

It is now possible to resolve an IP address using an external program.
Only one external program can be configured but it may do anything
including attempting several strategies to resolve the IP address.

The module may be chained after the standard dns module to get the name of
a computer not registered with the DNS.

Executing an external program is exceedingly slow so it is best to try
the DNS first!

Fix compilation error on Windows

The variable h_errno is an alias to WSAGetLastError() which must not be
declared as was to be done on Linux.

Update the po files with the new messages

Include .gitignore in the repository

It contains the build files to exclude from git.

Update the release date embedded in the program

This is the release date printed in the report and in the output in verbose
mode.

Take the port number into account when processing IPv4 addresses

The port number is ignored from IPv4 addresses read from the log file. It
allows to compare IPv4 addresses against the host exclusion list.

Prior to that change, it was not possible to filter out IPv4 ranges if a
port number was reported in the log file as the address was not recognized
as an IPv4 address and therefore was not compared to the correct exclusion
list.

Thanks to Mark Easter for reporting this bug.

Don't process the download report if no entry was written in the log file

If the download.int_unsort file doesn't exist, the sort command fails and sarg
abort the process.

With this patch, it simply continues the processing optionaly printing an
information message.

Now, it is an error if the sorted file doesn't exists. In previous versions, it
was just a warning.

Display the offending regular expression if an error is detected

If a regular expression is invalid, the actual regular expression is displayed
in the error message in addition to the error message from libpcre. The user
will know what regular expression failed.

Deal with url without scheme or path in a squidGuard log

Some url in a squidGuard log don't start with a scheme:// and may not
even contain a path. Those bare minimum url are not parsed correctly
by the redirector_log_format suggested in sarg.conf.

To parse those log entries correctly, we grab the whole url in the
buffer and strip it down to keep the host name.

Accept subpatterns in the host alias

Both the sed (\1) and perl ($1) subpatterns are accepted. Only 9
subpatterns are taken into account.

Avoid empty file name for the user's report file

If an empty user name creeps up to the name manufacturing function, the name
generated to store the user's files is empty and it leads to the deletion of
the whole report directory during the process. The visible results is that sarg
ends up with an error because its output directory is missing.

This patch makes sure no empty file name is used. It is still necessary to
avoid empty user names in the first place.

Add a cache to store the resolved IP addresses

The cache is based on a dichotomic search in an array. I plan to compare
the speed of the dichotomic search with the btree.

Make a module out of the DNS IP resolving

The code was changed to accommodate module names in resolve_ip instead of
just yes or no. The named modules are tried in sequence until one returns
a positive result.

Currently, only the dns module is available.

Prepare the ip resolving for other resolving methods

The ip resolving is moved into a distinct function that will be called
based on the configured options.

Report the full downloaded url again

Due to a bug, the download report only showed the host name instead of the
full url as it used to do prior to version 2.3.2.

Thanks to Kryol for reporting that bug.

Merge branch 'v2.3' of ssh://sarg.git.sourceforge.net/gitroot/sarg/sarg into v2.3

Update the ChangeLog

Record the more prominent changes.

Display an error message if a regex is used in the hostalias

If libpcre was not compiled in sarg and regex are used in the hostalias
file, an error message is displayed and sarg exits.

Add support for regular expressions in aliasing the hosts

If libpcre is found on the system, a regular expression can be defined
in the hostalias file to replace the matching host names in the report.

A regular expression is formated in the host alias file as
re:/regexp/ alias

The alias is mandatory. The regexp may be delimited by another character.

Fix the permissions in the archive file

The archive to distribute a release had the wrong permissions. Every
directory was missing the x permission preventing the user from entering
into the directory.

Avoid a possible name clash in the temporary directory

As all the temporary files are generated in the same directory and some of
them may be named after the user's ID found in the log file, it is possible
that a user's file ends up with the same name as an internal file such as
the downloads.

To avoid that name clash, the temporary files created for any auxiliary
report are suffixed with a distinct extension.

No links in the denied page if the user is not on the topusers list

The report with the denied accesses contains links to the user report page
but the user report page is not generated if the user is not on the
topusers list.

This patch hide the link if the user's page doesn't exists.

Change the year in the header of every C file

Add a note about the sorting of the downloaded files

The doxygen comment tells what columns are used in the sorting of the file.

Sort the user's log just before using it

It is cleaner to group the sorting with the code using it. Moreover, it is
safer as we don't risk sorting a file that is not a user's file.

The doxygen documentation of sort.c was included into the source file
instead of keeping it in a separate file.

Sort the downloaded log just before using it

It is cleaner to group the download stuff in the same file and at the same
place.

Moreover, it frees the sorting routine up to be included where it belong
too.

The documentation of download.c has been merged within the source code.

Don't use an intermediate file for the hourly statistics

The data are grouped in memory and later written to the file that will
be read to produce the hourly and graph reports.

Produce the time and graphs reports if users_sites is disabled

If the topusers report is requested but not the users_sites report, the
links to the time and graphs reports are included in the topusers list but
the files were not generated. Now, they are.

Fix the links of the URL in the reports

Some URL are stripped of the scheme and others are not. Some have a scheme
in the access.log while others don't.

The function writing the URL in the report detects the presence of the
scheme and add "http://" before the link if no schemes are detected.

Cleanup the use of a supernumerary url variable

Two redundant pointers were making the code more confusing.

Require a compiler compatible with C99

The LLONG_MAX constant is only declared on some systems if gcc is ran in
a mode compatible with C99.

This commit requires C99 (-std=gnu99 in fact) and check that LLONG_MAX is
properly defined. At least, the user will be informed about the problem as
soon as possible if such a problem occurs again.

The bug describing this problem is here:
http://sourceforge.net/tracker/index.php?func=detail&aid=3482261&group_id=68910&atid=522791

Mention that autoreconf can be used to create the configure script

The comment on the first line of configure.in tells to use autoconf to
build the configure script but autoreconf is more likely to do the job.

Explain why the graphs are not produced

Some messages have been added to explain what are the consequences of not
building sarg with libgd.

In addition, some more messages explain why the graphs are not rendered
along with the report.

It should help the users to track the graphs problems by themselves.

Remove the obsolete cc option

If sarg is compiled with cc, the old configure script would add the -Aa
option to the CFLAGS but that option produces an error on modern cc. The
error is about a missing argument. I could not find the new syntax nor the
purpose of that option but it was reported that removing the whole
condition was solving the problem.

Bug report here:

http://sourceforge.net/tracker/?func=detail&aid=3467463&group_id=68910&atid=522791

Speed up the second stage of the report generation

A lot of temporary files are produced after the log is split into several
files each containing the data of the users but those temporary files were
constantly being opened and closed for each line to be written into. It
was a small waste of time.

The new processing opens the temporary user's files once per user, process
the data of the corresponding user and generate the temporary file with
those data. The gain is roughly 10% on my data set.

Add a double check on the data at the user's level

There already was a check on the global data collected from the access log
to ensure no data was lost.

There is now a check on the amount of bytes download by the user and the
time elapsed. The detection of a failure is therefore more accurate and
make it easier to locate the leak.

Suppress a false warning

During the creation of the topusers report, if the the report consist
entirely of failed connection without any byte downloaded, the incache
and outcache are both zero and don't sum up to 100%. This is expected and
should not output a warning about corrupted data.

Report any error while reading the day summary file

Sarg generates a temporary file containing the downloaded bytes and the
elapsed time to produce the user's hourly report. While that temporary
file is read and processed into yet another temporary file, any error
found is reported and the processing is aborted instead of being silently
ignored. It ensure no data are missing from the reports.

Don't fail if report_type doesn't request for topusers

The topusers page is always generated and now serves as an index for the
other report pages instead of promoting the topsites pages as the main
page.

Update the build date

Fix the formating of the e-mail subject

The date in the subject line of the e-mail was produced with asctime.
But that function append a \n at the end of the date. The subject line
was therefore followed by a blank line as mailx was concerned and that
would mess with the header of the e-mail.

This patch render the subject line using strftime. It avoid the line
break and allow mailx to add additional headers from the command line.

Print a debug message when purging the temporary directory

The temporary directory used by sarg is purged before the report is
generated and it can take some time if a previous directory was left
from a previous run.

A debug message is printed to tell the user about the delay that's
occuring.

Fix the version number

This is version 2.3.3-pre1 and not 2.3.3 as mentioned in the
configuration script!

Update the building date

Fix the link to the URL in some reports

Some URL are stripped of the scheme while others are not. Yet they were
all printed using the same function that prefixed a http:// in front of
the URL even if the original scheme was stil present.

To make the links clickable without error in the report, the scheme may
be provided by the caller when it requests the printing of the URL in a
HTTM link.

The affected reports were the authentication failures, the denied
accesses and the downloaded files.

Thanks to budsz for reporting this problem.

Delete legacy file.

The content of squidguard_report.c ended up in report.c a long time ago.

Include the Danish translation

Thanks to Joe Hansen

Format the help of the configure script

The help messages of the configuration script is formated with
AS_HELP_STRING instead of using a hardcoded layout.

Support for gd, ldap and iconv can be disabled during configuration

The configuration script support the three command line switches
--without-gd, --without-ldap and --without-iconv to build sarg without
one of those external module.

Don't abort on squidGuard log errors

squidGuard sometime wraps the url in the log file and sarg used to abort
the whole report generation. This patch merely issue a warning but keep
producing the report.

The report contains a warning indicating how many lines were ignored
from the original log file.

Prepare version 2.3.3

Danish translation by Joe Hansen

Update the po files

Fix some errors introduced by the previous patch for windows

The changes made to make the realtime report compatible with windows
produced some errors on linux. This patch fixes those problems.

This fix also correctly sorts the entries by date and time whatever the
requested output date format is.

Fixes to compile sarg with mingw32

The mkstemp function isn't available on mingw32 so it is replaced by the less
safe mktemp/open calls.

mkstemp is used whenever possible. The weaker code is only used if mkstemp is
not available.

Remove one more unused variable

Remove unused variables

The variables were not detected as unused because they were assigned a value
but the value was never actually used.

Add missing \n on several debug messages

Some messages were missing the carriage return. The consequence was a
concatenation of the following message with the previous one potentially
letting it go unnoticed.

Add the xml manpage to the archive

That file is required to generate the manpage.

Rename the file to better suit its purpose

Update the PO files

Delete the unused user's directories

Some directories are created to store the user's data but if they end up
not being used, they are deleted along with their content. It saves
space on the disk.

A nicer fix would be not to create the directories and their content in
the first place but I'll keep that for the next release.

Add a script to prepare the archive to distribute

The shell script builds a list of the files to include in the archive,
build the archive and compute the checksums.

Update the po files

Add a note about sorttable.js to README

Now, sorttable.js is distributed along with sarg.

Don't link the download report to users not in the topusers list

If the topusers list is truncated, don't link the download page to the
missing users.

Don't process the details of the users that are not listed

When the topusers list is limited to some users, the details of those
users are not processed and the corresponding files are not generated.

Some files are still generated but the changes needed to remove those
files are too intrusives for this release.

Add links on the Sites & Users page to the user's page

The page listing the links visited and who visited them contains links to
jump directly to the page of each user provided they are on the top
users page.

Use a function to safely copy the strings

Some calls already used strncpy to copy strings but, now, we are using a
function to encapsulate the code and it is used to copy the arguments
passed to sarg by the user.

Fix some translations

The messages were produced through strings manipulations that are
incompatibles with the translation process.

Update ChangeLog

Update the po files

Display some messages to understand why sarg isn't doing something

One common class of questions from users is to ask why sarg isn't
producing some kind of report. Considering the number of configuration
parameters, it is not surprising that some users get lost.

To help the users help themselves, the -z command line option has been
enhanced to print messages indicating why sarg don't produce a report.

Protect a few buffers against overflows

Use snprintf instead of strcpy, strcat or sprintf.

Decouple the denied and authentication failure reports

Both reports were produced if only one of them was requested in the
report_type option and there were enough material to produce the other
report.

Fix a sorting issue in the DansGuardian log

Times with a one digit hour must be sorted before the times with two
digits. To fix this issue, a padding zero is prefixed to the hour if it
contains only one digit.

Thanks to Iain Lopata for the patch.

Fix the computing of the date to filter out in the dansguardian log

The date to filter out when reading a dansguardian log is computed
through a string manipulation that fails when the day is encoded over
one digit.

This patch should fix the computation of the date value.

Thanks to Iain Lopata for reporting this bug.

Check for an integer overflow in getword_atoll

Just to be sure we are reading correct data, the number build by
getword_atoll is checked for any overflow.

Fix the date range exclusion while reading the dansguardian log

The exclusion of the entries in the dansguardian log based on the
selected date range was not working.

Thanks to Iain Lopata for fixing this bug.

Write a note about the ignored items in the reports

Several parameters of sarg.conf can limit the number of lines written in the
reports but, so far, only the denied report was reporting how many entries were
left out.

Now, the authentication failure, the dansguardian and the redirector reports do
write the number of ignored lines.

That change should spare some headaches to the users trying to understand the
reports.

Thanks to Iain Lopata for reporting this problem.

Attempt to fix a FreeBSD IP address resolution

According to this post:

http://lists.freebsd.org/pipermail/freebsd-standards/2005-July/000948.html

Some old version of FreeBSD requires that the sa_len of the sockaddr_in
structure be initialized with the exact length passed to getnameinfo.

As Linux doesn't have the sa_len member, it is not initialized in sarg.
Therefore the IP address resolution fails when sarg is compiled on FreeBSD.

Update version number and release date

The ChangeLog is updated too and the po files have been rebuild for this
version.

Correctly append a suffix to the mangled temporary file name

When two users end up with the same mangled temporary file name, a suffix is
supposed to be added at the end of the new file name to make it distinct from the
previous one but the suffix was added one byte too far making it useless.

The result was that the log entries of two or more users were written into the
same file overwritting each other's data and corrupting the report.

Thanks to Mark Dennison for reporting this bug.

Replace tabs by spaces in the URL and the code

Any tab encountered in a field of the input log file will send sarg off track
as it uses a tab to delimit columns in its temporary files.

To prevent this problem, the URL and the HTML code found in the input log file
are processed to replace any tab character by a single space.

Don't abort if topusers is not in report_type

If topusers is not set in report_type, sarg fails with a message indicating
that it can't open sarg-users.

This is expected as the file is not created if the top users list is not
generated.

Thanks to Peter for reporting this bug.

Protect the columns sorting against missing or invalid dates

Sorttable.js fails on columns containing a date on the first row but not on
subsequent rows. This patch assumes a zero date for any missing or invalid date
sorting those rows at the top of the table.

Use locale aware comparison when sorting tables

Convert sorttable.js to UTF-8

Original script was in ISO8859-1.

Add the javascript to dynamically sort the tables in the reports

This is the original script written by Stuart Langridge and downloaded on
http://www.kryogenix.org/code/browser/sorttable/. It is included here as the
script contains some bugs and the author doesn't seem to be supporting his
script any more.

Update the po files for translation

Update the list of the sources files to include in the po files

The translation files did not include the replacement of squidguard_log.c
and squidguard_report.c by redirector.c.