Don't delete a file twice if -i is given on the command line

If sarg is ran with command line option -i, in some circunstances I have
yet to clarify, the ip file is not produced. In that case, the name of
the previously created file (whose name is still in the string buffer)
is deleted a second time. The result is a failure as the file doesn't
exists any more.

Thanks to Arnaud Florent for reporting this bug.

Add the pt_BR translation

Thanks to Mauricio Silveira.

Check for empty body in source code

Enable a warning in gcc to stop the compilation if an empty body is found after
some control structures. It should detect stray semi-colons at the end of the
control structures such as if, for, while,...

Disable LDAP referrals

LDAP referrals are disabled in ldapsearch. Let's see if that avoid the
Operations Error message produced when querying a MS AD server.

Take the result of the test for -Werror=format into account

Due to a copy and paste error, the non availability of -Werror=format in
the compiler was not taken into account.

Install the man page in man/man1

Thanks to Mauricio Silveira for providing the patch.

Fix a problem with the attributes passed to ldap_search

The attributes list passed to ldap_search must be terminated by a NULL
pointer. That wasn't the case in sarg and was likely responsible for a
segfault. It should be fixed now.

Support for IPv6 addresses in Dansguardian's log

The buffer to hold an IP address read from Dansguardian's log wasn't
big enough to contain an IPv6 address. The reading of such log was
failing.

Accept IPv6 addresses in squidGuard's log

The buffer to store a IP address from squidGuard's log was not big
enough to hold an IPv6 address. That resulted in a getword loop error.

Update the languages files

Settle for gettext version 0.18

According to the gettext manual, AM_GNU_GETTEXT_VERSION sets the
minimum gettext version required to build the package but it doesn't
look quite right as my system insist on using that exact version of
gettext to install the po files.

Fix escaping of user id in LDAP query

The wrong variable was used uninitialized when escaping the user id
for the LDAP search.

Accept any number of user id in the LDAP filter string

The previous code would only accept up to five %s in the LDAP search
string. It is sufficient in most cases but we can do better than that
and accept any number of occurences as long as the resulting filter
string can fit in the fixed size buffer hard coded in sarg.

Use non-deprecated libldap functions

The previously used LDAP functions are marked as deprecated by
libldap. This new code uses the new functions.

In addition, ldap_initialize set the default domain which is not set
by ldap_init and may improve the communication with ADServer.

The new code layout also properly sets the returned user name if the
ID is not found on the LDAP server. The returned user name is the same
as the ID.

Change gettext version to suit autopoint 0.17

Autopoint version 0.17 requires the gettext version to be rounded at
the revision number in AM_GETTEXT_VERSION. Therefore, the previous
minimum required version of 0.15.1 is rounded up to 0.16.

Have a more compatible Makefile ?

The patsubst function introduced in sarg 2.3 to avoid the duplicate
file name lists in Makefile.in is a GNU make extension that is not
supported by BSD make. Therefore sarg 2.3 fails to compile on that
system with the default make command.

According to the GNU make documentation, the variable substitution
should be more compatible with other implementations but it isn't
clear whether it is accepted by BSD make or not. Let's try it.

Lower the minimum gettext version requirement

We don't have to ask for the most recent version of gettext. A quick
search through gettext's sources showed that 0.15.1 is likely to
contain all the features we need.

In fact, all the features we need may be available since version 0.12
but I'm not sure about that.

Don't create final files when index is set to only

Some report files are unnecessary when indexonly is set. They are not
generated any more.

The temporary files that produces those files are still created.

Fix the creation of a report when index is set to only

Some unnecessary files are not created as they won't be used in the
report but too many of them are still created, especially the
temporary files. There is room for future improvements.

The index doesn't contain any link to the details of the user's
connections, visited sites, downloads and so on.

Don't try to produce the users's report if indexonly is set

The creation of the users's report was failing when indexonly was set
because the list of the users to process is taken from memory instead
of collecting it from the files in the output directory.

As no temporary file is created when indexonly is set, the output
directory is empty but as the users's name are still stored in memory,
sarg tried to read the non existant file and aborted.

Factorisation of the usage of indexonly

Several functions were called and then decided to return immediately
if indexonly was set. Most of those functions were called once or
twice but never from more than one place.

This change let the calling function decide if the call must be made
based on the value of indexonly which is always known.

The gain is mainly a reduction of the number of parameters passed to a
few functions. It also makes the code more readable as it is not
necessary to dig into the function to discover that it does nothing in
that case.

Set the correct year in the ChangeLog

Thanks to ungift-ed.

Split the input log file into several files

Each file contains one day worth of data. The name of the output file
is made of a user supplied prefix and the date corresponding to the
data in the file. The file may be written in a directory selected with
command line option -o.

Thanks to Mauricio Silveira.

Don't try to produce a parsed log if parsed_output_log is none

The correct value to set in parsed_output_log to disable the parsed
log is "no" but if the user enters "none" as is usual with the other
parameters, parsed_output_log is set to an empty string which is not
equivalent to "no". The creation of the parsed log would then proceed
and fail because the path is invalid.

Fix a warning about the type of sizeof as expected by printf

The size returned by sizeof should fit easily in a int. No need to use
the more standard %zu that may not be portable to other less
compatible systems.

Don't write at root of filesystem if no output directory is provided

The empty output_dir is accepted but it produces an error as the
output directory must be absolute. That restriction might be aleviated
in the future.

LDAP search error clarification

If the LDAP search fails, in addition to the error message, the
searched string and the base DN are reported.

Change year source files's header

Resolve IPv6 addresses when creating the datafile

There is an option to resolve the addresses of the visited web sites
into an IP address but the existing code was only capable of
converting host names to IPv4 addresses.

If getaddrinfo is available on the system, it is used to resolve the
host names.

Update the po files

Update the po files after removing totger.c from the list of the files
to translate. The po files contain the new messages.

Remove totger.c from the list of the files to translates

The list of the files to translate still contained totger.c. That
produced a build error.

Thanks to IgorA100 for finding this bug.

Fix the month numbers read from a sarg log

The month numbers parsed from a sarg log file name were in the range 1
to 12 but they must be in the range 0 to 11. This problem has been
fixed thanks to Denis Konchekov.

In addition, the numerical values of the days and months parsed from
the sarg log file name are more strictly validated.

Take the time into account when parsing sarg and isa logs

The time was ignored when parsing the sarg and isa logs. The result
was that all the access times were reported as occuring at 00:00.

Thanks to kodemi for reporting this bug.

Fix the parsing of the sarg log file name

The parsed log file created when parsed_output_log is set is using a
completly numerical date but, when the log file is read again, sarg
expects the month to be a name and therefore reject the file as having
an invalid name.

Thanks to kodemi for identifying the problem.

Move a constant call outside of the loop

Keep global statistics in memory and use them to check computation

The total statistics of the log files are kept in memory. They are
reused when necessary instead of parsing again sarg-general.

They are used to validate the processing of sarg-general during the
creation of the e-mail, the top sites and the top users.

Fix creation of the report's file name from the mangling of the user name

The directory and file name to store a user's report is produced by
replacing any character but the letters, digits and a few safe
characters from the user name. But that name mangling was not dealing
properly with consecutive invalid characters. The result was, at best,
a truncated file name (without any real consequence) or, at worst, an
invalid character left in the file name.

Fix empty user reports

If the user_report_limit was set, the limit was global to all the
reports due to an inadvertendly deleted line in the source code.

Check for the return code when deleting a file

Most of the calls to unlink are checked to report an error if the file
cannot be deleted.

The calls that are not checked are call where the file may not exists
and it might not be desirable to abort the process for such an error.

Check for the proper creation of a directory

Check the return code of mkdir and display an error message if the
directory could not be created.

Use internal user list instead of scanning the directory for users

Sarg used to scan the temporary directory for files to process and
extract the user name from the files. But, now, it is a waste of time
to read the directory as a list of the known users is alread in
memory.

This change also keep away stray files left by the crash of a previous
run.

Don't rebuild sarg.1 when making all

The building of the manpage requires the xsl stylesheets that are not
located at the same place on every system. Moreover, it is not
necessary to rebuild it as it can be shipped with the sources.
Therefore, "make all" only rebuild sarg without making sarg.1.

Fix indentation of the code

The replacement of spaces by tabs to indent the code increased the
missalignement of the code where the indentation was already wrong.

Link the user downloading the file to the corresponding user page

A similar link was available for the denied accesses but not for the
download page.

Convert some variables in Makefile to lowercase

The Makefile variables BINDIR, SYSCONFDIR, MANDIR and MAN1DIR are now
written in lowercase as it is the standard way to write such directory
variables with automake.

This change allows the not too uncommon path rewritting during
installation such as "make install bindir=/tmp".

Store the man page in $(mandir)/man1

The manpage was stored one directory level too high.

Thanks to kodemi for reporting this.

Add option to hide index column

The directory size column of the index sorted by date can be hidden
with the new index_fields option in sarg.conf.

This option is added because it was reported that the computing of the
directory size may be very slow. See the feature request:

http://sourceforge.net/tracker/index.php?func=detail&aid=3141177&group_id=68910&atid=522794

Reindent code with tabs instead of space

This is useless except for me as I use tabs with other projects and
have to reconfigure my editor each time I switch to sarg.

Delete unused files from the directory containing the user report

When the user_report_limit is set and the site_user_time_date report
is requested, the supernumerary time files were not deleted. They were
wasting a lot of disk space.

Now, only the time files that are linked to the user report are kept.

Thanks to alf-man.

Remove duplicate function

Add an option to sort the topsites by time

This option is not identical to the dynamic sort as it selects the top
sites from the entire list and only displays the requested number of
entries. Then the dynamic sort only offers to sort the truncated list.

Fix a problem in the parsing of the sort option in sarg.conf

The sort criterion of any sort parameter in sarg.conf was not stored
in the internal variable but or'ed with the default value. Therefore,
the sort was not performed if the selected value was tested after the
default value in the code.

Replace the IP address by the user ID in the e-mail report

Clarify the description of sorttable in sarg.conf

Change the order of the authors in the man page

The first author in sarg_manpage.xml should be the current maintainer
of the document according to the generated groff file.

Upgrade to gettext 0.18

Thanks to igora100 for working out the procedure.

Add --lastlog and --keeplogs to the command line options

Those two options supersede the lastlog option from sarg.conf. It is
useful to have them on the command line to change the number of
reports in the daily, weekly or monthly directories.

Generate the manpage from a docbook document

sarg.1 is now produced by processing a xml document. The docbook
document is easier to read and maintain.

The documentation was revised in the process.

Change the mouse cursor over a sortable header

Thanks to igora100 for the suggestion.

Dynamically sort the millisecond columns

The time columns containing the millisecond could not be sorted
properly if formatted with a dot as the separator.

Thanks to igora100 for pointing out the problem.

Fix an unitialized string

The debug message reporting the current value of option -t was
displaying garbage due to an uninitialized variable.

Improve javascript inclusion in HTML files

The javascript to sort the table is not always included in every
report. It is now loaded only when necessary.

The path to the javascript to include in the HTML report may be
relative to the output_dir.

The code allows for the future use of more javascripts to be loaded on
demand by some pages.

Credit the person that suggested the use of sorttable

Add dynamic sorting of some tables

Allow the use of a javascript script to dynamically sort some tables.

The code is tailored for sorttable.js by Stuart Langridge found at
http://www.kryogenix.org/code/browser/sorttable/.

Remove trailing spaces in sarg.conf

Change version to 2.3.2-pre1

Last line of siteuser page is not the same as the previous ones

The last line of the siteuser.html report page doesn't contain a link
to block the site and doesn't show the bytes column.

This patch makes it identical to the other lines in the report.

Optimize time range filtering

Filtering of the log entries based on a time or time range passed with
command line option -t is done using numerical values instead of
strings.

Fix uninitialized variable when double checking the top users

The configuration option --enable-doublecheck was compiling in an
invalid piece of code that could potentially use an uninitialized
variable when building the list of the top users.

Change version number to 2.3.1.

Add the new messages for translation in the po files.

Escape the LDAP search string instead of truncating it.

A few characters must be escaped in a LDAP search string. Sarg used to
truncate the user login name at the first "dubious" character found in
the string and the list of "dubious" character was much longer than
necessary. Instead of truncating the user login, this patch escape the
characters.

Report an error if the tail command cannot read the last lines of the log file when creating a realtime report.
Surrond the log file name with quotes in the command that read the trailing lines of the log file when creating a realtime report.

Update the po files

Initialize the variables that are used to build the date range when command line option -d is used.
It should prevent a segfault if the complex nesting of "if" fails to set a variable.
Thanks to ItalianPenguin for reporting this bug.

Update the ChangeLog.

Report an error if the requested date range is invalid. Previous versions would silently ignore the date range and take whatever was in the log.

Don't delete the temporary directory after sending the e-mail as it is deleted later by the program and it prevent the purging routine from working properly.

Remove the quotes around the MailUtility command to allow the user to call a script or to add more options to the command.
The description of the mail_utility configuration option has been amended accordingly.

Fix the reading of sarg-general when e-mailing the report.

Don't use string comparison to sort the top users, top sites and user lists.
Allow for the translation of the sort criterion and order of the top users, top sites and user lists.

The unauthenticated users were always ignored in the realtime report.

Add a configuration option to report any error in the sum of the in-cache and out-cache columns of the reports. The sum must be 100.00%.
The total column is also checked for any discrepency.
The check is activated at compile time as it will likely be used by me alone.

Don't save the unnecessary columns in the intermediary file that is sorted to produce the report with the IP addresses from which the user connected to the internet. It should reduce the required amount of free disk space to run sarg.

Fix the reporting of the IP addresses from which the user connected to the internet. The date column was limited to 8 characters which is too short for a date formated as dd/mm/yyyy.

The two sarg.conf options "hours" and "weekdays" lacked a return statement after processing the option. That produced an error stating that the options were invalid but was not preventing sarg from working just fine.

Add the new messages to the PO files.

Add the doxygen documentation of the denied.c file.

Change the release date.

Show how many denied accesses have been ignored from the denied report.

Report a warning if the temporary file cannot be deleted.

Put a HTML link on the user's label between the page of the denied accesses and the user page.

Completly disable the progress indicator when reading a compressed log file.

Use the directory configured by the user for the files to put in --localedir.

Report an error if the output directory is a subdirectory of the temporary directory.

Be more consistent with the use of the temporary directory (i.e. always use /tmp/sarg instead of a mix of /tmp and /tmp/sarg).

Report the correct file name in the error message.

Don't abort if "onload" or "script" is found in the user agent string.

Update to version 2.3

Set the right date in the ChangeLog.
Don't set the final 2.3.1 version right now.