Make a translator friendly message out of pieced together words

The "generated by" message written at the page bottom was made out of
words assembled together during the page generation. It was not possible
to translate that message.

Include Danish translation

Make one function to read an input log

This is the first step to read files using wildcards in the
configuration file.

Fix the month extracted from a common log format

The month number was one value short of the right value due to one
supernumerary subtraction

Be more thorough when ensuring a file is correctly written

The return status of every written file is checked when the file is closed.
Any incorrectly written file should be detected early and a proper message
should be reported.

Overwrite any existing dansguardian temporary file

When sarg parses a dansguardian log, the temporary file to store the
parsed value is overwritten if it exists instead of appending the entries
at the end of any left over from a previous run.

Explain the reason when a file cannot be opened

The system error string is written in the error message when a file cannot
be opened. It should help in diagnosing the reason for a failure.

Report the IP address from which the user visited some site

The IP address makes sense in that report to detect users visiting sites
from another computer but still identified by their credential.

Remove a message about the redirector log that can't be deleted

If no redirector log was provided, a message was displayed in debug mode to
inform the user about a temporary file that can't be deleted. That message
was unnecessary and misleading. It is now displayed only when appropriate.

Download report encapsulated in a module

Module build upon the model of the denied and authfail reports.

Add a safety to prevent the deletion of files that haven't been created

There was a path in the source code where sarg could try to delete the
temporary unsorted files of the denied and authfail reports without
checking that the file names were not empty.

The functions where the guard was added are not supposed to be called if
no reports are to be generated but that check relies on the caller. If the
caller fails and call the function to generate the reports, it will try
to delete a file whose name is empty.

Don't delete the denied and authfail temporary files if requested

The temporary unsorted files containing the denied and authfail could be
deleted when the user had requested to keep the temporary files.

Autoconfigure the XSL stylesheets to produce the man page

The configure script detects Debian and Gentoo current XSL stylesheets
paths and use the appropriate one when generating the man page.

Add the documentation for the --statistics parameter

Documentation added to the man page and the usage page displayed by sarg.

Compute and display execution statistics

The total run time is displayed along with the number of lines read in the
input logs, the number of records kept and the number of users.

The time it takes to read the input log files and the time it takes to
process the records are computed.

Tell in sarg.conf that access_log can be repeated

The possibility of repeating access_log to read more than one log file was
not documented. It is now documented in sarg.conf.

Change version number to 2.4.0-pre1

The last digit will serve as a bug fix counter.

The build date is up to date.

Don't trash the period when reading multiple log files

Reading multiple input log files overwrite the period due to the
processing made before reading a new file in readlog_sarg.c.

This fix make sure the period is as big as the total period of all the logs
read by sarg. It doesn't take into account gaps in the logs.

Fix the filtering out of the log based on a date

The date range was ignored and, in the worst case, no entries were
reported.

Don't keep the % in the URL when converted into a file name

When a file name is manufactured from a URL, the percent sign is removed to
prevent the web server or the browser from requesting a file with a % in
it.

The server or the browser would decode the percent sign if the two
subsequent bytes happened to be a valid hexadecimal byte and would request
the wrong file.

Remove trailing spaces in every source file

Fix the reported year in the extended log

The year was not properly encoded in the internal structure.

Keep reading the log files even with a small number of errors

Sarg tolerates a few errors in the input log files. The number of errors
can be configured. Sarg can stop on some consecutive errors and on the
total number of errors.

Allow an empty data size in a common log

Any column of the common log format may be - to denote missing or
no applicable data. In particular, apache writes a - when the URL is a
redirection. That case is taken into account with this patch.

Accept common log files without extension column

The sample common log file used to test the program contained additional
columns. The standard common log format doesn't have those column. Sarg
failed to parse the standard format due to the lack of any supernumerary
column.

Remove trailing spaces

Change the structure to search for the current log format

Rewrite the loop to scan through the known log formats to make it more
readable and let the compiler optimize it.

Ignore the sarg log file name until the format is confirmed

The validity of the sarg input log file must be delayed until the format
header is detected or the filter will fail when parsing any other log
format.

Purge the old log file decoding code

The legacy code to read the log files is gone for good.

Extract the covered period from the sarg log file

A sarg log file is named after the covered date range. The range is
extracted and used in the report.

Decode extended log formats

Microsoft ISA produces such a log. This change is supposed to handle more
general cases than the previous routine.

The current code successfully decode the one line long log I have to test
the code. The decoding procedure may not be compatible with *any*
compliant extended log implementation. Sample logs are necessary to improve
the code.

Fix a crash when no log formats are found suitable

If no log formats can decode a line from the input log, an index would
exceed its bound and produce a crash.

Editor removed trailing spaces

No change in the program. Only those files are affected. Other files may
get changed in the future.

Validate the entry time from the input log

The date and time found in the input log file are validated. Moreover,
additional fields such as the week day are computed.

Store the entry time in a structure instead of a pointer

Instead of requiring that the module keeps track of the entry time on
behalf of the main loop, the entry time is stored in the entry structure.
Therefore, there is no need to keep a static variable inside the module
and pass its pointer to the caller.

Modular reading of some input log formats

Currently supported log formats are squid, common and sarg.

Remove the project number from doxygen documentation

Ignore Doxygen files (hmtl and log)

Don't use strcmp to check strings one or zero characters long

As a side effect, the date format is stored in a single character instead
of a string and df is now the only variable used globally to set the
date format.

Don't show the input log reading percentage

The show_read_percent option shows the percent of the input log file
reading independently of show_read_statistics. It allows for a progress
indicator without having to read the input log file twice.

Merge remote branch 'origin/v2.3'

Conflicts:
CMakeLists.txt
configure.in
po/zh_CN.po

Switch to version 2.3.3-pre3

Too bad I forgot to update the po files and set a git tag.

Check the working directory before preparing the archive

The script test for the usual things I always forget:

1) Update the po files.
2) Commit the changes.
3) Set a git tag to find the version back.

Update the po files

Really update the French translation

This is the real file from the Translation Project.

Update French translation

Format the hour in a translator friendly way

Translators can have full control over the hour format in the hourly
report.

Fix an error message

The error message reporting an invalid time with command line argument -t
said the time must be MM:SS instead of HH:MM.

Merge remote branch 'origin/v2.3'

Conflicts:
po/bg.po
po/ca.po
po/cs.po
po/de.po
po/el.po
po/es.po
po/hu.po
po/id.po
po/it.po
po/ja.po
po/lv.po
po/nl.po
po/pl.po
po/pt.po
po/ro.po
po/ru.po
po/sk.po
po/sr.po
po/tr.po
po/uk.po
po/zh_CN.po

Fix column alignment in usage message

Remove the old language files

These files were used in versions prior to 2.3. They are largely outdated.

They have been replaced by the gettext po files.

Update the po files for the latest source

Clearly report an error in the months list

Tell the user to report the bug to the translator.

Add a missing \n at the end of a message

Update the usage note included in the source code

The usage notice is displayed with sarg --help.

The first column is wider. The argument that's still too long is wrapped on
the next line.

The donation request is removed as I don't know if it still possible to
make a donation and, if it is possible, I don't know where that money goes.

Put quotes around the IP address reported in the messages

It makes the message easier to read if the parsing went really wrong and
garbage is in the IP address.

Fix the translators comment

A stray * was in the comment due to the formatting of the comment in the
source code.

Update the ChangeLog

Update the release date

Sort the top sites report by number of users connecting the sites

The top sites report can be sorted according to the number of users
connecting to the visited sites. It shows how popular sites are within your
network.

Add a few comments for the translators

Add a column to the top sites report

The new column contains the number of users who visited each site amongst
the most visited sites.

Merge remote branch 'origin/v2.3'

Conflicts:
authfail.c
denied.c
log.c
po/pl.po
report.c

Merge branch 'v2.3' of ssh://sarg.git.sourceforge.net/gitroot/sarg/sarg into v2.3

Update the release date

Don't report an error when deleting the denied temporary file

The file can be deleted at two places. If the first call delete it, the
second call must not report an error.

Rewrite two messages to have one unique entry to translate

Replace a lower case by a upper case to merge two messages into one in the
po files.

Delete the sorted smartfilter temporary file

Store the smartfilter log temporary file in the temporary directory

I couldn't test this change as I don't have any log file with smartfilter
tags.

Don't blindly delete /tmp/sarg

If sarg is configured with a wrong /tmp path or the path given points to a
directory the user doesn't intent to use as a temporary directory, we must
not delete it's content (think about a link going to /usr/bin).

To protect against that situation, sarg only deletes its own files and
after making sure it only contains files created by sarg.

Remove commented out code

Hopefully fix the smart filter

I can't test it as I don't have any sample log with smartfilter enabled.

Remove the message confirming that sarg is aborting

It is obvious sarg aborts after reporting an error. There is no need to
display one more message telling so.

Use the same message to report an error while deleting a file

No need to burden the translators with multiple messages identical but for
a few characters.

Keep temporary files in place for inspection

Add a command line option and a configuration tag to leave the temporary
files in place when sarg terminates.

The feature is for debugging purpose. It cannot be used for production.

A temporary file could be left in place by sarg

During the creation of the user's reports, if the report showing the details
by date and hour is not requested, the unnecessary file is deleted but it
overwrite the buffer containing the name of another temporary file to
delete. As the file name is overwritten, it cannot be deleted when the
function completes.

Limit the maximum length of a text line

To prevent sarg from filling up the memory and waking up the OOM killer
while reading an invalid or corrupted log file, the longest line sarg
will accept before aborting is 10MB long. The limit is arbitrary.

Update the messages when an error is detected while reading a line

The module to read long text lines may read any file. It is not restricted
to reading the input log file. Therefore, the error messages must not claim
that the error is in the input log file.

Include the Polish translation

It is a partial translation. 285 messages are translated. 300 are
untranslated.

Output getword error messages on stderr

That change was first made on branch v2.3 and merged with v2.4. The new
functions introduced in version 2.4 have been changed to reflect the same
change.

Merge remote branch 'origin/v2.3'

Write getword errors on stderr

Errors detected by any getword function is written using debuga (on stderr)
instead of stdout. It makes the redirection easier.

Remove a duplicate message from the po files

The duplicate message occurred after a ill-advised merge between versions
of sarg.

It prevented the po files from being compiled.

Make a module out of the authentication failures report

The authentication failures report is similar to the denied accesses report
and was changed to reflect the same changes.

Delete the unsorted temporary file of the denied report

The wrong file was deleted.

Improvements in the denied report code

The sorted file name doesn't have to be global.

We make sure the file handle is closed even if the caller doesn't close it
by calling denied_close().

Merge remote branch 'origin/v2.3'

Conflicts:
CMakeLists.txt
configure.in
log.c

Denied report structured as a module

The denied report is produced by a module taking care of (almost) every
aspect of the report creation by itself.

The only point still taken into account outside of the module is the
DataFile variable that disable the denied report.

Store the URL in the structure

The structure is to be shared with several modules.

As a side effect, the denied and authentication failure reports now display
the full URL even when the short URL is requested. It has to be defined
whether this is desirable or not.

Store the HTTP code inside the structure

Continuation of the previous commits.

Store the elapsed time and the number of bytes into the structure

Two more variables are included in the structure to be shared among
modules.

Store the user in the structure

Another step to use a structure to be passed around between modules.

Remove old commented out code

Those lines of code had been kept around for information.

Store the IP address in a structure

Yet another log variable stored in the structure to be exchanged with the
modules to read the input log files.

Store the date and time in a structure

The purpose is to store all the fields in a structure that will be
exchanged with modules to read many more type of log files.

Reduce the dependency of the main code to the denied report

Part of the code producing the denied report is changed to become a module
and centralize every aspect of the denied report generation.

Move the log reading to a separate source file

First stage to factorize the huge main function.

Add some missing files to the archive

Three files were not released along with the source code.

Update version number and build date

Allow backslash as the domain/user separator

For NTLM users, the domain and user names may be separated by a + or a \\
as pointed out by mrac33:
(http://sourceforge.net/tracker/index.php?func=detail&aid=3532108&group_id=68910&atid=522791)

For compatibility reasons, the _ separator is still retained.

Thanks to mrac33 for reporting and fixing this bug.