Don't use strcmp to check strings one or zero characters long

As a side effect, the date format is stored in a single character instead
of a string and df is now the only variable used globally to set the
date format.

Don't show the input log reading percentage

The show_read_percent option shows the percent of the input log file
reading independently of show_read_statistics. It allows for a progress
indicator without having to read the input log file twice.

Merge remote branch 'origin/v2.3'

Conflicts:
CMakeLists.txt
configure.in
po/zh_CN.po

Switch to version 2.3.3-pre3

Too bad I forgot to update the po files and set a git tag.

Check the working directory before preparing the archive

The script test for the usual things I always forget:

1) Update the po files.
2) Commit the changes.
3) Set a git tag to find the version back.

Update the po files

Really update the French translation

This is the real file from the Translation Project.

Update French translation

Format the hour in a translator friendly way

Translators can have full control over the hour format in the hourly
report.

Fix an error message

The error message reporting an invalid time with command line argument -t
said the time must be MM:SS instead of HH:MM.

Merge remote branch 'origin/v2.3'

Conflicts:
po/bg.po
po/ca.po
po/cs.po
po/de.po
po/el.po
po/es.po
po/hu.po
po/id.po
po/it.po
po/ja.po
po/lv.po
po/nl.po
po/pl.po
po/pt.po
po/ro.po
po/ru.po
po/sk.po
po/sr.po
po/tr.po
po/uk.po
po/zh_CN.po

Fix column alignment in usage message

Remove the old language files

These files were used in versions prior to 2.3. They are largely outdated.

They have been replaced by the gettext po files.

Update the po files for the latest source

Clearly report an error in the months list

Tell the user to report the bug to the translator.

Add a missing \n at the end of a message

Update the usage note included in the source code

The usage notice is displayed with sarg --help.

The first column is wider. The argument that's still too long is wrapped on
the next line.

The donation request is removed as I don't know if it still possible to
make a donation and, if it is possible, I don't know where that money goes.

Put quotes around the IP address reported in the messages

It makes the message easier to read if the parsing went really wrong and
garbage is in the IP address.

Fix the translators comment

A stray * was in the comment due to the formatting of the comment in the
source code.

Update the ChangeLog

Update the release date

Sort the top sites report by number of users connecting the sites

The top sites report can be sorted according to the number of users
connecting to the visited sites. It shows how popular sites are within your
network.

Add a few comments for the translators

Add a column to the top sites report

The new column contains the number of users who visited each site amongst
the most visited sites.

Merge remote branch 'origin/v2.3'

Conflicts:
authfail.c
denied.c
log.c
po/pl.po
report.c

Merge branch 'v2.3' of ssh://sarg.git.sourceforge.net/gitroot/sarg/sarg into v2.3

Update the release date

Don't report an error when deleting the denied temporary file

The file can be deleted at two places. If the first call delete it, the
second call must not report an error.

Rewrite two messages to have one unique entry to translate

Replace a lower case by a upper case to merge two messages into one in the
po files.

Delete the sorted smartfilter temporary file

Store the smartfilter log temporary file in the temporary directory

I couldn't test this change as I don't have any log file with smartfilter
tags.

Don't blindly delete /tmp/sarg

If sarg is configured with a wrong /tmp path or the path given points to a
directory the user doesn't intent to use as a temporary directory, we must
not delete it's content (think about a link going to /usr/bin).

To protect against that situation, sarg only deletes its own files and
after making sure it only contains files created by sarg.

Remove commented out code

Hopefully fix the smart filter

I can't test it as I don't have any sample log with smartfilter enabled.

Remove the message confirming that sarg is aborting

It is obvious sarg aborts after reporting an error. There is no need to
display one more message telling so.

Use the same message to report an error while deleting a file

No need to burden the translators with multiple messages identical but for
a few characters.

Keep temporary files in place for inspection

Add a command line option and a configuration tag to leave the temporary
files in place when sarg terminates.

The feature is for debugging purpose. It cannot be used for production.

A temporary file could be left in place by sarg

During the creation of the user's reports, if the report showing the details
by date and hour is not requested, the unnecessary file is deleted but it
overwrite the buffer containing the name of another temporary file to
delete. As the file name is overwritten, it cannot be deleted when the
function completes.

Limit the maximum length of a text line

To prevent sarg from filling up the memory and waking up the OOM killer
while reading an invalid or corrupted log file, the longest line sarg
will accept before aborting is 10MB long. The limit is arbitrary.

Update the messages when an error is detected while reading a line

The module to read long text lines may read any file. It is not restricted
to reading the input log file. Therefore, the error messages must not claim
that the error is in the input log file.

Include the Polish translation

It is a partial translation. 285 messages are translated. 300 are
untranslated.

Output getword error messages on stderr

That change was first made on branch v2.3 and merged with v2.4. The new
functions introduced in version 2.4 have been changed to reflect the same
change.

Merge remote branch 'origin/v2.3'

Write getword errors on stderr

Errors detected by any getword function is written using debuga (on stderr)
instead of stdout. It makes the redirection easier.

Remove a duplicate message from the po files

The duplicate message occurred after a ill-advised merge between versions
of sarg.

It prevented the po files from being compiled.

Make a module out of the authentication failures report

The authentication failures report is similar to the denied accesses report
and was changed to reflect the same changes.

Delete the unsorted temporary file of the denied report

The wrong file was deleted.

Improvements in the denied report code

The sorted file name doesn't have to be global.

We make sure the file handle is closed even if the caller doesn't close it
by calling denied_close().

Merge remote branch 'origin/v2.3'

Conflicts:
CMakeLists.txt
configure.in
log.c

Denied report structured as a module

The denied report is produced by a module taking care of (almost) every
aspect of the report creation by itself.

The only point still taken into account outside of the module is the
DataFile variable that disable the denied report.

Store the URL in the structure

The structure is to be shared with several modules.

As a side effect, the denied and authentication failure reports now display
the full URL even when the short URL is requested. It has to be defined
whether this is desirable or not.

Store the HTTP code inside the structure

Continuation of the previous commits.

Store the elapsed time and the number of bytes into the structure

Two more variables are included in the structure to be shared among
modules.

Store the user in the structure

Another step to use a structure to be passed around between modules.

Remove old commented out code

Those lines of code had been kept around for information.

Store the IP address in a structure

Yet another log variable stored in the structure to be exchanged with the
modules to read the input log files.

Store the date and time in a structure

The purpose is to store all the fields in a structure that will be
exchanged with modules to read many more type of log files.

Reduce the dependency of the main code to the denied report

Part of the code producing the denied report is changed to become a module
and centralize every aspect of the denied report generation.

Move the log reading to a separate source file

First stage to factorize the huge main function.

Add some missing files to the archive

Three files were not released along with the source code.

Update version number and build date

Allow backslash as the domain/user separator

For NTLM users, the domain and user names may be separated by a + or a \\
as pointed out by mrac33:
(http://sourceforge.net/tracker/index.php?func=detail&aid=3532108&group_id=68910&atid=522791)

For compatibility reasons, the _ separator is still retained.

Thanks to mrac33 for reporting and fixing this bug.

Fix the documentation for ntlm_user_format

The documentation in sarg.conf for ntlm_user_format was wrong. The correct
option is "user" and not "username".

Thanks to mrac33 for reporting and fixing this bug.

Merge commit 'debeace19822478022d24437a'

Conflicts:
po/fr.po
po/zh_CN.po

Merge commit '24eb624ea44bf4c82c602ce'

Conflicts:
configure.in

Merge commit 'd5db6e96506c29e73b39513a'

Conflicts:
CMakeLists.txt
configure.in
po/fr.po
po/zh_CN.po

Merge commit 'c1cb6a2978a9c3b11d87f60ce4'

Conflicts:
CMakeLists.txt
configure.in
po/fr.po
po/zh_CN.po

Merge commit '6d4c97986f54adcfd0c7ec'

Conflicts:
po/fr.po
po/zh_CN.po

Merge commit '3be2705a12ad7ccdfe7a9e9b1'

Merge commit '6fca3ad9aa82eb4efa839f4'

Conflicts:
CMakeLists.txt
configure.in

Merge commit 'bf992832205027cdde8e00f9eef6'

Conflicts:
CMakeLists.txt
configure.in
po/bg.po
po/ca.po
po/cs.po
po/de.po
po/el.po
po/es.po
po/fr.po
po/hu.po
po/id.po
po/it.po
po/ja.po
po/lv.po
po/nl.po
po/pl.po
po/pt.po
po/ro.po
po/ru.po
po/sk.po
po/sr.po
po/tr.po
po/uk.po
po/zh_CN.po

Merge commit '04a01ed3a074b66'

Conflicts:
CMakeLists.txt
include/info.h
po/bg.po
po/ca.po
po/cs.po
po/de.po
po/el.po
po/es.po
po/fr.po
po/hu.po
po/id.po
po/it.po
po/ja.po
po/lv.po
po/nl.po
po/pl.po
po/pt.po
po/ro.po
po/ru.po
po/sk.po
po/sr.po
po/tr.po
po/uk.po
po/zh_CN.po
topuser.c

Merge commit 'f209e4f043007b3bb6'

Conflicts:
ChangeLog
email.c
html.c
po/bg.po
po/ca.po
po/cs.po
po/de.po
po/el.po
po/es.po
po/fr.po
po/hu.po
po/id.po
po/it.po
po/ja.po
po/lv.po
po/nl.po
po/pl.po
po/pt.po
po/ro.po
po/ru.po
po/sk.po
po/sr.po
po/tr.po
po/uk.po
po/zh_CN.po

Merge commit 'd82e81174c6b544f0718736c5'

Conflicts:
CMakeLists.txt
ChangeLog
configure.in
include/info.h
useragent.c

Update dates in the manpage

Update po files

Update help

The manpage is up to date.

So is the help displayed by sarg with command line options -h or --help.

Add --help to the command line to display the help

That syntax is more user friendly.

Old -h is still accepted.

Keep the excluded files out of the archive

The tar.gz archive created to release the sources included the ignored
files if they were located in a subdirectory.

Update the translation files

Update the content of the po files for the translators.

Add 3 missing files to gettext

The content of three files was not processed by gettext and was therefore
untranslated.

Update ChangeLog

Include some previously overlooked changes.

Fix a printf-like format specifier

Reminder for myself: a sizeof must be cast to a int and formated with %d.

IP address resolution using one external program

It is now possible to resolve an IP address using an external program.
Only one external program can be configured but it may do anything
including attempting several strategies to resolve the IP address.

The module may be chained after the standard dns module to get the name of
a computer not registered with the DNS.

Executing an external program is exceedingly slow so it is best to try
the DNS first!

Fix compilation error on Windows

The variable h_errno is an alias to WSAGetLastError() which must not be
declared as was to be done on Linux.

Update the po files with the new messages

Include .gitignore in the repository

It contains the build files to exclude from git.

Update the release date embedded in the program

This is the release date printed in the report and in the output in verbose
mode.

Take the port number into account when processing IPv4 addresses

The port number is ignored from IPv4 addresses read from the log file. It
allows to compare IPv4 addresses against the host exclusion list.

Prior to that change, it was not possible to filter out IPv4 ranges if a
port number was reported in the log file as the address was not recognized
as an IPv4 address and therefore was not compared to the correct exclusion
list.

Thanks to Mark Easter for reporting this bug.

Don't process the download report if no entry was written in the log file

If the download.int_unsort file doesn't exist, the sort command fails and sarg
abort the process.

With this patch, it simply continues the processing optionaly printing an
information message.

Now, it is an error if the sorted file doesn't exists. In previous versions, it
was just a warning.

Display the offending regular expression if an error is detected

If a regular expression is invalid, the actual regular expression is displayed
in the error message in addition to the error message from libpcre. The user
will know what regular expression failed.

Deal with url without scheme or path in a squidGuard log

Some url in a squidGuard log don't start with a scheme:// and may not
even contain a path. Those bare minimum url are not parsed correctly
by the redirector_log_format suggested in sarg.conf.

To parse those log entries correctly, we grab the whole url in the
buffer and strip it down to keep the host name.

Accept subpatterns in the host alias

Both the sed (\1) and perl ($1) subpatterns are accepted. Only 9
subpatterns are taken into account.

Avoid empty file name for the user's report file

If an empty user name creeps up to the name manufacturing function, the name
generated to store the user's files is empty and it leads to the deletion of
the whole report directory during the process. The visible results is that sarg
ends up with an error because its output directory is missing.

This patch makes sure no empty file name is used. It is still necessary to
avoid empty user names in the first place.

Add a cache to store the resolved IP addresses

The cache is based on a dichotomic search in an array. I plan to compare
the speed of the dichotomic search with the btree.

Make a module out of the DNS IP resolving

The code was changed to accommodate module names in resolve_ip instead of
just yes or no. The named modules are tried in sequence until one returns
a positive result.

Currently, only the dns module is available.

Prepare the ip resolving for other resolving methods

The ip resolving is moved into a distinct function that will be called
based on the configured options.

Report the full downloaded url again

Due to a bug, the download report only showed the host name instead of the
full url as it used to do prior to version 2.3.2.

Thanks to Kryol for reporting that bug.

Merge branch 'v2.3' of ssh://sarg.git.sourceforge.net/gitroot/sarg/sarg into v2.3

Update the ChangeLog

Record the more prominent changes.