added some missing parts to search_egines.pm

added some missing parts to search_egines.pm to bring it inline with live release of awstats 7.5 ( plus my additions of google countries and others)

minor robot corrections. added more search engine yahoo detection.

A few minor robots corrections and added more yahoo search engine detection with better catchalls.
Also added better google translate detection but maybe only useful for running against old data as google seems to now use translate.googleusercontent.com as its referer for all countries trnslations and put the actual calling site into url param.

Alternative robots.pm and search_engines.pm

both files have many additions and corrections. Especially search_engines.pm which has had all google countries added to it and split into:
google country name
google country name images
google country name catchall (for any subdomains we don't know about yet)

Link in https

Merge pull request #29 from shlomif/shlomif-correct-typos

Correct typos and grammar found by codespell/etc.

Merge pull request #31 from bcogit/patch-1

NEW Cut port from server name to keep only ip

Add link of project helping awstats

Update awstats.pl

I have log (from AWS load balancer) that have an ip syntaxe with port (ex: 54.32.12.1:60321)

The change is only to cut the port and only keep the ip, so the geoip tools could work correctly then.

I'm not a perl expert, but it work on my installation with my data.

Correct typos and grammar found by codespell/etc.

Some stuff was not corrected yet.

Update doc

Management tag already exists

FIX #24

Update makepack to push tag

Update changelog

NEW Add option DynamicDNSLookup in doc #26

More complete description

Merge pull request #26 from mfilocha/DynamicDNSUpdate

Add Dynamic DNS Lookup

Merge pull request #25 from sathieu/patch-1

Don't try to traverse directory with a command

Merge branch 'develop' of git@github.com:eldy/awstats.git into develop

git push origin developMerge branch 'avian2-fix-ms-edge-detection' into develop

Fix edge support #22

Merge pull request #20 from hexa2k9/http-status-10x

Add HTTP 10x Status

7.5

Increase default MaxRowsInHTMLOutput

Change version

Add Dynamic DNS Lookup

Don't try to traverse directory with a command

Fix bad link

Fix bad link

Remove bad links into doc.

Prepare 7.5

NEW Support detection of edge

Update doc

Update doc

Update doc

Clean code from a not used var

Update robot and search_engine signatures

Update version

NEW Support for edge

Add HTTP 10x Status

Update revision

Add edge in browsers

Update doc

Add keyword in exclude key to find keywords

Update bot and search engine files

Update README.md

Fix facebook link

Merge pull request #13 from sjwebb/patch-1

Fixed spelling mistake

Fixed spelling mistake

Merge pull request #12 from fredddii/patch-2

FIX Border and display changed to avoid depreacted warning

Border and display

Deleted border from <img> as it causes a deprecated error when validating, and added style="display:none;" to the tag list.

Merge pull request #11 from artplastika/develop

Fixed grammatical error in Russian translation

Fixed grammatical error in Russian translation

Merge pull request #7 from csware/ipv6-use-right-prefix

FIX Use ::ffff: prefix for IPv4 addresses

Merge pull request #6 from csware/missing-package-png

FIX Add missing package.png

Merge pull request #4 from csware/mime-fonts

NEW Add eot/woff/woff2 to mime.pm as fonts

Merge pull request #2 from teonsystems/enhancement/logformat-iso-tz-updates

NEW LogFormat time5 updates

Merge pull request #1 from teonsystems/feature/logformat-literal-strings-support

NEW LogFormat: add partial support for literal strings in logfiles. Example status=%code

Merge pull request #3 from csware/division-by-zero

FIX Prevent division by zero

Merge pull request #5 from csware/image-svgz

Add .svgz to image list

Start 7.5

Start 7.5

Prepare 7.5

Add groups.google. to say it is not a search engine

Use ::ffff: prefix for IPv4 addresses

As of RFC4291 the :: is deprecated.

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Add missing package.png

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Add .svgz to image list

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Add eot/woff/woff2 to mime.pm as fonts

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Prevent division by zero

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Compatibility with Perl 5.22

LogFormat: add partial support for literal strings in logfiles. Limited to data prefixes like "field=%field"

Reason:
Logging many fields results in very long log lines which in turn causes in very
unreadable log files. Visual cues in form of prefixes which describe data may
be used in log files. This commit adds support for ignoring such prefixes.

Why suffixes are not supported?
Awstats has data fields naming defined as %fieldName, but does not have all fields
joined in one place. This makes it nigh impossible to match, for example, this
specification: "dataOut=1024b" (note the "b" suffix which means data out is
measured in bytes). LogFormat specification for this would be "bytesOut=%bytesdb",
but in this case %bytesdb part would fail to parse out bytes transferred, as
awstats would look for field name called "bytesdb" instead of field name "%bytesd"
with "b" suffix denoting units of measurement.

doc: add %time5 entry to awstats_config.html, and note that timezone part is optional

LogFormat timezone ISO 8601 support update: make whole timezone part optional, and support "...mm:ssZ" variation too

This change completes support for ISO 8601 format specification by adding
support for zero meridian notation ("Z" suffix only).

Reason for making time zone optional:
AWStats does not parse time zone info, log files are expected to be from
single time zone only. Thus making whole TZ information optional makes
the most sense if support for wide variety of date+time formats is our
objective.

Fix gzip -d < into gzip -cd

Merge branch 'develop' of ssh://eldy@git.code.sf.net/p/awstats/code into develop

Release of 7.4 version

Release of 7.4 version

Fix illegal division by zero

Update doc

Show size of package to upload to SF

Patch from Aaron van Geffen  to add support for newer versions of OS X
and Window.

Merge /u/chrpietsch/awstats/ branch master into develop

http://sourceforge.net/p/awstats/code/merge-requests/6/

logresolvemerge.pl can read .xz files.

Fix #940

Doc is reponsive

Merge branch 'develop' of ssh://eldy@git.code.sf.net/p/awstats/code into develop

Update doc for 7.4

Update copyright

Merge branch 'develop' of ssh://eldy@git.code.sf.net/p/awstats/code into
develop

Conflicts:
wwwroot/cgi-bin/lib/robots.pm

More robots and search engines from Albrecht Müller

Add more log test

Add more log test

Add more log test

Merge commit 'c6a37e0f9ee70d415602c7658ccf49122503506d' into develop

Update doc for 7.4

- #878 Fixed size of MAP section (there are 27 base sections, not 26)

Fix: No spaces into bot key.

Work with Amazon AWS log files (using %time5 tag).

Fix: typo

Fix #212 CVE-2006-2237

Try fix for time5