Fix oetiker/rrdtool-1.x#774

Merge pull request #772 from Marek77/pr_dist-hook

Makefile.am: Fix broken build on Fedora

Makefile.am: Fix broken build on Fedora

Fix the following build error:

make top_distdir="bxrrdtool-1.6.1" distdir="bxrrdtool-1.6.1" dist-hook
make[2]: Entering directory '/home/vficet/src/rrdtool-1.x'
cd bxrrdtool-1.6.1 && /usr/bin/perl -i -p -e 's/^\1ERSION.+/\1ERSION='1.6002';/' bindings/perl-*/*.pm
Reference to nonexistent group in regex; marked by <-- HERE in m/^\1 <-- HERE ERSION.+/ at -e line 1.
Makefile:933: recipe for target 'dist-hook' failed

Merge pull request #771 from tvestelind/systemd-logic-in-rpm-spec

use systemd macros for rrdcached in rpm spec file

use systemd macros for rrdcached in rpm spec file

I've added:
* a variable to control whether or not to build for systemd
* systemd-provided macros in the RPM spec-file according what Fedora
  recommends.

Signed-off-by: Tomas Vestelind <tomas.vestelind@gmail.com>

rrd_list: adds --recursive option (daemon: LIST [RECURSIVE] /<path..>) (#767)

* rrd_list: adds --recursive option (daemon: LIST [RECURSIVE] /<path..>)

* tests/list1: updates LIST tests

python-rrdtool as replacement for the upstream Python bindings (#755)

* Replaced Python bindings with python-rrdtool

* Updated Makefile.in contents

* Added missing import

* Path correction

* Python 3 compatible print statements in acinclude.m4

* Updated configure script

* Added LIST command to Python binding

* Added missing var decls

* Added callback support for Python binding and initial tests suite for the binding

* Fixed some gcc compiler errors in pre-C99 mode

* setuptools is required to build the Python bindings

* Directory traversal

update for #765

Merge branch 'master' of github.com:oetiker/rrdtool-1.x

explicitly linking against libdl is not necessary anymore. fix for #765

restart rrdcached on upgrade, start and stop in install/uninstall (#764)

* restart rrdcached on upgrade, start and stop in install/uninstall

Start rrdcached and enable autostart when installing
Restart rrdcached and enable autostart when upgrading
Stop rrdcached and disable autostart when uninstalling

Catch non-zero return codes and return 0 in scriptlets

Signed-off-by: Tomas Vestelind <tomas.vestelind@gmail.com>
* enable and restart on both install and upgrade just before finishing the rpm installation

Signed-off-by: Tomas Vestelind <tomas.vestelind@gmail.com>

better use the right number of arguments in the format string

attempt to fix #763

DEBUG should not be active and libraries should not exit anyway ... fix for #760

DEBUG should not be active and libraries should not exit anyway ... fix for #760

fix #760

revert  0eed0e5

fix #760

Merge pull request #756 from bangert/add_deamon_to_cache_key

Add deamon variable to cache key

Add deamon variable to cache key

This allows for two identically named rrd's on two different rrdcache daemons
to be graphed on the samen graph. Without this patch the following

rrdtool graph - --start=1478559600 --end=1478685600 --width=1000 --step=300 --imgformat=JSONTIME \
  DEF:rrd1=aname.rrd:ds_name:AVERAGE:daemon=rrdcache1 \
  DEF:rrd2=aname.rrd:ds_name:AVERAGE:daemon=rrdcache2

would not actually fetch any data from rrdcache2, but rrd2 would reuse the data from rrd1,
since the current logic determines them to be equal.

With this patch rrd2 data is actually fetched from rrdcache2.

rebuilt autoconf

master will become 1.7 ... so prepare

updated autotools

Merge pull request #752 from Marek77/pr_daemon_fetch_fix

src/rrd_daemon.c: fix incorrect line number reporting by rrdcached in fetch

src/rrd_daemon.c: fix incorrect line number reporting by rrdcached in fetch

  Example of error:
    rrdtool fetch --daemon 127.0.0.1:42218 <path to>.rrd --start -5min LAST
    ERROR: rrdc_fetch: Got 34 lines, expected 37

  While the same, without '--daemon <address>' works fine.

  The bug manifests itself when the last element of line to write falls
  within the last 10% of the length of 'char linebuf[1024]', ie between
  922 and 1023 bytes; in that case the '\n' at the end of the line is
  not written, and so not seen by count_lines(), wrong number of lines
  given in the daemon's response -> 'rrdtool fetch' errors out.

Merge pull request #750 from he32/unsigned-fix

Fix a signedness/unsignedness conversion bug in the expression

Fix a signedness/unsignedness conversion bug in the expression
calculating "now" before printout of the timestamp.  Negative values
are first cast to unsigned, it seems, causing overflow.

Improve the RRD client API (#742)

* RRD client: Add an interface allowing for multiple client connections.

Add a client object which resembles a persistent connection to a server.
Multiple such objects may be used in parallel.

The old, "simple" interface is a wrapper around the new interface now, using
a default client connection. As before, this can only be used for one
connection.

also parse the daemon parameter in DEF as specified in the documentation (#748)

Make sure all listen_fds have their own copy of the addr string. (#746)

Fixes double free on shutdown #745.

Read the last timestamp from the RRD file, instead of setting it to zero. (#744)

This fixes a dataloss problem when trying to insert old data. rrdcached
will accept the data at first, but then fail the whole batch when trying
to flush the data to disk.

The last timestamp is initially set to 0, and later updated to the
timestamp of the first update. However, if the RRD file already contains
newer data,  fails later on. And since RRD cache writes all updates
in one go, the whole batch of samples fails and is discarded (even though,
just the first few updates are too old).

By reading in the last timestamp from the RRD file, we already fail
correctly on the individual update commands (ie. on the protocol layer).

RRD  ----------------------|
RRDcached         |------------------| <- Flush
                           |---------| <- Dataloss

With this patch, the initial updates, that overlap with data in the RRD
file will fail indivdually (at submission time).

RRD  ----------------------|
RRDcached         |xxxxxxxx----------| <- Flush

 Improve messages for rrdcached daemon failed due to PID Exist (#743)

*  Improve messages for rrdcached daemon failed due to PID Exist
    New messages added in order to get clarity about the nature of problem

* Review Comment incorporated regarding indentation of error messages

Merge pull request #741 from sharuzzaman/patch-1

fixed typo for 100,000 second in example1

fixed typo for 100,000 second in example1

the example show heartbeat of 100,000 but the explanation show 10,000

Merge pull request #739 from oetiker/cb-fix

detect overlong keys in callbacks ... fix for #738

detect overlong keys in callbacks ... fix for #738

Merge pull request #737 from Marek77/pr_list_fix

src/rrd_list.c: fix local directory listing when connection to rrdcached fails

src/rrd_list.c: fix local directory listing when connection to rrdcached fails

        Without this fix, when the remote rrdcached cannot be reached
        and a path that exists on the local machine (such as '/') is
        asked for,  'list' returns 'ls' of the local path.

        Example of erroneous output:

$ rrdtool list -d rrdcached-host:42222 /
        Error connecting to rrdcached: Unable to connect to rrdcached: Connection refused
        var
        storage
        lib
        sysroot
        rules.d
        lib64
        backup
        opt
        bin
        sbin
        boot
        proc
        usr
        dev
        sys
        srv
        mnt
        run
        etc
        media
        tmp
        home
        root
        ERROR: Unable to connect to rrdcached: Connection refused

Merge pull request #735 from Marek77/pr_compiler_warnings

Pr compiler warnings

src/rrd_info.c: fix icc warnings "external declaration in primary source file"

src/rrd_dump.c: fix icc warning "external declaration in primary source file"

src/rrd_list.c: fix icc warnings "external declaration in primary source file"

src/rrd_create.c: fix icc warning "variable was set but never used"

src/rrd_create.c: fix icc warnings "external declaration in primary source file"

        FnvHash() is declared in fnv.h

src/rrd_graph_helper.c: fix icc warnings "external declaration in primary source file"

        parse_print(), parse_grad(): removed as declared but undefined

src/rrd_xport.c: fix icc warnings "external declaration in primary source file"

src/rrd_graph.c: fix icc warning "external declaration in primary source file"

src/rrd_update.c: fix icc warnings "external declaration in primary source file"

src/rrd_rpncalc.c: fix icc warnings "external declaration in primary source file"

src/rrd_tune.c: fix icc warnings "external declaration in primary source file"

src/rrd_tool.c: fix icc warnings "external declaration in primary source file"

        All these functions are internal to rrd_tool.c

src/rrd_cgi.c: fix icc warnings "function was declared but never referenced"

        Functions rrdcgiHeader(), rrdcgiFree(), rrdcgiFreeList() are
        never called.

src/rrd_cgi.c: fix icc warnings "external declaration in primary source file"

        All these functions are internal to rrd_cgi.c

bindings/perl-shared/RRDs.xs: fix gcc warning "pointer targets differ in signedness"

RRDs.xs:98:16: warning: pointer targets in passing argument 2 of 'Perl_newSVpv' differ in signedness [-Wpointer-sign]
    hvs(newSVpv(data->value.u_blo.ptr,data->value.u_blo.size)); \
                ^

bindings/perl-shared/RRDs.xs: fix gcc warning "unused variable"

RRDs.xs:136:22: warning: unused variable 'new_end' [-Wunused-variable]
     time_t new_start,new_end;
                      ^

RRDs.xs:524:31: warning: unused variable 'row_cnt' [-Wunused-variable]
   unsigned long step, col_cnt,row_cnt,i,ii;
                               ^

bindings/perl-shared/RRDs.xs: fix gcc warning "enumeration value 'CF_HWPREDICT' not handled in switch"

RRDs.xs:150:5: warning: enumeration value 'CF_HWPREDICT' not handled in switch [-Wswitch]
     switch(cf_idx){
     ^

Same for: CF_SEASONAL, CF_DEVPREDICT, CF_DEVSEASONAL, CF_FAILURES, CF_MHWPREDICT

src/rrd_graph.c: fix gcc warning "'tmp' may be used uninitialized in this function"

rrd_graph.c:2678:13: warning: 'tmp' may be used uninitialized in this function [-Wmaybe-uninitialized]
         tmp += 1.0;
             ^

src/rrd_graph.c: fix gcc warning "assignment discards 'const' qualifier"

rrd_graph.c:5221:25: warning: assignment discards 'const' qualifier from pointer target type [-Wdiscarded-qualifiers]
        im->imginfo = poptions->optarg;
                    ^

src/rrd_graph_helper.c: fix gcc warning "comparison is always false"

rrd_graph_helper.c:747:25: warning: comparison is always false due to limited range of data type [-Wtype-limits]
     if (vname && (*vname>128)) {
                         ^

        Effectively, as 'vname' is a (char *), the values can go from
        -128 to 127, so this was deadcode.

src/rrd_list.c: fix gcc warning "ISO C does not permit named variadic macros"

rrd_list.c:16:50: warning: ISO C does not permit named variadic macros [-Wvariadic-macros]
        #define SANE_ASPRINTF(_dest_str, _format, _params...)   \
                                                         ^

rrd_list.c:24:51: warning: ISO C does not permit named variadic macros [-Wvariadic-macros]
        #define SANE_ASPRINTF2(_dest_str, _format, _params...)   \
                                                          ^

src/optparse.c: fix gcc warning "ISO C does not permit named variadic macros"

optparse.c:4:39: warning: ISO C does not permit named variadic macros [-Wvariadic-macros]
  #define opterror(options, format, args...) \
                                        ^

src/rrd_info.c: fix gcc warning "assignment discards 'const' qualifier"

rrd_info.c: In function 'rrd_info_r':
rrd_info.c:178:16: warning: assignment discards 'const' qualifier from pointer target type [-Wdiscarded-qualifiers]
        info.u_str = filename;
                   ^

Merge pull request #733 from Marek77/pr_list

adds command 'LIST'

tests/: adds list1 'rrdtool list' test script

src/rrd_daemon.c,src/rrd_list.c: moves LIST-specific code into rrd_list_r

src/rrd_list.c: fix option handling

src/rrd_daemon.c: adds symlink check for the 'LIST' command

        make sure we aren't following a symlink pointing outside of
        base_dir

Merge pull request #734 from biell/master

fix segfault on non-existent RRD file when using rrdcached

fix segfault on non-existent RRD file when using rrdcached

doc: adds documentation for the LIST command

Perl shared bindings: Add bindings for the LIST command

Python bindings: Add bindings for the LIST command

rrd_daemon: Add LIST command to list the rrd databases

Merge pull request #732 from Marek77/pr_mkdir

Fix "mkdir -p"

Merge pull request #731 from Marek77/pr_loglevel

rrdcached: Adds CLI option '-V log_level'

rrd_daemon: Log strerror(errno) when rrd_mkdir_p() fails

Log strerror(errno) when rrd_mkdir_p() fails in order to know what went wrong
from a client application perspective.

In this particular case, rrd_mkdir_p failed due to the lack of inodes.
Sending a message with 'No Space left on device' allowed the application
to limit the logs in the code in charge of handling the
RRDTOOL_FILESYSTEM_FULL error, rather than flooding the logs with all
the failed queries.

rrd_utils: Fix broken recusive directory creation in multithreaded context

Multithreaded applications can issue CREATE commands simultaneously
from several threads. Such commands may require to create directories
from the same root path.

Example:

Thread #1 creates /var/cache/rrd/data/switch/isw61/board0/chip1/port1
Thread #2 creates /var/cache/rrd/data/switch/isw61/board0/chip1/port3

If 2 threads attempt to create the above directories, one thread may
fail when creating a directory already created by the other thread.

The mkdir syscall fails with an error (errno = EEXIST), which causes
the whole CREATE transaction to fail.

Fixed by checking errno after invoking mkdir when creating
directories recursively.

doc/rrdcached.pod: adds description of the '-V log_level' CLI option

Merge pull request #730 from Marek77/pr_acinclude

m4/acinclude.m4: fix for build error 'possibly undefined macro: AS_VAR_COPY

Merge pull request #729 from Marek77/pr_fallocate

src/rrd_open.c: fix crash (SIGBUS) trying to CREATE a rrd on a full fs

src/rrd_daemon.c: adds option '-V LOGLEVEL'

        Default log level when this flag is NOT present: LOG_ERR

m4/acinclude.m4: fix for build error 'possibly undefined macro: AS_VAR_COPY'

        This happens with autoconf 2.63 or older (RHEL 6)

src/rrd_open.c: fix crash (SIGBUS) trying to CREATE a rrd on a full filesystem

        Condition (posix_fallocate(rrd_simple_file->fd, 0, newfile_size) == -1)
        is always FALSE so this check passes all the time.
        See man posix_fallocate()

Merge pull request #716 from Marek77/master_coverity

Master coverity

Merge pull request #723 from N3WWN/master

FIX for Issue 695 - master branch

FIX for Issue 695 - master branch

Merge pull request #715 from itensionanders/coords

Output legend coords, for making img map

Show legend coords in graphv, for making img map

Add gfx_get_text_height function, to match width

fix style

   src/rrd_cgi.c
   src/rrd_create.c
   src/rrd_daemon.c
   src/rrd_dump.c
   src/rrd_fetch.c
   src/rrd_first.c
   src/rrd_flushcached.c
   src/rrd_graph_helper.c
   src/rrd_info.c
   src/rrd_last.c
   src/rrd_lastupdate.c
   src/rrd_update.c

src/rrd_cgi.c: fix Coverity CID#13625 Truncated stdio return value

src/rrd_daemon.c: fix Coverity CID#13627 Unchecked return value from library

        CWE-252 / https://cwe.mitre.org/data/definitions/252.html

src/rrd_fetch_libdbi.c: fix Coverity CID#13630 Unchecked return value

        CWE-252 / https://cwe.mitre.org/data/definitions/252.html

src/rrd_fetch_libdbi.c: fix Coverity CID#13634 Logically dead code

        CWE-561 / https://cwe.mitre.org/data/definitions/561.html

        NOTE: this seems like a copy & paste error; either we compare
        'h1' to (char)-1 in which case the code cannot be reached (the
        same test is already done & it returns from the function), or
        (more likely) it should be 'h2' instead.

src/rrd_daemon.c: fix Coverity CID#13637 Missing unlock

        CWE-667 / https://cwe.mitre.org/data/definitions/667.html

src/rrd_xport.c: fix Coverity CID#13640 Array compared against 0

        CWE-398 / https://cwe.mitre.org/data/definitions/398.html

        (im->gdes[i].legend == 0) doesn't make sense;
        im->gdes[i].legend declared as
          char      legend[FMT_LEG_LEN + 5];  /* legend */

        NOTE: fix to be checked to ensure it conserves the intended functionality.

src/rrd_graph_helper.c: fix Coverity CIDs#13641,#13642 Dereference null return value

        CWE-476 / https://cwe.mitre.org/data/definitions/476.html

bindings/perl-shared/RRDs.xs: fix Coverity CID#13647 Resource leak

        CWE-404 / https://cwe.mitre.org/data/definitions/404.html

src/rrd_cgi.c: fix Coverity CID#13652 Resource leak

        CWE-404 / https://cwe.mitre.org/data/definitions/404.html

src/rrd_cgi.c: fix Coverity CID#13654 Resource leak

        CWE-404 / https://cwe.mitre.org/data/definitions/404.html