Merge pull request #2821 from rpv-tomsk/plugin-context-master-2

RFE: Add plugin name field into plugin context use it to improve error reporting

plugin_mmock.c: Added daemon_log()

common.c: Use plugin-name prefixed error reporting

upddated correct file

Sorry,
committed the patch by mistake. now fixed.

Fixed additional comments

Added "network plugin" prefix to Errors
return -1;  added to sfree

core: Introduced daemon_log() for messages prefixed with plugin name

bind plugin: Switched to use of cf_util_get_boolean() and cf_util_get_string()

configfile.c: Use plugin name from plugin context in error reporting

This commit also removes 'plugin: ' prefix from `plugin_log()`.

Updated codestyle

src/daemon/plugin.[ch]: Add the plugin name to the context.

Issue: #1949

redis plugin: Fix memleak

Sysevent RPM specfile

Procevent RPM specfile

Add libmnl-devel req for connectivity

Reset LDFLAGS before testing for strtok_r

They may contain all kinds of things that make the test fail.
See #2823 for details

Spec file typo fixes

Connectivity RPM specfile

Auto-Merge pull request #2826 from rpv-tomsk/collectd-master

Automatically merged due to "Automerge" label

Fixed all comments

Merge pull request #2819 from rpv-tomsk/snmp-fix-2291-1

snmp plugin: HostOID, FilterOID and other options added

snmp_agent: Try to fix tests

This adressed to fix Solaris 10 builds.

Closes: #2814

snmp_agent: Try to fix tests

This adressed to fix Solaris 10 builds.

Closes: #2814

snmp_agent: Remove structure initialization

This adressed to fix Solaris 10 builds.

Closes: #2814

redis plugin: Added option ReportCpuUsage for reported CPU consumption

snmp_agent: Replace strndup() with internal implementation

This adressed to fix Solaris 10 builds.

Closes: #2814

redis plugin: Simplified commands statistics parser

redis plugin: Added commands statistics reporting

redis plugin: report CPU usage

Add Bind Address option

This change allows to Bind Address to an IP address instead of the binding to the Interface Name in the server section.
Example:
<Server "239.192.74.66" "25826">
                SecurityLevel Encrypt
                Username "user"
                Password "secret"
                BindAddress "10.9.25.59"
                ResolveInterval 14400
        </Server>

Credit to: Ofir Hermesh

redis plugin: Reworked to use plugin_register_complex_read()

redis plugin: Implemented persistent connections

write_redis plugin: Fixed bug of Timeout option

Documentation states what Timeout is set in milliseconds.
Code was fixed to match documentation.

redis plugin: Report query errors

redis plugin: Update documentation

redis plugin: Change text of some error messages

redis plugin: Check for / report connection errors

redis plugin: Fixed bug of Timeout option

Documentation states what Timeout is set in milliseconds.
Code was fixed to match documentation.

Auto-Merge pull request #2825 from rpv-tomsk/collectd-master

Automatically merged due to "Automerge" label

rrdtool plugin: Added more error reporting

Issue: #2823

Auto-Merge pull request #2822 from rpv-tomsk/issue-976

Automatically merged due to "Automerge" label

ntpd plugin: Added new refclock_names

ntpd plugin: Don't treat normal peers as refclocks.

Don't try to interpret the srcadr field as a refclock
identifier unless it actually is a refclock identifier.
Now Collectd logs all stats for peers rather than skipping
delay for most of them and offset for a few.

Closes: #976

snmp plugin: Updated documentation for 'Ignore' option

snmp plugin: polished a code

snmp plugin: Removed newly-added 'suffix skipped' notice

snmp plugin: FilterOID option implementation

Added new options `FilterOID`, `FilterValues` and `FilterIgnoreSelected`.
These allows to ignore parts of the MIB by its values.

Closes: #2637

snmp plugin: HostOID option implementation

+ Allow to use `TypeInstanceOID` and `PluginInstanceOID` together.
+ Added `TypeInstancePrefix`, `PluginInstancePrefix` and `HostPrefix` options.
* Option `InstancePrefix` marked as deprecated.
+ Added documentation for new feature.

Closes: #174

snmp plugin: Replace reserved chars in hostname value

snmp plugin: added NOTICE when suffix (row of values) is skipped

snmp plugin: Implemented HostnameOID option

snmp plugin: Refactored filling cells of table

This also fixes a bug when `Ignore` option was ignored for numeric Instance OIDS.

snmp plugin: Rename types and fields to more common names

snmp plugin: codestyle

snmp plugin: Pass variable to csnmp_instance_list_add()

Instead of scanning `res->variables` use directly-passed variable.

snmp plugin: Added types into list of requested snmp OIDS

Issue: #174

Merge pull request #2817 from rpv-tomsk/snmp-fix-2291-1

snmp plugin: Implemented new configuration options

snmp plugin: Implemented new configuration options

Added new options `PluginInstance`, `TypeInstance`, `TypeInstanceOID` and `PluginInstanceOID`.
These allows flexible configuration of reported metrics.

Existing `Instance` option marked as deprecated.

Closes: #2636

docs: Fix typo

snmp plugin: Allow to set plugin value in reported metrics

Auto-Merge pull request #2813 from rpv-tomsk/master

Automatically merged due to "Automerge" label

config parser: Improved error reporting on global options

Some functions could return error code without any messages.

perl plugin: Restore missing include of "collectd.h"

Restore include which was removed in fa36b45bfafec663e49639d40f4671e018e7ee10 (#2769).
This adressed to solve compilation issue on Solaris platform.

pcie_errors: address review comments

Fix some typos.
Check for errors and truncation in snprintf.
Return error from pcie_plugin_config.
Change _Bool to bool.
Other small fixes.

Change-Id: I654e9ee3bbf58232c460a09e1a25862a593d0248
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

pcie_errors: plugin to read PCIe errors

The pcie plugin collects PCI Express errors from Device Status in Capability
structure and from Advanced Error Reporting Extended Capability where available.
At every read it polls config space of PCI Express devices and dispatches
notification for every error that is found. Notif OK is sent after error is cleared.

Change-Id: I559f4035df76ab2934969a3c46cd4e98b93aba9a
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

Merge pull request #2702 from elfiesmelfie/feat_snmp_agent

snmp_agent: new features

SNMP Agent plugin: Fix minor issues

Change-Id: I5437f7d7d9abbbb0b466ed836475b35bba42fadb
Signed-off-by: Mozejko, MarcinX <marcinx.mozejko@intel.com>

Merge pull request #2804 from rubenk/remove-poison

Stop poisoning function in debug mode

Merge pull request #2808 from elfiesmelfie/fix_virt_shadow_warning

src/virt.c: Fix one 'shadow type' warning

SNMP Agent plugin: Fix compability with netsnmp library version < 5.4.5

Fix valgrind issues in snmp_agent_test.c.
Remove unused variable from snmp_agent.c.

Change-Id: I201a39743af3b59827acada9b24a15672d97436a
Signed-off-by: Mozejko, MarcinX <marcinx.mozejko@intel.com>

Refactor collectd binary to separate Unix-specific code.

Move OS-specific code from collectd.c into cmd.c.
This makes it easier to use the non-Linux-specific code when we port to Windows.

src/virt.c: Fix one -Wshadow type warning

This commit fixes:
src/virt.c:1827:76: warning: declaration shadows a variable in the global scope
[-Wshadow]
static int domain_lifecycle_event_cb(__attribute__((unused)) virConnectPtr conn,
                                                                           ^
src/virt.c:471:22: note: previous declaration is here
static virConnectPtr conn;

Change-Id: I5303f834c5f13802909f8bd03afba0f4a23934d4
Signed-off-by: Antoine Naud <antoinex.naud@intel.com>

 Extending turbostat plugin to report the following platform metrics:
 - P-states enabled/disabled
 - Turboboost enabled/disabled
 - Platform TDP (Thermal Design Point)
 - Uncore bus ratio

Extending turbostat plugin to report the following platform metrics:
 - P-states enabled/disabled
 - Turboboost enabled/disabled
 - Platform TDP (Thermal Design Point)
 - Uncore bus ratio

SNMP Agent plugin: Fix - not every OID is unregistered from snmp table

Problem occures when a metric has more than one OID assigned. Then,
during the table unregistration, plugin thinks that there are some OIDs
left in the table and keeps index keys also registered. It's because
plugin registers all the OIDs for the particular metric, but unregisters only
the first one which is wrong.

Change-Id: I6daae1ceeebf30b98f22075940b29936ee3d110d
Signed-off-by: Mozejko, MarcinX <marcinx.mozejko@intel.com>

SNMP Agent plugin: Fix klockwork issues

Change-Id: I2a451f1cd0426dbdeec878d584bbb51dce00c10a
Signed-off-by: Mozejko, MarcinX <marcinx.mozejko@intel.com>

SNMP Agent plugin: Redesign way of registering OIDs

Now every metric is registered individually, so when any of them is removed
from collectd cache it is also unregistered from SNMP.

Change-Id: I3548bd9b7f9a5fb574bc34e300175e4cab63b0b4
Signed-off-by: Mozejko, MarcinX <marcinx.mozejko@intel.com>

SNMP Agent plugin:
  Support for complicated data definitions
  Add unit tests for functions:
    snmp_agent_oid_to_string()
    snmp_agent_prep_index_list()
    snmp_agent_fill_index_list()
    snmp_agent_config_index_key_source()
    snmp_agent_config_index_key_regex()
    snmp_agent_config_index_key()
    snmp_agent_format_name()
    snmp_agent_parse_index_key()
    snmp_agent_create_token()
    snmp_agent_delete_token()
    snmp_agent_get_token()
    snmp_agent_tokenize()
    snmp_agent_build_name()

Change-Id: I31a8a5c771fa4c7d0122705fe79f021bc71c9904
Signed-off-by: Mozejko, MarcinX <marcinx.mozejko@intel.com>

SNMP Agent plugin: Add multiple key index support

Change-Id: I825aa4c022b0ef41439cb83527be69f3f4445bbb
Signed-off-by: Mozejko, MarcinX <marcinx.mozejko@intel.com>

SNMP Agent plugin:
  1. Removed redundant code in scalar and table column config parsing.
  2. Removed redundant code in snmp_agent_dump_data function.
  3. Changed function names:
       snmp_agent_config_data() -> snmp_agent_config_scalar()
       snmp_agent_config_table_data() -> snmp_agent_config_table_column()
       snmp_agent_dump_data() -> snmp_agent_dump_config()
  4. Fix: error getting SizeOID

Change-Id: I17175218119bcab979daff02deef298a57c93465
Signed-off-by: Mozejko, MarcinX <marcinx.mozejko@intel.com>

Stop poisoning function in debug mode

This breaks when external headers use those functions.

Fixes #2769

processes plugin: const correctness

src/processes.c: In function ‘ps_submit_proc_list’:
src/processes.c:915:8: warning: initialization discards ‘const’ qualifier from pointer target type [-Wdiscarded-qualifiers]
       {"delay-cpu", ps->delay_cpu},
        ^~~~~~~~~~~
src/processes.c:916:8: warning: initialization discards ‘const’ qualifier from pointer target type [-Wdiscarded-qualifiers]
       {"delay-blkio", ps->delay_blkio},
        ^~~~~~~~~~~~~
src/processes.c:917:8: warning: initialization discards ‘const’ qualifier from pointer target type [-Wdiscarded-qualifiers]
       {"delay-swapin", ps->delay_swapin},
        ^~~~~~~~~~~~~~
src/processes.c:918:8: warning: initialization discards ‘const’ qualifier from pointer target type [-Wdiscarded-qualifiers]
       {"delay-freepages", ps->delay_freepages},
        ^~~~~~~~~~~~~~~~~

intel_rdt plugin: const correctness

  CC       src/intel_rdt_la-intel_rdt.lo
src/intel_rdt.c: In function ‘rdt_read’:
src/intel_rdt.c:407:39: warning: passing argument 2 of ‘rdt_submit_derive’ discards ‘const’ qualifier from pointer target type [-Wdiscarded-qualifiers]
       rdt_submit_derive(cgroup->desc, "memory_bandwidth", "local",
                                       ^~~~~~~~~~~~~~~~~~
src/intel_rdt.c:339:51: note: expected ‘char *’ but argument is of type ‘const char *’
 static void rdt_submit_derive(char *cgroup, char *type, char *type_instance,
                                             ~~~~~~^~~~
src/intel_rdt.c:407:59: warning: passing argument 3 of ‘rdt_submit_derive’ discards ‘const’ qualifier from pointer target type [-Wdiscarded-qualifiers]
       rdt_submit_derive(cgroup->desc, "memory_bandwidth", "local",
                                                           ^~~~~~~
src/intel_rdt.c:339:63: note: expected ‘char *’ but argument is of type ‘const char *’
 static void rdt_submit_derive(char *cgroup, char *type, char *type_instance,
                                                         ~~~~~~^~~~~~~~~~~~~
src/intel_rdt.c:409:39: warning: passing argument 2 of ‘rdt_submit_derive’ discards ‘const’ qualifier from pointer target type [-Wdiscarded-qualifiers]
       rdt_submit_derive(cgroup->desc, "memory_bandwidth", "remote",
                                       ^~~~~~~~~~~~~~~~~~
src/intel_rdt.c:339:51: note: expected ‘char *’ but argument is of type ‘const char *’
 static void rdt_submit_derive(char *cgroup, char *type, char *type_instance,
                                             ~~~~~~^~~~
src/intel_rdt.c:409:59: warning: passing argument 3 of ‘rdt_submit_derive’ discards ‘const’ qualifier from pointer target type [-Wdiscarded-qualifiers]
       rdt_submit_derive(cgroup->desc, "memory_bandwidth", "remote",
                                                           ^~~~~~~~
src/intel_rdt.c:339:63: note: expected ‘char *’ but argument is of type ‘const char *’
 static void rdt_submit_derive(char *cgroup, char *type, char *type_instance,
                                                         ~~~~~~^~~~~~~~~~~~~

ceph plugin: fix a few format specifiers

  CC       src/ceph_la-ceph.lo
In file included from ./src/daemon/common.h:33,
                 from src/ceph.c:31:
src/ceph.c: In function ‘cconn_handle_event’:
src/ceph.c:1161:11: warning: format ‘%d’ expects argument of type ‘int’, but argument 6 has type ‘ssize_t’ {aka ‘long int’} [-Wformat=]
     DEBUG("ceph plugin: cconn_handle_event(name=%s,state=%d,amt=%d,ret=%d)",
           ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
           io->d->name, io->state, io->amt, ret);
                                            ~~~
./src/daemon/plugin.h:396:42: note: in definition of macro ‘DEBUG’
 #define DEBUG(...) plugin_log(LOG_DEBUG, __VA_ARGS__)
                                          ^~~~~~~~~~~
src/ceph.c:1183:11: warning: format ‘%d’ expects argument of type ‘int’, but argument 5 has type ‘ssize_t’ {aka ‘long int’} [-Wformat=]
     DEBUG("ceph plugin: cconn_handle_event(name=%s,state=%d,ret=%d)",
           ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
           io->d->name, io->state, ret);
                                   ~~~
./src/daemon/plugin.h:396:42: note: in definition of macro ‘DEBUG’
 #define DEBUG(...) plugin_log(LOG_DEBUG, __VA_ARGS__)
                                          ^~~~~~~~~~~
src/ceph.c:1209:11: warning: format ‘%d’ expects argument of type ‘int’, but argument 5 has type ‘ssize_t’ {aka ‘long int’} [-Wformat=]
     DEBUG("ceph plugin: cconn_handle_event(name=%s,state=%d,ret=%d)",
           ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
           io->d->name, io->state, ret);
                                   ~~~
./src/daemon/plugin.h:396:42: note: in definition of macro ‘DEBUG’
 #define DEBUG(...) plugin_log(LOG_DEBUG, __VA_ARGS__)
                                          ^~~~~~~~~~~
src/ceph.c:1230:11: warning: format ‘%d’ expects argument of type ‘int’, but argument 5 has type ‘ssize_t’ {aka ‘long int’} [-Wformat=]
     DEBUG("ceph plugin: cconn_handle_event(name=%s,state=%d,ret=%d)",
           ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
           io->d->name, io->state, ret);
                                   ~~~
./src/daemon/plugin.h:396:42: note: in definition of macro ‘DEBUG’
 #define DEBUG(...) plugin_log(LOG_DEBUG, __VA_ARGS__)
                                          ^~~~~~~~~~~

snmp_agent plugin: fix a few conversion warnings

memcached plugin: fix implicit conversion warning

  CC       src/memcached.lo
src/memcached.c:478:20: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
    int name_len = strlen(fields[1]);
        ~~~~~~~~   ^~~~~~~~~~~~~~~~~
1 warning generated.

java plugin: fix implicit conversion warning

src/java.c:1014:20: warning: implicit conversion loses integer precision: 'const size_t' (aka 'const unsigned long') to 'int' [-Wshorten-64-to-32]
  values_num = ds->ds_num;
             ~ ~~~~^~~~~~
1 warning generated.

iptables plugin: fix implicit conversion warnings

  CC       src/iptables_la-iptables.lo
src/iptables.c:139:29: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
  table_len = strlen(table) + 1;
            ~ ~~~~~~~~~~~~~~^~~
src/iptables.c:147:29: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
  chain_len = strlen(chain) + 1;
            ~ ~~~~~~~~~~~~~~^~~
2 warnings generated.

email plugin: fix implicit conversion warning

src/email.c:275:13: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
      len = strlen(line);
          ~ ^~~~~~~~~~~~

ceph plugin: fix implicit conversion warnings

  CC       src/ceph_la-ceph.lo
src/ceph.c:1160:14: warning: implicit conversion loses integer precision: 'ssize_t' (aka 'long') to 'int' [-Wshorten-64-to-32]
        ret, write(io->asok, ((char *)&cmd) + io->amt, cmd_len - io->amt));
        ~~~~~^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ceph.c:67:11: note: expanded from macro 'RETRY_ON_EINTR'
    ret = expr;                                                                \
        ~ ^~~~
src/ceph.c:1181:25: warning: implicit conversion loses integer precision: 'ssize_t' (aka 'long') to 'int' [-Wshorten-64-to-32]
    RETRY_ON_EINTR(ret, read(io->asok, ((char *)(&io->d->version)) + io->amt,
    ~~~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ceph.c:67:11: note: expanded from macro 'RETRY_ON_EINTR'
    ret = expr;                                                                \
        ~ ^~~~
src/ceph.c:1207:25: warning: implicit conversion loses integer precision: 'ssize_t' (aka 'long') to 'int' [-Wshorten-64-to-32]
    RETRY_ON_EINTR(ret, read(io->asok, ((char *)(&io->json_len)) + io->amt,
    ~~~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ceph.c:67:11: note: expanded from macro 'RETRY_ON_EINTR'
    ret = expr;                                                                \
        ~ ^~~~
src/ceph.c:1229:20: warning: implicit conversion loses integer precision: 'ssize_t' (aka 'long') to 'int' [-Wshorten-64-to-32]
                   read(io->asok, io->json + io->amt, io->json_len - io->amt));
                   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ceph.c:67:11: note: expanded from macro 'RETRY_ON_EINTR'
    ret = expr;                                                                \
        ~ ^~~~
src/ceph.c:1299:29: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
  int sec_diff = t1->tv_sec - t2->tv_sec;
      ~~~~~~~~   ~~~~~~~~~~~^~~~~~~~~~~~
src/ceph.c:1300:31: warning: implicit conversion loses integer precision: 'long' to 'int' [-Wshorten-64-to-32]
  int usec_diff = t1->tv_usec - t2->tv_usec;
      ~~~~~~~~~   ~~~~~~~~~~~~^~~~~~~~~~~~~
6 warnings generated.
  CCLD     ceph.la

df plugin: fix implicit conversion warning

  CC       src/df.lo
src/df.c:231:15: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
        len = strlen(disk_name);
            ~ ^~~~~~~~~~~~~~~~~
1 warning generated.

parser.y: minor cleanup

parser.y: fix implicit conversion warning

  CC       src/liboconfig/liboconfig_la-parser.lo
src/liboconfig/parser.y:273:8: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
        len = strlen (ret);
            ~ ^~~~~~~~~~~~
1 warning generated.

csv plugin: fix implicit conversion warning

src/csv.c:193:17: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
      int len = strlen(datadir);
          ~~~   ^~~~~~~~~~~~~~~

mysql plugin: fix implicit conversion warning

  CC       src/mysql_la-mysql.lo
src/mysql.c:366:19: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
  int query_len = strlen(query);
      ~~~~~~~~~   ^~~~~~~~~~~~~
1 warning generated.

tcpconns plugin: fix implicit conversion warnings

  CC       src/tcpconns.lo
src/tcpconns.c:510:14: warning: implicit conversion loses integer precision: 'ssize_t' (aka 'long') to 'int' [-Wshorten-64-to-32]
    status = recvmsg(fd, (void *)&msg, /* flags = */ 0);
           ~ ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/tcpconns.c:577:20: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
  int buffer_len = strlen(buffer);
      ~~~~~~~~~~   ^~~~~~~~~~~~~~
2 warnings generated.

unixsock plugin: fix implicit conversion warning

  CC       src/unixsock.lo
src/unixsock.c:225:11: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
    len = strlen(buffer);
        ~ ^~~~~~~~~~~~~~
1 warning generated.

uuid plugin: fix implicit conversion warning

  CC       src/uuid.lo
src/uuid.c:50:9: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
  len = strlen(uuid);
      ~ ^~~~~~~~~~~~
1 warning generated.

scanner.l: modernize code a bit

scanner.l: use size_t for 2 variables

scanner.l: fix a few implicit conversion warnings

  LEX      src/liboconfig/scanner.c
  CC       src/liboconfig/liboconfig_la-scanner.lo
src/liboconfig/scanner.l:113:12: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
        int len = strlen (yytext);
            ~~~   ^~~~~~~~~~~~~~~
src/liboconfig/scanner.l:129:12: warning: implicit conversion loses integer precision: 'unsigned long' to 'int' [-Wshorten-64-to-32]
        int len = strlen (yytext);
            ~~~   ^~~~~~~~~~~~~~~