daemon: Check if plugin actually loaded before reporting configuration issues

Issue: #3215

Merge pull request #3153 from zebity/master

Add snprintf wrapper to avoid "Truncation Warnings" with GCC 8.2/3 compiler

Run contrib/format.sh across entire *.h/*.c source tree (2nd of 2)

Run contrib/format.sh across entire *.h/*.c source tree (1st of 2)

Merge pull request #3072 from octo/ff/network_test

Add a unit test for the network plugin.

Merge remote-tracking branch 'upstream/master'

run all updated *.h *.c through clang-format again

Merge upstream, address conflict in src/utils/cmds/cmds_test.c

Merge upstream, address conflict in src/utils/cmds/cmds_test.c

Auto-Merge pull request #3206 from dago/pid_test

Automatically merged due to "Automerge" label

Merge branch 'master' into master

Move Makefile rules for pid_test inside conditional for code

Auto-Merge pull request #3205 from rpv-tomsk/3112-powerdns

Automatically merged due to "Automerge" label

powerdns: Added 'unreachables' reporting

Issue: #3112

powerdns: Fix formatting, broken by clang-format

Auto-Merge pull request #3203 from dago/netsnmpagent

Automatically merged due to "Automerge" label

Add missing definitions for libnetsnmpagent

Merge pull request #3201 from ccin2p3/f/fix-syslog-rc

Fix return code introduced by #3182

Fix return code introduced by #3182

Change-Id: I0972f74f3fff05cf29fa9b0be383f0b0df1e6d03
Fixes: #3200

Merge pull request #3197 from dago/pid_test

Use test_utils_proc_pids only when compiling the plugin that uses it

Use pid_test only when compiling the plugin that uses it

Merge pull request #2725 from RafaelMarinheiro/fix_grpc_query_values

utils_cache: fix pointer reference and meta_data ingestion

Merge pull request #3178 from ashie/fix-match-regex-for-empty-meta

regex match: Fix unexpected match with empty meta data

Merge pull request #3195 from dago/gccflags

Use GCC-specific flags only when compiling with GCC

Merge pull request #3160 from rpv-tomsk/collectd-uptime-memcached

memcached plugin: Report uptime metric

Auto-Merge pull request #3193 from dago/fileoffsetbits

Automatically merged due to "Automerge" label

Merge pull request #3156 from rpv-tomsk/dns

dns plugin: Do not use headers from glibc

Merge pull request #3182 from ccin2p3/f/config-return-codes

Fix return value or loglevel for several plugins

clang-format

better user feedback

Change-Id: Iae7c3208024372485fd0901898cbe2e178610082

Fix return value or loglevel for several plugins

Some plugins' RC was != 0 and started to fail due to
stricter verification introduced by 3b9c7b2.
This commit fixes those return values.
For some plugins, fix verbosity of error message: non-zero rc
should be error, not warning.

Change-Id: I9a3f1f80e266858b6744fd9d9d99b352b8d94306

Change-Id: Ibf6ebc6cdc93c6e105d488e4a131dcb6e8eea19b

Change-Id: I35bac15fa0a89b068575739ac1cff0115c9d3a40

s

Change-Id: I992002c56763fbdea5347e5b6e176cc86f5a08ce

Use GCC-specific flags only when compiling with GCC

Make sure files in this changeset are formatted properly

Add standard include early or _FILE_OFFSET_BITS will have definition mismatches on Solaris

be more verbose when plugin config cb is failing

3b9c7b2 introduced stricter RC check.
This commit provides user feedback when config callback is failing.

Change-Id: Ia9c13048e95559b5be84477fc1602ff418a1df37

Merge pull request #3175 from ccin2p3/f/collectd-redhat-spec-5.9.0

redhat spec: fix build due to new upstream plugins

regex match: Fix unexpected match with empty meta data

If a user set

  MetaData "foo" "bar"

and a metric does not have meta data (vl->meta == NULL), it causes
unexpected match.

Existance of MetaData config should be checked before meta data in
a metric.

See also: #1930

Signed-off-by: Takuro Ashie <ashie@clear-code.com>

fix comment

Change-Id: I655dd0b3cb82053f7cc50dec149d4f7cc25ee18b

fix deps

Change-Id: I8199655fcd22082a2f3cfb0e5ab7db289df1a5e7

New upstream plugins

* nvidia_gpu
* write_stackdriver
* pcie_errors

The first 2 are disabled, as I don't know what lib they require
(configure fails)

Change-Id: I56456b418edd3defb3c5620a5ad58f527951309c

Merge pull request #3170 from stratakis/py38

Add Python 3.8 compatibility

Add Python 3.8 compatibility

From Python 3.8 and onwards C extensions are no longer
linked to libpython so in order to embed python within
an application the --embed flag needs to be added to
python3-config --libs. A fall back is provided as the
command will error out on previous python versions.

References: https://bugs.python.org/issue36721

Merge pull request #3167 from ashie/remove-needless-tab

Makefile.am: Remove a needless tab

Makefile.am: Remove a needless tab

Merge pull request #3163 from rpv-tomsk/virt-1

virt plugin: improvements

Merge remote-tracking branch 'upstream/master'

virt plugin: Use virGetLastError() instead of virConnGetLastError()

libvirt documentation explicitly points us to use virGetLastError():

 In a multi-threaded application, always use the global
 virGetLastError() API which is backed by thread local storage.

virt plugin: minor updates after review

Merge pull request #3158 from smortex/riemann-meta-data

Copy MetaData to Riemann events in write_riemann

virt plugin: Added connection state check via virConnectIsAlive()

Before this fix, if libvirt daemon was stopped, Collectd starts to spam logs with lot of "failed" messages.

With this fix it correctly re-establishes connection.

virt plugin: Added timeout to event_loop thread

As per virEventRunDefaultImpl() documentation, this function will block
forever if there are no registered event handlers.

This leads to Collectd is unable to correctly stop event_loop thread
if libvirtd was restarted.

Added empty timeout callback to fix this.

virt plugin: Disable ExtraStats selectors when unsupported by libvirt

When function is not supported by driver, log filled by continuous messages like:

libvirt: Domain Config error : this function is not supported by the connection driver: virDomainGetDiskErrors

libvirt API allows us to detect such cases and disable unsupported calls.

virt plugin: Fixed typos and inconsistencies

virt plugin: Do not request cpu maps when not required

virt plugin: Added ExtraStats selector 'vcpu'

This allows to disable virDomainGetVcpus calls when hypervisor/driver
does not supports that function.

Closes: #2615

virt plugin: Added ExtraStats selector 'memory'

This allows to disable virDomainMemoryStats calls when hypervisor/drivers
does not supports that function or it does not provide additional details.

memcached plugin: Report uptime metric

Issue: #2852

Merge pull request #3125 from skob/master

mysql: [impr] enable uptime metric

mysql: [impr] enable uptime metric

Copy MetaData to Riemann events

Make it possible to capture information using filters in collectd and
use this information in Riemann for deciding what to do with the event.

ChangeLog: write_riemann plugin: MetaData is copied to Riemann events

Run all changed files 68 8.c/1*.h through format.sh web util

Run all changed files 68 8.c/1 *.h through clang-format agin..

Run all changed files 68 8.c/1*.h through clang-format

Merge remote-tracking branch 'upstream/master'

dns plugin: Do not use headers from glibc

glibc has removed __NAMESER and __BIND symbols from their codebase.

There is no benefits of use defines from glibc, so replaced them by numbers.

Closes: #3145

Merge pull request #2986 from shastah/feature/curl-address-family

curl plugin: add AddressFamily

curl_xml plugin: add AddressFamily

In situations when hostnames in URLs resolve to both IPv4 and IPv6
addresses, sometimes it's useful to have separate statistics for both
of these separately.

With this commit, within <URL> block you can set
  AddressFamily "ipv6"
or
  AddressFamily "ipv4"
to specifically use one or the other.

Signed-off-by: Jakub Jankowski <shasta@toxcorp.com>

curl_json plugin: add AddressFamily

In situations when hostnames in URLs resolve to both IPv4 and IPv6
addresses, sometimes it's useful to have separate statistics for both
of these separately.

With this commit, within <URL> block you can set
  AddressFamily "ipv6"
or
  AddressFamily "ipv4"
to specifically use one or the other.

Signed-off-by: Jakub Jankowski <shasta@toxcorp.com>

Add snprintf wrapper for GCC 8.2/3

Merge pull request #3152 from rpv-tomsk/libvirt-memory-report

virt plugin: Fix typo after #3151

Merge pull request #3148 from rpv-tomsk/libvirt-1

virt plugin: Updates regarding to 'domain_state' metric

Merge pull request #3151 from rpv-tomsk/libvirt-memory-report

Libvirt plugin: split memory report into dedicated types

Merge pull request #3150 from rpv-tomsk/libvirt-3

virt plugin: Added new code of virDomainShutoffReason enum and domain events

Merge pull request #3149 from rpv-tomsk/libvirt-2

virt plugin: Do not fail if no connection on init()

Merge pull request #3147 from rpv-tomsk/libvirt

virt plugin: Support new metric from libvirt-5.0.0 virDomainMemoryStats()

virt plugin: Fix typo

virt plugin: clang-format

virt plugin: Added support for new shutdown event details

virt plugin: Check for virt_notif_thread_init() success

virt plugin: Added debug message

virt plugin: do not report empty metrics

virt plugin: Split domain memory reporting to appropriate types

virt plugin: Skip 'last_update' reporting as that is not memory but timestamp

virt plugin: Added new code of virDomainShutoffReason enum

virt plugin: Fixed virt_notif_thread_init() place

virt plugin: Do not fail if no connection on init()

If Collectd started before libvirtd, that results as no connection and no more retries.
lv_init()/lv_connect() reworked to avoid this.

Reference: b2541eb463165a5973fedb5d51eab8288fcd7ebc
Reference: 5903e6d5414b1a9580a63c29afff1788cec6c91e

virt plugin: Do not report 'domain_state' metric when not enabled by ExtraStats

PR #2701 adds 'domain_state' metric and ExtraStats's option `domain_state`
selector behaviour was changed: now it enables metric, not notification.
Removed inconsistency between documentation and implementation.

Not all `get_domain_state` calls was covered by selector check.
As result, metric was always sent for inactive domains.
That is fixed now.

virt plugin: Renamed get_domain_state() to submit_domain_state()

That function does not gets something to internal structures, but submits metric.

virt plugin: Cleanup excessive check

That is already covered by check at upper level:

if (inst->id == 0 && persistent_notification)
  persistent_domains_state_notification();

virt plugin: Support new metric from libvirt-5.0.0 virDomainMemoryStats()

Closes: #3143

Merge pull request #3019 from sradco/master

Add write_syslog output plugin

Merge pull request #3144 from rpv-tomsk/lua

lua plugin: Make it possible to register more than one reader/writer; bugfixes; cleanup.

lua plugin: Make it possible to register more than one reader/writer.

lua_tostring(), used to identify readers/writers, doesn't work
on functions (it returns NULL). So, callback name is not unique and
its registration fail.

Added code to store script path and callback index in LUA Registry and
to build callback name based on them.

Added possibility to pass LUA callback as global-scope function name.
In this case callback name is built using function name, not callback
index.

Closes: #2379
Closes: #3139

lua plugin: remove line feed in error message

lua plugin: Don't destroy interpreter early

If script successfully registered at least one callback,
destroying interpreter will cause Collectd crash when
that callback will be called.

Unfortunately, there is no way to unregister these callbacks

lua plugin: free mutex on callback destroy

lua plugin: don't elements from stack in `clua_store_thread`.

Debug, before:

lua plugin: nargs after store_callback: 1
lua plugin: nargs after lua_newthread: 2
lua plugin: nargs after store_thread: 0

After:

lua plugin: nargs after store_callback: 1
lua plugin: nargs after lua_newthread: 2
lua plugin: nargs after store_thread: 1

So, stack is in expected state.

lua: cleanup

Merge pull request #3001 from usev6/write_graphite_reverse_host

write_graphite plugin: Add option to reverse host

Declare var inside loop (code review change)