virt plugin: Remove strdup() from MetadataXPath implementation

Issue: #2805
Issue: #3225

virt: Fix memory leak with libvirt MetadataXPath enabled

Issue: #3225

Merge pull request #3202 from mrunge/collectd-5.9

Collectd 5.9

Clang-format a few files to make CI happy

Another round of clang-format

related to backports/cherry-picks.

Run all changed files 68 8.c/1*.h through format.sh web util

(cherry picked from commit 27ca3ca92a757b5c9bb3baa5a29ef352ec70b1c9)

Run all changed files 68 8.c/1 *.h through clang-format agin..

(cherry picked from commit 626d3ab4309cdb069289354c45ca9e2ba9bc9a2f)

Run all changed files 68 8.c/1*.h through clang-format

(cherry picked from commit eada465ff40eb2ecaef17490e5462dab3b8874fe)

Add snprintf wrapper for GCC 8.2/3

(cherry picked from commit abaa1c8a24e8eff5632dd6052b1da5f6535caf19)

daemon: Recover setlocale() call in src/daemon/collectd.c do_init()

865f2eb31e8264edd9337bc63ac59f6c2fa3b5a7 breaks locale checks

Issue: #3181
(cherry picked from commit 38fac5d5579b952f9546623f39cdbcae89a6f090)

disk.c: remove unused lines

limits.h check removed in 865f2eb31e8264edd9337bc63ac59f6c2fa3b5a7
limits.h included in src/daemon/collectd.h unconditionally

Issue: #3181
(cherry picked from commit d99416997de1c4d9e676960719327a52a364f605)

Merge upstream, address conflict in src/utils/cmds/cmds_test.c

(cherry picked from commit a72ad42076337f3b85db3b06565ae86a83226ab3)

Move Makefile rules for pid_test inside conditional for code

(cherry picked from commit 45b8c056d89f4b029e6017035ce6a4a37a36d260)

Add missing definitions for libnetsnmpagent

(cherry picked from commit 3b05d9f7b7b46e0c4fee296ad2d6f16ecc82173e)

dns plugin: Do not use headers from glibc

glibc has removed __NAMESER and __BIND symbols from their codebase.

There is no benefits of use defines from glibc, so replaced them by numbers.

Closes: #3145
(cherry picked from commit faa20ef796abc91656c5c583970db9a9f4daf911)

Fix return code introduced by #3182

Change-Id: I0972f74f3fff05cf29fa9b0be383f0b0df1e6d03
Fixes: #3200
(cherry picked from commit 835a58c09ff7afd44627915c9274b16c5df0fb50)

Use pid_test only when compiling the plugin that uses it

(cherry picked from commit a7401cc81d05bf4f230aaf35e4109a23b60fc546)

clang-format

(cherry picked from commit 4af2afc84a90fe37e4988fca08ea79a6343c6b94)

better user feedback

Change-Id: Iae7c3208024372485fd0901898cbe2e178610082
(cherry picked from commit d75591c9762f93d8656846fd2796fdb775b1c69f)

Fix return value or loglevel for several plugins

Some plugins' RC was != 0 and started to fail due to
stricter verification introduced by 3b9c7b2.
This commit fixes those return values.
For some plugins, fix verbosity of error message: non-zero rc
should be error, not warning.

Change-Id: I9a3f1f80e266858b6744fd9d9d99b352b8d94306

Change-Id: Ibf6ebc6cdc93c6e105d488e4a131dcb6e8eea19b

Change-Id: I35bac15fa0a89b068575739ac1cff0115c9d3a40

s

Change-Id: I992002c56763fbdea5347e5b6e176cc86f5a08ce
(cherry picked from commit a07f44c9cd5828a84545dcfe22544bfed2ea8812)

Use GCC-specific flags only when compiling with GCC

(cherry picked from commit 9317d0734808f56a5d181ff2864332705fcb87e0)

Make sure files in this changeset are formatted properly

(cherry picked from commit 9315ccb08ebd29f0b79426853c2e7adf448c26e9)

Add standard include early or _FILE_OFFSET_BITS will have definition mismatches on Solaris

(cherry picked from commit 54d4f889eb72249824ef4ee6b155b0e0fb858be2)

be more verbose when plugin config cb is failing

3b9c7b2 introduced stricter RC check.
This commit provides user feedback when config callback is failing.

Change-Id: Ia9c13048e95559b5be84477fc1602ff418a1df37
(cherry picked from commit 42a30efe33c4d16276589e0dd1f9e135b38e054d)

regex match: Fix unexpected match with empty meta data

If a user set

  MetaData "foo" "bar"

and a metric does not have meta data (vl->meta == NULL), it causes
unexpected match.

Existance of MetaData config should be checked before meta data in
a metric.

See also: #1930

Signed-off-by: Takuro Ashie <ashie@clear-code.com>
(cherry picked from commit d4f53887527777296b0982af60f4c0fecdb2f0d9)

fix comment

Change-Id: I655dd0b3cb82053f7cc50dec149d4f7cc25ee18b
(cherry picked from commit 2d485cf961eb65d4a55c5c64aa40fdbcca8f41f1)

fix deps

Change-Id: I8199655fcd22082a2f3cfb0e5ab7db289df1a5e7
(cherry picked from commit 9e5b363dda7306b628c1bf91c349ed51f11dbae6)

New upstream plugins

* nvidia_gpu
* write_stackdriver
* pcie_errors

The first 2 are disabled, as I don't know what lib they require
(configure fails)

Change-Id: I56456b418edd3defb3c5620a5ad58f527951309c
(cherry picked from commit 09abfaaeb71957c6039387ad3f5d82803c14ddda)

ChangeLog: s/Foster/Forster/

Bump version to 5.9.0; Update ChangeLog.

Merge pull request #3170 from stratakis/py38

Add Python 3.8 compatibility

Add Python 3.8 compatibility

From Python 3.8 and onwards C extensions are no longer
linked to libpython so in order to embed python within
an application the --embed flag needs to be added to
python3-config --libs. A fall back is provided as the
command will error out on previous python versions.

References: https://bugs.python.org/issue36721

Merge pull request #3167 from ashie/remove-needless-tab

Makefile.am: Remove a needless tab

Makefile.am: Remove a needless tab

Merge pull request #3163 from rpv-tomsk/virt-1

virt plugin: improvements

virt plugin: Use virGetLastError() instead of virConnGetLastError()

libvirt documentation explicitly points us to use virGetLastError():

 In a multi-threaded application, always use the global
 virGetLastError() API which is backed by thread local storage.

virt plugin: minor updates after review

Merge pull request #3158 from smortex/riemann-meta-data

Copy MetaData to Riemann events in write_riemann

virt plugin: Added connection state check via virConnectIsAlive()

Before this fix, if libvirt daemon was stopped, Collectd starts to spam logs with lot of "failed" messages.

With this fix it correctly re-establishes connection.

virt plugin: Added timeout to event_loop thread

As per virEventRunDefaultImpl() documentation, this function will block
forever if there are no registered event handlers.

This leads to Collectd is unable to correctly stop event_loop thread
if libvirtd was restarted.

Added empty timeout callback to fix this.

virt plugin: Disable ExtraStats selectors when unsupported by libvirt

When function is not supported by driver, log filled by continuous messages like:

libvirt: Domain Config error : this function is not supported by the connection driver: virDomainGetDiskErrors

libvirt API allows us to detect such cases and disable unsupported calls.

virt plugin: Fixed typos and inconsistencies

virt plugin: Do not request cpu maps when not required

virt plugin: Added ExtraStats selector 'vcpu'

This allows to disable virDomainGetVcpus calls when hypervisor/driver
does not supports that function.

Closes: #2615

virt plugin: Added ExtraStats selector 'memory'

This allows to disable virDomainMemoryStats calls when hypervisor/drivers
does not supports that function or it does not provide additional details.

Merge pull request #3125 from skob/master

mysql: [impr] enable uptime metric

mysql: [impr] enable uptime metric

Copy MetaData to Riemann events

Make it possible to capture information using filters in collectd and
use this information in Riemann for deciding what to do with the event.

ChangeLog: write_riemann plugin: MetaData is copied to Riemann events

Merge pull request #2986 from shastah/feature/curl-address-family

curl plugin: add AddressFamily

curl_xml plugin: add AddressFamily

In situations when hostnames in URLs resolve to both IPv4 and IPv6
addresses, sometimes it's useful to have separate statistics for both
of these separately.

With this commit, within <URL> block you can set
  AddressFamily "ipv6"
or
  AddressFamily "ipv4"
to specifically use one or the other.

Signed-off-by: Jakub Jankowski <shasta@toxcorp.com>

curl_json plugin: add AddressFamily

In situations when hostnames in URLs resolve to both IPv4 and IPv6
addresses, sometimes it's useful to have separate statistics for both
of these separately.

With this commit, within <URL> block you can set
  AddressFamily "ipv6"
or
  AddressFamily "ipv4"
to specifically use one or the other.

Signed-off-by: Jakub Jankowski <shasta@toxcorp.com>

Merge pull request #3152 from rpv-tomsk/libvirt-memory-report

virt plugin: Fix typo after #3151

Merge pull request #3148 from rpv-tomsk/libvirt-1

virt plugin: Updates regarding to 'domain_state' metric

Merge pull request #3151 from rpv-tomsk/libvirt-memory-report

Libvirt plugin: split memory report into dedicated types

Merge pull request #3150 from rpv-tomsk/libvirt-3

virt plugin: Added new code of virDomainShutoffReason enum and domain events

Merge pull request #3149 from rpv-tomsk/libvirt-2

virt plugin: Do not fail if no connection on init()

Merge pull request #3147 from rpv-tomsk/libvirt

virt plugin: Support new metric from libvirt-5.0.0 virDomainMemoryStats()

virt plugin: Fix typo

virt plugin: clang-format

virt plugin: Added support for new shutdown event details

virt plugin: Check for virt_notif_thread_init() success

virt plugin: Added debug message

virt plugin: do not report empty metrics

virt plugin: Split domain memory reporting to appropriate types

virt plugin: Skip 'last_update' reporting as that is not memory but timestamp

virt plugin: Added new code of virDomainShutoffReason enum

virt plugin: Fixed virt_notif_thread_init() place

virt plugin: Do not fail if no connection on init()

If Collectd started before libvirtd, that results as no connection and no more retries.
lv_init()/lv_connect() reworked to avoid this.

Reference: b2541eb463165a5973fedb5d51eab8288fcd7ebc
Reference: 5903e6d5414b1a9580a63c29afff1788cec6c91e

virt plugin: Do not report 'domain_state' metric when not enabled by ExtraStats

PR #2701 adds 'domain_state' metric and ExtraStats's option `domain_state`
selector behaviour was changed: now it enables metric, not notification.
Removed inconsistency between documentation and implementation.

Not all `get_domain_state` calls was covered by selector check.
As result, metric was always sent for inactive domains.
That is fixed now.

virt plugin: Renamed get_domain_state() to submit_domain_state()

That function does not gets something to internal structures, but submits metric.

virt plugin: Cleanup excessive check

That is already covered by check at upper level:

if (inst->id == 0 && persistent_notification)
  persistent_domains_state_notification();

virt plugin: Support new metric from libvirt-5.0.0 virDomainMemoryStats()

Closes: #3143

Merge pull request #3019 from sradco/master

Add write_syslog output plugin

Merge pull request #3144 from rpv-tomsk/lua

lua plugin: Make it possible to register more than one reader/writer; bugfixes; cleanup.

lua plugin: Make it possible to register more than one reader/writer.

lua_tostring(), used to identify readers/writers, doesn't work
on functions (it returns NULL). So, callback name is not unique and
its registration fail.

Added code to store script path and callback index in LUA Registry and
to build callback name based on them.

Added possibility to pass LUA callback as global-scope function name.
In this case callback name is built using function name, not callback
index.

Closes: #2379
Closes: #3139

lua plugin: remove line feed in error message

lua plugin: Don't destroy interpreter early

If script successfully registered at least one callback,
destroying interpreter will cause Collectd crash when
that callback will be called.

Unfortunately, there is no way to unregister these callbacks

lua plugin: free mutex on callback destroy

lua plugin: don't elements from stack in `clua_store_thread`.

Debug, before:

lua plugin: nargs after store_callback: 1
lua plugin: nargs after lua_newthread: 2
lua plugin: nargs after store_thread: 0

After:

lua plugin: nargs after store_callback: 1
lua plugin: nargs after lua_newthread: 2
lua plugin: nargs after store_thread: 1

So, stack is in expected state.

lua: cleanup

Merge pull request #3001 from usev6/write_graphite_reverse_host

write_graphite plugin: Add option to reverse host

Declare var inside loop (code review change)

Merge pull request #3141 from ometol/master

cpufreq plugin: Add FreeBSD support

Apply suggestions from code review

* Use constant DATA_MAX_NAME_LEN instead of re-calculating array size
* Declare and initialize second loop var in for statement

Update to resolve conflicts due to renamed files

Merge branch 'master' into write_graphite_reverse_host

Changes after applying contrib/format.sh

Add documentation for the FreeBSD bit for cpufreq

Fix warnings when we're unable to poll

Add FreeBSD support for cpufreq

Merge pull request #3137 from dangowrt/master

Add support for RS485 to modbus plugin

Add support for RS485 to modbus plugin

Allow setting up RS485 mode for Modbus-RTU

Merge pull request #3136 from mrunge/systemd_service

Remove ProtectSystem from service file

Remove ProtectSystem from service file

This prevents showing eg. /etc if that's a separate file system.

Resolves: https://github.com/collectd/collectd/issues/3134

Merge pull request #2891 from elfiesmelfie/feat_intel_rdt

Intel RDT plugin: add support for groups of PIDs.

Merge pull request #3117 from elfiesmelfie/virt_fix_option_parsing

virt: Fix parsing config file options

Merge pull request #3116 from rpv-tomsk/collectd-master

virt plugin: Fix segfaults on shutdown

virt: Add NULL checking to multiple config strings validation

Remove ERROR messages as requested by reviewer and one unnecessary condition in
if statement.

Change-Id: I2fc01f16789f7720b09d923c72339d7123d3863a
Signed-off-by: Antoine Naud <antoinex.naud@intel.com>

intel_rdt: multiple options are explicitly denied

Add a check to avoid placing multiple Cores or Processes options in
intel_rdt configuration in order to avoid misuse and errors.

Change-Id: I82504a650bf9c568862da9f129a84a3079990496
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

virt: Add NULL checking to multiple config strings validation

Change-Id: Ic1595a9438f5af6872dc030db949223477b3f238
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

collect.conf.pod: Add more info about virt filtering options

Added more info and examples regarding virt filtering options:
-filtering by domain name
-filtering block devices
-filtering network interfaces

Change-Id: I5cfe41658f62f429b799aa93a3d0f96f7cf8b780
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>