virt: Add information about 'source' for block device

This patch adds support for checking if source property for
block device exists - this information is stored as
a 'has_source' boolean field in struct block_device.

Checking if source for block device exists is needed in scenario
when 'block info' is fetched from libvirt. 'Block info' can be fetched
only for block devices with source defined - otherwise libvirt throws
errors.

Change-Id: I76aeaf140f45f58178669e8a2a1f4d3fe980d658
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

virt: Rename block_info to block_stats

Previous name was misleading because 'block_stats'
and 'block_info' in libvirt are different entities.

Change-Id: Iadf3fa8fbfb04baabcb6a7c51590e1a2aa679cf7
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

processes: Reduce procstat entry 'age' limit

The 'age' value can grow only when process terminated.

There is no sence to wait 10 read cycles for process rebirth.

Theoretically, this reduces probability for process data takeover by
another process with same pid.

Issue: #3026

processes: Fix 'delay_rate' race condition

When ts_delay_by_tgid() failed (for example, when observable process
terminates), `ps->delay` fields are not updated and remain set to zero.

This interpreted as counter overflow and produces spike.

Issue: #3026

collectd.conf(5): finish a sentence

collectd.conf(5): fix a few typos

Rewrite configure check for CUDA

It had a bunch of issues, one of them that it touched CFLAGS, the other
that it didn't use CUDA_CFLAGS.

The check is still too simple, we need to check if we can actually use
the library instead of just the header.

Treewide: do NUL-termination correctly

This is purely cosmetic but still, it sets a good example

Fix build

lookup_identifier_t has a few array members.
To zero-initialize these we need a pair of extra braces.

See https://gcc.gnu.org/bugzilla/show_bug.cgi?id=80454

Fix a couple of warnings in test suite

src/utils_vl_lookup_test.c: In function ‘checked_lookup_add’:
src/utils_vl_lookup_test.c:91:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(ident.host, host, sizeof(ident.host));
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/utils_vl_lookup_test.c:92:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(ident.plugin, plugin, sizeof(ident.plugin));
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/utils_vl_lookup_test.c:93:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(ident.plugin_instance, plugin_instance,
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
           sizeof(ident.plugin_instance));
           ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/utils_vl_lookup_test.c:95:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(ident.type, type, sizeof(ident.type));
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/utils_vl_lookup_test.c:96:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(ident.type_instance, type_instance, sizeof(ident.type_instance));
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/utils_vl_lookup_test.c: In function ‘checked_lookup_search’:
src/utils_vl_lookup_test.c:113:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(vl.host, host, sizeof(vl.host));
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/utils_vl_lookup_test.c:114:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(vl.plugin, plugin, sizeof(vl.plugin));
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/utils_vl_lookup_test.c:115:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(vl.plugin_instance, plugin_instance, sizeof(vl.plugin_instance));
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/utils_vl_lookup_test.c:116:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(vl.type, type, sizeof(vl.type));
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/utils_vl_lookup_test.c:117:3: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   strncpy(vl.type_instance, type_instance, sizeof(vl.type_instance));
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  CCLD     test_utils_vl_lookup

Ignore test-suite.log in all directories

Merge pull request #3022 from rubenk/treewide-fix-some-style-issues

Treewide: fix some style issues

xencpu plugin: fix minor style issues

virt plugin: fix some minor style issues

utils_rrdcreate.c: fix minor style issue

utils_ovs.c: fix some minor stylistic issues

utils_db_query.c: fix some minor style issues

snmp_agent plugin: fix minor nit

postgresql plugin: fix some stylistic issues

ovs_stats plugin: fix some stylistic issues

oracle plugin: remove unneccesary cast

liboconfig: fix minor style issues

libcollectdclient: fix minor style issue

java plugin: fix minor style issue

ipmi plugin: remove unneccesary cast

intel_rdt plugin: fix some minor style issues

intel_pmu plugin: fix some minor style issues

gmond plugin: fix minor style issues

disk plugin: fix minor style issue

daemon/utils_cache.c: fix minor style issue

daemon/types_list.c: fix minor style issue

daemon/plugin.c: fix two more stylistic issues

daemon/plugin.c: remove unneccesary casts

daemon/plugin.c: fix minor style issue

cpufreq plugin: fix minor style issue

barometer plugin: remove unneccesary cast

collectd-nagios: remove unneccesary casts

ceph plugin: use recommended style for calloc

Merge pull request #3015 from bluca/dpdk_pkgconfig

configure.ac: run dpdk build tests only if pkgconfig fails

configure.ac: run dpdk build tests only if pkgconfig fails

The AC_CHECK_LIB test runs unconditionally, and fails with DPDK 18.11
when built with Meson as there is no longer a libdpdk.so linker script,
but only a pkg-config file, so -ldpdk (which is what AC_CHECK_LIB runs)
fails.

Use AC_LINK_IFELSE instead, with compiler and linker flags set
appropriately.

Signed-off-by: Luca Boccassi <bluca@debian.org>

virt plugin: Add missing config_keys

virt plugin: New options: ReportBlockDevices and ReportNetworkInterfaces

This allows to disable unneeded reports if stats are gathered by another plugin.

virt plugin: Move adding of devices into own functions

This also covers case when error while adding block device
refuse adding of domain network devices.

virt plugin: Fixed mistake in variable rename

virt plugin: Handle ignorelists properly

Added check for ignorelist_create() success.
Removed unnecessary "not null" checks in rest of code.

virt plugin: Updated InterfaceFormat documentation

Merge pull request #3014 from rpv-tomsk/collectd-master

sensors plugin: Drop support for libsensors older than 3.0.0

Merge pull request #3000 from teknoraver/master

Add ovs-dpdk extended metrics

indent with contrib/format.sh

Add ovs-dpdk extended metrics

Signed-off-by: Matteo Croce <mcroce@redhat.com>
Signed-off-by: Ryan McCabe <rmccabe@redhat.com>

sensors plugin: Drop support for libsensors older than 3.0.0

The lm_sensors-3.0.0, which introduces 'modern' API, released 2007-11-24.
The time came to drop older version support.

sensors: Removed checks for upper limit of SENSORS_API_VERSION

That makes no more sense after lm-sensors got new maintainers.

Issue: #3006

Merge pull request #3012 from rpv-tomsk/collectd-master

ovs_stats: Cleanup and improve

ovs_stats: Optimize read callback

ovs_stats: Do not create bridge if it has not be monitored.

ovs_stats: Fix indent

ovs_stats: Locking reworked

Locking now done in unified way, on top-level.
That removes usage of global variables in unprotected way.

ovs_stats: Do not create ports if there is no bridge name

That has no sence, as it will not pass condition in ovs_stats_plugin_read()

Merge pull request #3011 from rpv-tomsk/collectd-master

ovs_stats: Code style and cleanup

ovs_stats: Removed unused variable

ovs_stats: Fix indents

Merge pull request #2880 from abays/add_ovs_stats_bonds_3

ovs_stats bonds support with separate interface stats

write_mongodb: Fix plugin dependencies

Issue: #2900

Fix merge issue

Merge pull request #2807 from sileht/master

virt: allow read Hostname from libvirt metadata

virt: Fix indent

virt: Merge changes from master to resolve conflict

Merge pull request #2990 from rpv-tomsk/collectd-master

virt plugin: Document Instances option

virt: allow read Hostname from libvirt metadata

This change allows to read Hostname from Libvirt metadata API.

Applications like OVirt or Openstack Nova uses this metadata API to
store additional informations like the 'user facing' Guest name.

To do so, a new choice 'metadata' is added for 'HostnameFormat' and
'PluginInstanceFormat'. And two new options are also added to localize
the hostname into the Guest metadata: HostnameMetadataNS and
HostnameMetadataXPath.

Closes: #2805

Small snprintf optimization

Merge branch 'master' into add_ovs_stats_bonds_3

Document InterfaceStats option for ovs_stats plugin

virt plugin: Document Instances option

Documented implementation from 452324c4a5b6ec07575cfc5d5d339852b040509b

Merge pull request #2976 from luisfdez/feat/set-ok

Add a new UNKNOWN state as the initial state of metrics

Merge pull request #2985 from tylerharper/master

add Import configuration option to collectd-python documentation

add Import configuration option to collectd-python documentation

Merge pull request #2551 from klnikita/reset_disk_linux

disk plugin: reset the disk when it disappear from /proc/diskstats (Linux only)

disk plugin: Updated after review

disk plugin: Review #2551

disk: in linux, reset the disk when it disappear from diskstats

If you don't reset the diskstats_t for a given diskname when it
disappear and the disk name is reused later (for exemple an iSCSI disk)
The "disk" plugin detect an int overflow because linux /proc/diskstats are
reseted to 0 for that diskname and the plugin send incorrect stats for
the new disk.

contrib/docker: Install all recommended packages

Closes: #2974
Closes: #2973

disk plugin: Fix regression after #2955 (Drop support for Linux 2.4)

Issue: #2955

Add a new UNKNOWN state as the initial state of metrics

* UNKNOWN becomes the default state of the metrics.
* States are renumbered so UNKNOWN is lower than OKAY and the threshold
evaluation logic is consistent.
* If an invalid datasource is set in a threshold it will resolve to
UNKNOWN.

cpufreq plugin: Limit reported value of percent to 100.1

cat /sys/devices/system/cpu/cpu0/cpufreq/stats/time_in_state \
; sleep 10 ; cat /sys/devices/system/cpu/cpu0/cpufreq/stats/time_in_state
2664000 463368
1998000 59724070
2664000 463385
1998000 59725054

The sum of counters change is 1001, which produces reported value near
to 100.1%. I got calculated ds[0] = 100.100053 and such value produces gap on
charts.

Added limit to avoid such.

Merge pull request #2627 from pllopis/turbostat_fixes

turbostat plugin: add RestoreAffinityPolicy parameter

turbostat plugin: Polished RestoreAffinityPolicy option

turbostat plugin: add new setting `RestoreAffinityPolicy`

This new setting controls how the affinity is restored during
turbostat_read(). Two policies are implemented: AffinityRestore, and
AffinityAllCPUs. The default policy, AffinityRestore, behaves exactly
the same as before, which is to save affinity and to later restore it.
The second policy, RestoreAllCPUs, skips saving the affinity and
sets the affinity to all CPUs after each read. This second policy is
useful for systems where sched_getaffinity() fails and prevents data
collection.

formatting fixes

Increase turbostat_read() resiliency when sched_getaffinity() fails

Request kernel version in reported issues

Merge pull request #2979 from rpv-tomsk/collectd-master

swap plugin: Drop support for Linux 2.4.

swap plugin: Drop support for Linux 2.4.

Related: #2955

Merge pull request #2978 from rpv-tomsk/collectd-master

virt plugin: Cleanup

virt plugin: Cleanup

Merge pull request #2923 from qdbp/gpu_nvml_plugin

New plugin: gpu_nvidia collects NVIDIA GPU stats.

rename plugin to "gpu_nvidia"

Merge branch 'collectd-5.8' into master

Conflicts:
src/disk.c
src/virt.c

Merge branch 'collectd-5.7' into collectd-5.8

Conflicts:
src/utils_mount.c

Merge pull request #2975 from octo/issue/2954

zfs_arc: Ignore the first two lines of the statistics file on Linux (5.7 cherry-pick)

contrib/format.sh src/zfs_arc.c