virt plugin: New options: ReportBlockDevices and ReportNetworkInterfaces

This allows to disable unneeded reports if stats are gathered by another plugin.

virt plugin: Move adding of devices into own functions

This also covers case when error while adding block device
refuse adding of domain network devices.

virt plugin: Fixed mistake in variable rename

virt plugin: Handle ignorelists properly

Added check for ignorelist_create() success.
Removed unnecessary "not null" checks in rest of code.

virt plugin: Updated InterfaceFormat documentation

Merge pull request #3014 from rpv-tomsk/collectd-master

sensors plugin: Drop support for libsensors older than 3.0.0

Merge pull request #3000 from teknoraver/master

Add ovs-dpdk extended metrics

indent with contrib/format.sh

Add ovs-dpdk extended metrics

Signed-off-by: Matteo Croce <mcroce@redhat.com>
Signed-off-by: Ryan McCabe <rmccabe@redhat.com>

sensors plugin: Drop support for libsensors older than 3.0.0

The lm_sensors-3.0.0, which introduces 'modern' API, released 2007-11-24.
The time came to drop older version support.

sensors: Removed checks for upper limit of SENSORS_API_VERSION

That makes no more sense after lm-sensors got new maintainers.

Issue: #3006

Merge pull request #3012 from rpv-tomsk/collectd-master

ovs_stats: Cleanup and improve

ovs_stats: Optimize read callback

ovs_stats: Do not create bridge if it has not be monitored.

ovs_stats: Fix indent

ovs_stats: Locking reworked

Locking now done in unified way, on top-level.
That removes usage of global variables in unprotected way.

ovs_stats: Do not create ports if there is no bridge name

That has no sence, as it will not pass condition in ovs_stats_plugin_read()

Merge pull request #3011 from rpv-tomsk/collectd-master

ovs_stats: Code style and cleanup

ovs_stats: Removed unused variable

ovs_stats: Fix indents

Merge pull request #2880 from abays/add_ovs_stats_bonds_3

ovs_stats bonds support with separate interface stats

write_mongodb: Fix plugin dependencies

Issue: #2900

Fix merge issue

Merge pull request #2807 from sileht/master

virt: allow read Hostname from libvirt metadata

virt: Fix indent

virt: Merge changes from master to resolve conflict

Merge pull request #2990 from rpv-tomsk/collectd-master

virt plugin: Document Instances option

virt: allow read Hostname from libvirt metadata

This change allows to read Hostname from Libvirt metadata API.

Applications like OVirt or Openstack Nova uses this metadata API to
store additional informations like the 'user facing' Guest name.

To do so, a new choice 'metadata' is added for 'HostnameFormat' and
'PluginInstanceFormat'. And two new options are also added to localize
the hostname into the Guest metadata: HostnameMetadataNS and
HostnameMetadataXPath.

Closes: #2805

Small snprintf optimization

Merge branch 'master' into add_ovs_stats_bonds_3

Document InterfaceStats option for ovs_stats plugin

virt plugin: Document Instances option

Documented implementation from 452324c4a5b6ec07575cfc5d5d339852b040509b

Merge pull request #2976 from luisfdez/feat/set-ok

Add a new UNKNOWN state as the initial state of metrics

Merge pull request #2985 from tylerharper/master

add Import configuration option to collectd-python documentation

add Import configuration option to collectd-python documentation

Merge pull request #2551 from klnikita/reset_disk_linux

disk plugin: reset the disk when it disappear from /proc/diskstats (Linux only)

disk plugin: Updated after review

disk plugin: Review #2551

disk: in linux, reset the disk when it disappear from diskstats

If you don't reset the diskstats_t for a given diskname when it
disappear and the disk name is reused later (for exemple an iSCSI disk)
The "disk" plugin detect an int overflow because linux /proc/diskstats are
reseted to 0 for that diskname and the plugin send incorrect stats for
the new disk.

contrib/docker: Install all recommended packages

Closes: #2974
Closes: #2973

disk plugin: Fix regression after #2955 (Drop support for Linux 2.4)

Issue: #2955

Add a new UNKNOWN state as the initial state of metrics

* UNKNOWN becomes the default state of the metrics.
* States are renumbered so UNKNOWN is lower than OKAY and the threshold
evaluation logic is consistent.
* If an invalid datasource is set in a threshold it will resolve to
UNKNOWN.

cpufreq plugin: Limit reported value of percent to 100.1

cat /sys/devices/system/cpu/cpu0/cpufreq/stats/time_in_state \
; sleep 10 ; cat /sys/devices/system/cpu/cpu0/cpufreq/stats/time_in_state
2664000 463368
1998000 59724070
2664000 463385
1998000 59725054

The sum of counters change is 1001, which produces reported value near
to 100.1%. I got calculated ds[0] = 100.100053 and such value produces gap on
charts.

Added limit to avoid such.

Merge pull request #2627 from pllopis/turbostat_fixes

turbostat plugin: add RestoreAffinityPolicy parameter

turbostat plugin: Polished RestoreAffinityPolicy option

turbostat plugin: add new setting `RestoreAffinityPolicy`

This new setting controls how the affinity is restored during
turbostat_read(). Two policies are implemented: AffinityRestore, and
AffinityAllCPUs. The default policy, AffinityRestore, behaves exactly
the same as before, which is to save affinity and to later restore it.
The second policy, RestoreAllCPUs, skips saving the affinity and
sets the affinity to all CPUs after each read. This second policy is
useful for systems where sched_getaffinity() fails and prevents data
collection.

formatting fixes

Increase turbostat_read() resiliency when sched_getaffinity() fails

Request kernel version in reported issues

Merge pull request #2979 from rpv-tomsk/collectd-master

swap plugin: Drop support for Linux 2.4.

swap plugin: Drop support for Linux 2.4.

Related: #2955

Merge pull request #2978 from rpv-tomsk/collectd-master

virt plugin: Cleanup

virt plugin: Cleanup

Merge pull request #2923 from qdbp/gpu_nvml_plugin

New plugin: gpu_nvidia collects NVIDIA GPU stats.

rename plugin to "gpu_nvidia"

Merge branch 'collectd-5.8' into master

Conflicts:
src/disk.c
src/virt.c

Merge branch 'collectd-5.7' into collectd-5.8

Conflicts:
src/utils_mount.c

Merge pull request #2975 from octo/issue/2954

zfs_arc: Ignore the first two lines of the statistics file on Linux (5.7 cherry-pick)

contrib/format.sh src/zfs_arc.c

zfs_arc: Ignore the first two lines of the statistics file on Linux.

The first two lines of the statistics file on Linux contain information about
the rest of the file. They do not contain any usable statistics.
See module/spl/spl-kstat.c of the spl module of ZFS on Linux for more
information.

Merge pull request #2972 from rpv-tomsk/collectd-collectd-5.8

virt plugin: Remove optional virDomainGetCPUStats() from main flow

virt plugin: Move `get_pcpu_stats()' down to avoid forward declaration of `submit_derive2()'

virt plugin: Submit `ps_cputime' only when data exists

virt plugin: Remove optional virDomainGetCPUStats() from main flow

virDomainGetCPUStats() call is only required when `pcpu' extra statistics is requested.
While not supported in all configurations, this call may fail which causes failure in
reporting of other domain metrics.

Merge pull request #2969 from rpv-tomsk/issue-2173

write_prometheus: Added 'Host' option.

Merge pull request #2970 from octo/ff/oauth

src/utils_oauth.c: Renew OAuth tokens 30 seconds before they expire.

Merge pull request #2971 from rubenk/gpsd-fix-build

gps plugin: fix build with newer gpsd

Added missing include of "collectd.h"

This adressed to solve compilation issue on Solaris platform:

./src/config.h:1526:0: error: "_FILE_OFFSET_BITS" redefined [-Werror]

gps plugin: fix build with newer gpsd

gpsd version 3.18 changed the prototype of gps_read(). Make the
gps_read() call depend on GPSD_API_MAJOR_VERSION to fix that.

This fixes build failures like:

gps.c: In function 'cgps_thread':
gps.c:144:11: error: too few arguments to function 'gps_read'
       if (gps_read(&gpsd_conn) == -1) {
   ^~~~~~~~

(cherry picked from commit 991a6d3fd38c2435d94de3853fda36b3330cf6ab)

write_prometheus: Added 'Host' option.

This allows to set specific address to listen on.

Closes: #2173
Closes: #2288

src/utils_oauth.c: Renew OAuth tokens 30 seconds before they expire.

This solves sporious errors like this one:

    write_stackdriver plugin: POST https://monitoring.googleapis.com/v3/projects/{projectId}/timeSeries:
      API error 401: Request had invalid authentication credentials.
      Expected OAuth 2 access token, login cookie or other valid authentication credential.
      See https://developers.google.com/identity/sign-in/web/devconsole-project.

fix formatting

address PR review issues

ChangeLog: Correct date for 5.8.1 release.

change HAVE_UDEV_H to HAVE_LIBUDEV_H for bug 2651

(cherry picked from commit ed696c1b3adcb42d55759efe6f8034337f0fd243)

Merge remote-tracking branch 'github/pr/2964'

merge upstream

ovs_stats: use correct OpenFlow value

The correct value in the OpenFlow 1.4 statistics is 1024_to_1522_packets,
even if collectd is using 1024_to_1518_packets:

$ ovs-ofctl -O OpenFlow14 dump-ports ovsbr0
OFPST_PORT reply (OF1.4) (xid=0x2): 3 ports
  port  guest2: rx pkts=0, bytes=0, drop=0, errs=0, frame=?, over=?, crc=?
           tx pkts=0, bytes=0, drop=0, errs=?, coll=?
           duration=132.213s
           rx rfc2819 1_to_64_packets=0, 65_to_127_packets=0,
           128_to_255_packets=0, 256_to_511_packets=0,
           512_to_1023_packets=0, 1024_to_1522_packets=0,
           1523_to_max_packets=0,

Correct it to the right value.

Signed-off-by: Matteo Croce <mcroce@redhat.com>

changes from PR review

Bump version to 5.8.1; Update ChangeLog.

cleanup: Use compound literals for SO_REUSEADDR setsockopt

Merge pull request #2803 from rorysexton/dev_branch

cpufreq plugin: Read number of p-state transitions and time spent in each p-state

cpufreq plugin: Address code review comments

cpufreq plugin: Address code review comments

cpufreq plugin: Reviewed p-state statistics code

cpufreq: Review time_in_state metric

cpufreq: Review p-state transitions metric

Clang format

Addressing comments on previous commit.

Updating cpufreq.c from clang-format

Extending cpufreq plugin to read the following additional metrics:
  - number of p-state(cpu frequency) transitions
  - time spent in each p-state

Both metrics are reported by the Linux cpufreq-stats driver:
https://www.kernel.org/doc/Documentation/cpu-freq/cpufreq-stats.txt

ovs_stats: add macro to populate counters list

Use a stringification macro to populate the counter array. Doing this
instead of duplicating the tokens is less error prone.

Signed-off-by: Matteo Croce <mcroce@redhat.com>

Merge pull request #2962 from octo/utils_mount

src/utils_mount.c: Add code path for HAVE_GETMNTENT_R.

docs/review_comments.md: Add paragraph "Define variables on first use".

Merge pull request #2806 from rorysexton/dev_turbostat_plugin

turbostat plugin: New metrics: P-states,Turboboost,Platform TDP,Uncore bus ratio

docs/review_comments.md: Start document with frequent review comments.

statsd: Set SO_REUSEADDR on listening socket

Closes: #1126
Closes: #1187

src/daemon/utils_cache_mock.c: Add uc_meta_data_{add,get}_signed_int().

Fixes test_format_stackdriver.

write_stackdriver plugin: Remove redundant error message.

A more detailed error is previously logged by wg_call_timeseries_write.

write_stackdriver plugin: Check "http_code" instead of "status".