virt: Merge changes from master to resolve conflict

virt: allow read Hostname from libvirt metadata

This change allows to read Hostname from Libvirt metadata API.

Applications like OVirt or Openstack Nova uses this metadata API to
store additional informations like the 'user facing' Guest name.

To do so, a new choice 'metadata' is added for 'HostnameFormat' and
'PluginInstanceFormat'. And two new options are also added to localize
the hostname into the Guest metadata: HostnameMetadataNS and
HostnameMetadataXPath.

Closes: #2805

virt plugin: Document Instances option

Documented implementation from 452324c4a5b6ec07575cfc5d5d339852b040509b

Merge pull request #2976 from luisfdez/feat/set-ok

Add a new UNKNOWN state as the initial state of metrics

Merge pull request #2985 from tylerharper/master

add Import configuration option to collectd-python documentation

add Import configuration option to collectd-python documentation

Merge pull request #2551 from klnikita/reset_disk_linux

disk plugin: reset the disk when it disappear from /proc/diskstats (Linux only)

disk plugin: Updated after review

disk plugin: Review #2551

disk: in linux, reset the disk when it disappear from diskstats

If you don't reset the diskstats_t for a given diskname when it
disappear and the disk name is reused later (for exemple an iSCSI disk)
The "disk" plugin detect an int overflow because linux /proc/diskstats are
reseted to 0 for that diskname and the plugin send incorrect stats for
the new disk.

contrib/docker: Install all recommended packages

Closes: #2974
Closes: #2973

disk plugin: Fix regression after #2955 (Drop support for Linux 2.4)

Issue: #2955

Add a new UNKNOWN state as the initial state of metrics

* UNKNOWN becomes the default state of the metrics.
* States are renumbered so UNKNOWN is lower than OKAY and the threshold
evaluation logic is consistent.
* If an invalid datasource is set in a threshold it will resolve to
UNKNOWN.

cpufreq plugin: Limit reported value of percent to 100.1

cat /sys/devices/system/cpu/cpu0/cpufreq/stats/time_in_state \
; sleep 10 ; cat /sys/devices/system/cpu/cpu0/cpufreq/stats/time_in_state
2664000 463368
1998000 59724070
2664000 463385
1998000 59725054

The sum of counters change is 1001, which produces reported value near
to 100.1%. I got calculated ds[0] = 100.100053 and such value produces gap on
charts.

Added limit to avoid such.

Merge pull request #2627 from pllopis/turbostat_fixes

turbostat plugin: add RestoreAffinityPolicy parameter

turbostat plugin: Polished RestoreAffinityPolicy option

turbostat plugin: add new setting `RestoreAffinityPolicy`

This new setting controls how the affinity is restored during
turbostat_read(). Two policies are implemented: AffinityRestore, and
AffinityAllCPUs. The default policy, AffinityRestore, behaves exactly
the same as before, which is to save affinity and to later restore it.
The second policy, RestoreAllCPUs, skips saving the affinity and
sets the affinity to all CPUs after each read. This second policy is
useful for systems where sched_getaffinity() fails and prevents data
collection.

formatting fixes

Increase turbostat_read() resiliency when sched_getaffinity() fails

Request kernel version in reported issues

Merge pull request #2979 from rpv-tomsk/collectd-master

swap plugin: Drop support for Linux 2.4.

swap plugin: Drop support for Linux 2.4.

Related: #2955

Merge pull request #2978 from rpv-tomsk/collectd-master

virt plugin: Cleanup

virt plugin: Cleanup

Merge pull request #2923 from qdbp/gpu_nvml_plugin

New plugin: gpu_nvidia collects NVIDIA GPU stats.

rename plugin to "gpu_nvidia"

Merge branch 'collectd-5.8' into master

Conflicts:
src/disk.c
src/virt.c

Merge branch 'collectd-5.7' into collectd-5.8

Conflicts:
src/utils_mount.c

Merge pull request #2975 from octo/issue/2954

zfs_arc: Ignore the first two lines of the statistics file on Linux (5.7 cherry-pick)

contrib/format.sh src/zfs_arc.c

zfs_arc: Ignore the first two lines of the statistics file on Linux.

The first two lines of the statistics file on Linux contain information about
the rest of the file. They do not contain any usable statistics.
See module/spl/spl-kstat.c of the spl module of ZFS on Linux for more
information.

Merge pull request #2972 from rpv-tomsk/collectd-collectd-5.8

virt plugin: Remove optional virDomainGetCPUStats() from main flow

virt plugin: Move `get_pcpu_stats()' down to avoid forward declaration of `submit_derive2()'

virt plugin: Submit `ps_cputime' only when data exists

virt plugin: Remove optional virDomainGetCPUStats() from main flow

virDomainGetCPUStats() call is only required when `pcpu' extra statistics is requested.
While not supported in all configurations, this call may fail which causes failure in
reporting of other domain metrics.

Merge pull request #2969 from rpv-tomsk/issue-2173

write_prometheus: Added 'Host' option.

Merge pull request #2970 from octo/ff/oauth

src/utils_oauth.c: Renew OAuth tokens 30 seconds before they expire.

Merge pull request #2971 from rubenk/gpsd-fix-build

gps plugin: fix build with newer gpsd

Added missing include of "collectd.h"

This adressed to solve compilation issue on Solaris platform:

./src/config.h:1526:0: error: "_FILE_OFFSET_BITS" redefined [-Werror]

gps plugin: fix build with newer gpsd

gpsd version 3.18 changed the prototype of gps_read(). Make the
gps_read() call depend on GPSD_API_MAJOR_VERSION to fix that.

This fixes build failures like:

gps.c: In function 'cgps_thread':
gps.c:144:11: error: too few arguments to function 'gps_read'
       if (gps_read(&gpsd_conn) == -1) {
   ^~~~~~~~

(cherry picked from commit 991a6d3fd38c2435d94de3853fda36b3330cf6ab)

write_prometheus: Added 'Host' option.

This allows to set specific address to listen on.

Closes: #2173
Closes: #2288

src/utils_oauth.c: Renew OAuth tokens 30 seconds before they expire.

This solves sporious errors like this one:

    write_stackdriver plugin: POST https://monitoring.googleapis.com/v3/projects/{projectId}/timeSeries:
      API error 401: Request had invalid authentication credentials.
      Expected OAuth 2 access token, login cookie or other valid authentication credential.
      See https://developers.google.com/identity/sign-in/web/devconsole-project.

fix formatting

address PR review issues

ChangeLog: Correct date for 5.8.1 release.

change HAVE_UDEV_H to HAVE_LIBUDEV_H for bug 2651

(cherry picked from commit ed696c1b3adcb42d55759efe6f8034337f0fd243)

Merge remote-tracking branch 'github/pr/2964'

merge upstream

ovs_stats: use correct OpenFlow value

The correct value in the OpenFlow 1.4 statistics is 1024_to_1522_packets,
even if collectd is using 1024_to_1518_packets:

$ ovs-ofctl -O OpenFlow14 dump-ports ovsbr0
OFPST_PORT reply (OF1.4) (xid=0x2): 3 ports
  port  guest2: rx pkts=0, bytes=0, drop=0, errs=0, frame=?, over=?, crc=?
           tx pkts=0, bytes=0, drop=0, errs=?, coll=?
           duration=132.213s
           rx rfc2819 1_to_64_packets=0, 65_to_127_packets=0,
           128_to_255_packets=0, 256_to_511_packets=0,
           512_to_1023_packets=0, 1024_to_1522_packets=0,
           1523_to_max_packets=0,

Correct it to the right value.

Signed-off-by: Matteo Croce <mcroce@redhat.com>

changes from PR review

Bump version to 5.8.1; Update ChangeLog.

cleanup: Use compound literals for SO_REUSEADDR setsockopt

Merge pull request #2803 from rorysexton/dev_branch

cpufreq plugin: Read number of p-state transitions and time spent in each p-state

cpufreq plugin: Address code review comments

cpufreq plugin: Address code review comments

cpufreq plugin: Reviewed p-state statistics code

cpufreq: Review time_in_state metric

cpufreq: Review p-state transitions metric

Clang format

Addressing comments on previous commit.

Updating cpufreq.c from clang-format

Extending cpufreq plugin to read the following additional metrics:
  - number of p-state(cpu frequency) transitions
  - time spent in each p-state

Both metrics are reported by the Linux cpufreq-stats driver:
https://www.kernel.org/doc/Documentation/cpu-freq/cpufreq-stats.txt

ovs_stats: add macro to populate counters list

Use a stringification macro to populate the counter array. Doing this
instead of duplicating the tokens is less error prone.

Signed-off-by: Matteo Croce <mcroce@redhat.com>

Merge pull request #2962 from octo/utils_mount

src/utils_mount.c: Add code path for HAVE_GETMNTENT_R.

docs/review_comments.md: Add paragraph "Define variables on first use".

Merge pull request #2806 from rorysexton/dev_turbostat_plugin

turbostat plugin: New metrics: P-states,Turboboost,Platform TDP,Uncore bus ratio

docs/review_comments.md: Start document with frequent review comments.

statsd: Set SO_REUSEADDR on listening socket

Closes: #1126
Closes: #1187

src/daemon/utils_cache_mock.c: Add uc_meta_data_{add,get}_signed_int().

Fixes test_format_stackdriver.

write_stackdriver plugin: Remove redundant error message.

A more detailed error is previously logged by wg_call_timeseries_write.

write_stackdriver plugin: Check "http_code" instead of "status".

write_stackdriver plugin: Check pointer for NULL before dereferencing it.

src/utils_mount.c: Add code path for HAVE_GETMNTENT_R.

I don't know when this got lost or why it is triggering now, but the
build fails on my machine without this now.

Makefile.am: s/EXTRA_LTLIBRARIES/noinst_LTLIBRARIES/

9a31008108740bf39d86bdfcb86363a71cad7c0c did not make it into the PR
branch. :\

Merge remote-tracking branch 'github/pr/2472'

Merge branch 'collectd-5.7' into collectd-5.8

Auto-Merge pull request #2957 from niuxu18/collectd-5.8

Automatically merged due to "Automerge" label

Update virt.c

Auto-Merge pull request #2955 from octo/linux-2.4

Automatically merged due to "Automerge" label

disk plugin: Drop support for Linux 2.4.

Fix Solaris builds

Change introduced in df135922b19890047ebf725e6b82cd1c174c6d52 (#2810) causes build
failure on Solaris:

src/libcollectdclient/server.c: In function ‘server_multicast_join’:
src/libcollectdclient/server.c:103:9: error: unknown field ‘imr_address’ specified in initializer
         .imr_address.s_addr = INADDR_ANY, .imr_multiaddr.s_addr = sa->s_addr,
         ^
src/libcollectdclient/server.c:103:69: error: ‘struct sockaddr_in’ has no member named ‘S_un’
         .imr_address.s_addr = INADDR_ANY, .imr_multiaddr.s_addr = sa->s_addr,
                                                                     ^
src/libcollectdclient/server.c:102:27: error: missing braces around initializer [-Werror=missing-braces]
     struct ip_mreq mreq = {
                           ^
src/libcollectdclient/server.c:102:27: note: (near initialization for ‘mreq’)

Removed this change as not related to WIN32 platform.

Fix Solaris builds

Change introduced in df135922b19890047ebf725e6b82cd1c174c6d52 (#2810) causes build
failure on Solaris:

src/libcollectdclient/server.c: In function ‘server_multicast_join’:
src/libcollectdclient/server.c:103:9: error: unknown field ‘imr_address’ specified in initializer
         .imr_address.s_addr = INADDR_ANY, .imr_multiaddr.s_addr = sa->s_addr,
         ^
src/libcollectdclient/server.c:103:69: error: ‘struct sockaddr_in’ has no member named ‘S_un’
         .imr_address.s_addr = INADDR_ANY, .imr_multiaddr.s_addr = sa->s_addr,
                                                                     ^
src/libcollectdclient/server.c:102:27: error: missing braces around initializer [-Werror=missing-braces]
     struct ip_mreq mreq = {
                           ^
src/libcollectdclient/server.c:102:27: note: (near initialization for ‘mreq’)

Removed this change as not related to WIN32 platform.

Fix 'make distcheck' (for `master-aggregation` hook)

Change introduced in df135922b19890047ebf725e6b82cd1c174c6d52 (#2810)

This change causes error in 'master-aggregation' hook:

ERROR: files left in build directory after distclean:
./liboconfig.la
./libcommon.la
./libmount.la
./libformat_json.la
./libheap.la
./libignorelist.la
./libavltree.la
./libformat_graphite.la
./liblatency.la
./liblookup.la
./libmetadata.la
./libcmds.la

Auto-Merge pull request #2953 from rpv-tomsk/collectd-collectd-5.8

Automatically merged due to "Automerge" label

ntpd: plug potential leak on error

Issue: #2942

Auto-Merge pull request #2950 from octo/ff/wireless

Automatically merged due to "Automerge" label

Auto-Merge pull request #2952 from octo/issue/2951

Automatically merged due to "Automerge" label

disk plugin: Support Linux kernels with additional fields.

Linux 4.19 will add additional counters, which caused this plugin to
bail out because it checked the number of fields exactly instead of
ensuring that there are *at least* the number of fields expected.

Fixes: #2951

wireless plugin: Add bitrate metric.

Auto-Merge pull request #2949 from rubenk/fix-detection-of-xmms

Automatically merged due to "Automerge" label

Fix detection of xmmsctrl.h

checking xmmsctrl.h usability... yes
checking xmmsctrl.h presence... no
configure: WARNING: xmmsctrl.h: accepted by the compiler, rejected by the preprocessor!
configure: WARNING: xmmsctrl.h: proceeding with the compiler's result
checking for xmmsctrl.h... yes
checking for xmms_remote_get_info in -lxmms... yes

AC_CHECK_HEADER uses the preprocessor, which doesn't look at CFLAGS.
Use CPPFLAGS so it uses the right include path to look for xmmsctrl.h

src/utils_format_stackdriver.c: Fix initial value of cumulative metrics.

The start value of cumulative metrics is stored in the cache. The first
value of a cumulative metric is then skipped, since Stackdriver required
the interval to be non-zero.

While looking into this, I realized that "absolute" metrics are not
cumulative and changed them accordingly.

Auto-Merge pull request #2948 from rubenk/turbostat-free-the-right-vars

Automatically merged due to "Automerge" label

turbostat plugin: free the right variable

scan-build: Using '/usr/bin/clang-6.0' for static analysis
make  all-am
make[1]: Entering directory '/home/ruben/src/collectd'
  CC       src/turbostat.lo
src/turbostat.c:1292:5: warning: Argument to free() is the address of the global variable 'thread_delta', which is not memory allocated by malloc()
    sfree(threads);
    ^~~~~~~~~~~~~~
./src/daemon/common.h:41:5: note: expanded from macro 'sfree'
    free(ptr);                                                                 \
    ^~~~~~~~~
src/turbostat.c:1299:5: warning: Argument to free() is the address of the global variable 'core_delta', which is not memory allocated by malloc()
    sfree(cores);
    ^~~~~~~~~~~~
./src/daemon/common.h:41:5: note: expanded from macro 'sfree'
    free(ptr);                                                                 \
    ^~~~~~~~~
2 warnings generated.
  CCLD     turbostat.la

(cherry picked from commit 74eda959ddf653b7d20779d84f0a140e85376726)

Merge pull request #2947 from baruchsiach/fix-build-gpsd

gps plugin: fix build with newer gpsd

gps plugin: fix build with newer gpsd

gpsd version 3.18 changed the prototype of gps_read(). Make the
gps_read() call depend on GPSD_API_MAJOR_VERSION to fix that.

This fixes build failures like:

gps.c: In function 'cgps_thread':
gps.c:144:11: error: too few arguments to function 'gps_read'
       if (gps_read(&gpsd_conn) == -1) {
   ^~~~~~~~

Auto-Merge pull request #2945 from octo/ff/travis

Automatically merged due to "Automerge" label

.travis.yml: Determine number of CPUs at runtime.

Auto-Merge pull request #2944 from octo/ff/typo

Automatically merged due to "Automerge" label

exec: fix potential deadlock after fork()

POSIX forbids calling functions which are not thread-safe like
setenv() after fork() in multi-threaded programs. It happens to
work just fine with some libc implementations, but it causes a
deadlock in the child process with uClibc for example.

The proper way to pass new environment variables to the child
process is to update parent's environment before the fork(), so
that the child inherits the updated environment and then undo the
changes in the parent process again.

Signed-off-by: Florian Forster <octo@collectd.org>