Merge branch 'collectd-5.8' into master

Conflicts:
src/disk.c
src/virt.c

Merge branch 'collectd-5.7' into collectd-5.8

Conflicts:
src/utils_mount.c

Merge pull request #2975 from octo/issue/2954

zfs_arc: Ignore the first two lines of the statistics file on Linux (5.7 cherry-pick)

contrib/format.sh src/zfs_arc.c

zfs_arc: Ignore the first two lines of the statistics file on Linux.

The first two lines of the statistics file on Linux contain information about
the rest of the file. They do not contain any usable statistics.
See module/spl/spl-kstat.c of the spl module of ZFS on Linux for more
information.

Merge pull request #2972 from rpv-tomsk/collectd-collectd-5.8

virt plugin: Remove optional virDomainGetCPUStats() from main flow

virt plugin: Move `get_pcpu_stats()' down to avoid forward declaration of `submit_derive2()'

virt plugin: Submit `ps_cputime' only when data exists

virt plugin: Remove optional virDomainGetCPUStats() from main flow

virDomainGetCPUStats() call is only required when `pcpu' extra statistics is requested.
While not supported in all configurations, this call may fail which causes failure in
reporting of other domain metrics.

Merge pull request #2969 from rpv-tomsk/issue-2173

write_prometheus: Added 'Host' option.

Merge pull request #2970 from octo/ff/oauth

src/utils_oauth.c: Renew OAuth tokens 30 seconds before they expire.

Merge pull request #2971 from rubenk/gpsd-fix-build

gps plugin: fix build with newer gpsd

Added missing include of "collectd.h"

This adressed to solve compilation issue on Solaris platform:

./src/config.h:1526:0: error: "_FILE_OFFSET_BITS" redefined [-Werror]

gps plugin: fix build with newer gpsd

gpsd version 3.18 changed the prototype of gps_read(). Make the
gps_read() call depend on GPSD_API_MAJOR_VERSION to fix that.

This fixes build failures like:

gps.c: In function 'cgps_thread':
gps.c:144:11: error: too few arguments to function 'gps_read'
       if (gps_read(&gpsd_conn) == -1) {
   ^~~~~~~~

(cherry picked from commit 991a6d3fd38c2435d94de3853fda36b3330cf6ab)

write_prometheus: Added 'Host' option.

This allows to set specific address to listen on.

Closes: #2173
Closes: #2288

src/utils_oauth.c: Renew OAuth tokens 30 seconds before they expire.

This solves sporious errors like this one:

    write_stackdriver plugin: POST https://monitoring.googleapis.com/v3/projects/{projectId}/timeSeries:
      API error 401: Request had invalid authentication credentials.
      Expected OAuth 2 access token, login cookie or other valid authentication credential.
      See https://developers.google.com/identity/sign-in/web/devconsole-project.

ChangeLog: Correct date for 5.8.1 release.

change HAVE_UDEV_H to HAVE_LIBUDEV_H for bug 2651

(cherry picked from commit ed696c1b3adcb42d55759efe6f8034337f0fd243)

Merge remote-tracking branch 'github/pr/2964'

ovs_stats: use correct OpenFlow value

The correct value in the OpenFlow 1.4 statistics is 1024_to_1522_packets,
even if collectd is using 1024_to_1518_packets:

$ ovs-ofctl -O OpenFlow14 dump-ports ovsbr0
OFPST_PORT reply (OF1.4) (xid=0x2): 3 ports
  port  guest2: rx pkts=0, bytes=0, drop=0, errs=0, frame=?, over=?, crc=?
           tx pkts=0, bytes=0, drop=0, errs=?, coll=?
           duration=132.213s
           rx rfc2819 1_to_64_packets=0, 65_to_127_packets=0,
           128_to_255_packets=0, 256_to_511_packets=0,
           512_to_1023_packets=0, 1024_to_1522_packets=0,
           1523_to_max_packets=0,

Correct it to the right value.

Signed-off-by: Matteo Croce <mcroce@redhat.com>

Bump version to 5.8.1; Update ChangeLog.

cleanup: Use compound literals for SO_REUSEADDR setsockopt

Merge pull request #2803 from rorysexton/dev_branch

cpufreq plugin: Read number of p-state transitions and time spent in each p-state

cpufreq plugin: Address code review comments

cpufreq plugin: Address code review comments

cpufreq plugin: Reviewed p-state statistics code

cpufreq: Review time_in_state metric

cpufreq: Review p-state transitions metric

Clang format

Addressing comments on previous commit.

Updating cpufreq.c from clang-format

Extending cpufreq plugin to read the following additional metrics:
  - number of p-state(cpu frequency) transitions
  - time spent in each p-state

Both metrics are reported by the Linux cpufreq-stats driver:
https://www.kernel.org/doc/Documentation/cpu-freq/cpufreq-stats.txt

ovs_stats: add macro to populate counters list

Use a stringification macro to populate the counter array. Doing this
instead of duplicating the tokens is less error prone.

Signed-off-by: Matteo Croce <mcroce@redhat.com>

Merge pull request #2962 from octo/utils_mount

src/utils_mount.c: Add code path for HAVE_GETMNTENT_R.

docs/review_comments.md: Add paragraph "Define variables on first use".

Merge pull request #2806 from rorysexton/dev_turbostat_plugin

turbostat plugin: New metrics: P-states,Turboboost,Platform TDP,Uncore bus ratio

docs/review_comments.md: Start document with frequent review comments.

statsd: Set SO_REUSEADDR on listening socket

Closes: #1126
Closes: #1187

src/daemon/utils_cache_mock.c: Add uc_meta_data_{add,get}_signed_int().

Fixes test_format_stackdriver.

write_stackdriver plugin: Remove redundant error message.

A more detailed error is previously logged by wg_call_timeseries_write.

write_stackdriver plugin: Check "http_code" instead of "status".

write_stackdriver plugin: Check pointer for NULL before dereferencing it.

src/utils_mount.c: Add code path for HAVE_GETMNTENT_R.

I don't know when this got lost or why it is triggering now, but the
build fails on my machine without this now.

Makefile.am: s/EXTRA_LTLIBRARIES/noinst_LTLIBRARIES/

9a31008108740bf39d86bdfcb86363a71cad7c0c did not make it into the PR
branch. :\

Merge remote-tracking branch 'github/pr/2472'

Merge branch 'collectd-5.7' into collectd-5.8

Auto-Merge pull request #2957 from niuxu18/collectd-5.8

Automatically merged due to "Automerge" label

Update virt.c

Auto-Merge pull request #2955 from octo/linux-2.4

Automatically merged due to "Automerge" label

disk plugin: Drop support for Linux 2.4.

Fix Solaris builds

Change introduced in df135922b19890047ebf725e6b82cd1c174c6d52 (#2810) causes build
failure on Solaris:

src/libcollectdclient/server.c: In function ‘server_multicast_join’:
src/libcollectdclient/server.c:103:9: error: unknown field ‘imr_address’ specified in initializer
         .imr_address.s_addr = INADDR_ANY, .imr_multiaddr.s_addr = sa->s_addr,
         ^
src/libcollectdclient/server.c:103:69: error: ‘struct sockaddr_in’ has no member named ‘S_un’
         .imr_address.s_addr = INADDR_ANY, .imr_multiaddr.s_addr = sa->s_addr,
                                                                     ^
src/libcollectdclient/server.c:102:27: error: missing braces around initializer [-Werror=missing-braces]
     struct ip_mreq mreq = {
                           ^
src/libcollectdclient/server.c:102:27: note: (near initialization for ‘mreq’)

Removed this change as not related to WIN32 platform.

Fix Solaris builds

Change introduced in df135922b19890047ebf725e6b82cd1c174c6d52 (#2810) causes build
failure on Solaris:

src/libcollectdclient/server.c: In function ‘server_multicast_join’:
src/libcollectdclient/server.c:103:9: error: unknown field ‘imr_address’ specified in initializer
         .imr_address.s_addr = INADDR_ANY, .imr_multiaddr.s_addr = sa->s_addr,
         ^
src/libcollectdclient/server.c:103:69: error: ‘struct sockaddr_in’ has no member named ‘S_un’
         .imr_address.s_addr = INADDR_ANY, .imr_multiaddr.s_addr = sa->s_addr,
                                                                     ^
src/libcollectdclient/server.c:102:27: error: missing braces around initializer [-Werror=missing-braces]
     struct ip_mreq mreq = {
                           ^
src/libcollectdclient/server.c:102:27: note: (near initialization for ‘mreq’)

Removed this change as not related to WIN32 platform.

Fix 'make distcheck' (for `master-aggregation` hook)

Change introduced in df135922b19890047ebf725e6b82cd1c174c6d52 (#2810)

This change causes error in 'master-aggregation' hook:

ERROR: files left in build directory after distclean:
./liboconfig.la
./libcommon.la
./libmount.la
./libformat_json.la
./libheap.la
./libignorelist.la
./libavltree.la
./libformat_graphite.la
./liblatency.la
./liblookup.la
./libmetadata.la
./libcmds.la

Auto-Merge pull request #2953 from rpv-tomsk/collectd-collectd-5.8

Automatically merged due to "Automerge" label

ntpd: plug potential leak on error

Issue: #2942

Auto-Merge pull request #2950 from octo/ff/wireless

Automatically merged due to "Automerge" label

Auto-Merge pull request #2952 from octo/issue/2951

Automatically merged due to "Automerge" label

disk plugin: Support Linux kernels with additional fields.

Linux 4.19 will add additional counters, which caused this plugin to
bail out because it checked the number of fields exactly instead of
ensuring that there are *at least* the number of fields expected.

Fixes: #2951

wireless plugin: Add bitrate metric.

Auto-Merge pull request #2949 from rubenk/fix-detection-of-xmms

Automatically merged due to "Automerge" label

Fix detection of xmmsctrl.h

checking xmmsctrl.h usability... yes
checking xmmsctrl.h presence... no
configure: WARNING: xmmsctrl.h: accepted by the compiler, rejected by the preprocessor!
configure: WARNING: xmmsctrl.h: proceeding with the compiler's result
checking for xmmsctrl.h... yes
checking for xmms_remote_get_info in -lxmms... yes

AC_CHECK_HEADER uses the preprocessor, which doesn't look at CFLAGS.
Use CPPFLAGS so it uses the right include path to look for xmmsctrl.h

src/utils_format_stackdriver.c: Fix initial value of cumulative metrics.

The start value of cumulative metrics is stored in the cache. The first
value of a cumulative metric is then skipped, since Stackdriver required
the interval to be non-zero.

While looking into this, I realized that "absolute" metrics are not
cumulative and changed them accordingly.

Auto-Merge pull request #2948 from rubenk/turbostat-free-the-right-vars

Automatically merged due to "Automerge" label

turbostat plugin: free the right variable

scan-build: Using '/usr/bin/clang-6.0' for static analysis
make  all-am
make[1]: Entering directory '/home/ruben/src/collectd'
  CC       src/turbostat.lo
src/turbostat.c:1292:5: warning: Argument to free() is the address of the global variable 'thread_delta', which is not memory allocated by malloc()
    sfree(threads);
    ^~~~~~~~~~~~~~
./src/daemon/common.h:41:5: note: expanded from macro 'sfree'
    free(ptr);                                                                 \
    ^~~~~~~~~
src/turbostat.c:1299:5: warning: Argument to free() is the address of the global variable 'core_delta', which is not memory allocated by malloc()
    sfree(cores);
    ^~~~~~~~~~~~
./src/daemon/common.h:41:5: note: expanded from macro 'sfree'
    free(ptr);                                                                 \
    ^~~~~~~~~
2 warnings generated.
  CCLD     turbostat.la

(cherry picked from commit 74eda959ddf653b7d20779d84f0a140e85376726)

Merge pull request #2947 from baruchsiach/fix-build-gpsd

gps plugin: fix build with newer gpsd

gps plugin: fix build with newer gpsd

gpsd version 3.18 changed the prototype of gps_read(). Make the
gps_read() call depend on GPSD_API_MAJOR_VERSION to fix that.

This fixes build failures like:

gps.c: In function 'cgps_thread':
gps.c:144:11: error: too few arguments to function 'gps_read'
       if (gps_read(&gpsd_conn) == -1) {
   ^~~~~~~~

Auto-Merge pull request #2945 from octo/ff/travis

Automatically merged due to "Automerge" label

.travis.yml: Determine number of CPUs at runtime.

Auto-Merge pull request #2944 from octo/ff/typo

Automatically merged due to "Automerge" label

exec: fix potential deadlock after fork()

POSIX forbids calling functions which are not thread-safe like
setenv() after fork() in multi-threaded programs. It happens to
work just fine with some libc implementations, but it causes a
deadlock in the child process with uClibc for example.

The proper way to pass new environment variables to the child
process is to update parent's environment before the fork(), so
that the child inherits the updated environment and then undo the
changes in the parent process again.

Signed-off-by: Florian Forster <octo@collectd.org>

exec: Call putenv() with a global buffer

putenv() adds the string pointer to the environment so it should
not be called with an automatic variable.

Signed-off-by: Florian Forster <octo@collectd.org>

src/daemon/common.h: Fix typo.

Auto-Merge pull request #2942 from rubenk/ntpd-plug-leak

Automatically merged due to "Automerge" label

ntpd: plug potential leak on error

Found by scan-build:

src/ntpd.c:833:5: warning: Potential memory leak
    ERROR("ntpd plugin: ntpd_do_query (REQ_GET_KERNEL) failed with status %i",
    ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
./src/daemon/plugin.h:391:20: note: expanded from macro 'ERROR'
                   ^~~~~~~~~~
1 warning generated.

Merge pull request #2903 from ccin2p3/documentation/libvirt

add some useful info to libvirt manpage

write_stackdriver plugin: Check message for NULL before calling strdup().

write_stackdriver plugin: Set HTTP request timeout.

powerdns plugin: no-packet-error counts number of erroneous packets; it should be returned as counter (like other query/hit/miss counters), not gauge

Signed-off-by: Florian Forster <octo@collectd.org>

Auto-Merge pull request #2941 from octo/backport/01cf776

Automatically merged due to "Automerge" label

ceph plugin: fix scan-build warnings

src/ceph.c:284:8: warning: Null pointer argument in call to string comparison function
  (strcmp("filestore", state->stack[state->depth - 2]) == 0) &&
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
/usr/include/x86_64-linux-gnu/bits/string2.h:817:8: note: expanded from macro 'strcmp'
: __builtin_strcmp (s1, s2)))); })
  ^~~~~~~~~~~~~~~~~~~~~~~~~
src/ceph.c:285:8: warning: Null pointer argument in call to string comparison function
  (strcmp("journal_wr_bytes", state->stack[state->depth - 1]) == 0) &&
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
/usr/include/x86_64-linux-gnu/bits/string2.h:817:8: note: expanded from macro 'strcmp'
: __builtin_strcmp (s1, s2)))); })
  ^~~~~~~~~~~~~~~~~~~~~~~~~
2 warnings generated.

Cherry-pick for collectd-5.8.

Merge branch 'collectd-5.8'

Merge branch 'collectd-5.7' into collectd-5.8

Auto-Merge pull request #2939 from octo/pr2937-backport

Automatically merged due to "Automerge" label

exec plugin: dynamically allocate grname buffer.

Backport of a fix in master.

Fixes: #2696

Auto-Merge pull request #2937 from sreedi/fix-2696

Automatically merged due to "Automerge" label

write_stackdriver plugin: Centralize HTTP calls, add API error handling.

This change implements do_post(), a function for doing POST requests.
In case of a user error (a HTTP 4xx status code) the reply is assumed to
be an error and is parsed accordingly.

Clang format fix.

Made some Code Optimization changes per review.

Auto-Merge pull request #2938 from octo/ff/format_json

Automatically merged due to "Automerge" label

src/utils_format_json.c: Remove chatty debug messages.

src/daemon/plugin.h: Fix typo in comment.

fixed build issues

fixed format issues

Refactored getting effective group id from group name part of fork_child

Various files: Remove mode line.

src/utils_format_stackdriver.c: Address code review comments.

* Declare and initialize variables on the same line where possible.
* Remove modeline.

configure.ac: Re-indent whole AC_PLUGIN list.

configure.ac: Quote all macro args, put "if" and "then" on same line.

Makefile.am: Change "noinst_LTLIBRARIES" to "EXTRA_LTLIBRARIES".

Required fix after rebasing on master.

configure: Set default value for plugin_write_stackdriver.

Otherwise the output is going to be something like this when the plugin
cannot be built, which is ugly:

```
    write_sensu . . . . . yes
    write_stackdriver . .
    write_tsdb  . . . . . yes
```