virt plugin: Added connection state check via virConnectIsAlive()

Before this fix, if libvirt daemon was stopped, Collectd starts to spam logs with lot of "failed" messages.

With this fix it correctly re-establishes connection.

virt plugin: Added timeout to event_loop thread

As per virEventRunDefaultImpl() documentation, this function will block
forever if there are no registered event handlers.

This leads to Collectd is unable to correctly stop event_loop thread
if libvirtd was restarted.

Added empty timeout callback to fix this.

virt plugin: Disable ExtraStats selectors when unsupported by libvirt

When function is not supported by driver, log filled by continuous messages like:

libvirt: Domain Config error : this function is not supported by the connection driver: virDomainGetDiskErrors

libvirt API allows us to detect such cases and disable unsupported calls.

virt plugin: Fixed typos and inconsistencies

virt plugin: Do not request cpu maps when not required

virt plugin: Added ExtraStats selector 'vcpu'

This allows to disable virDomainGetVcpus calls when hypervisor/driver
does not supports that function.

Closes: #2615

virt plugin: Added ExtraStats selector 'memory'

This allows to disable virDomainMemoryStats calls when hypervisor/drivers
does not supports that function or it does not provide additional details.

Merge pull request #3125 from skob/master

mysql: [impr] enable uptime metric

mysql: [impr] enable uptime metric

Merge pull request #2986 from shastah/feature/curl-address-family

curl plugin: add AddressFamily

curl_xml plugin: add AddressFamily

In situations when hostnames in URLs resolve to both IPv4 and IPv6
addresses, sometimes it's useful to have separate statistics for both
of these separately.

With this commit, within <URL> block you can set
  AddressFamily "ipv6"
or
  AddressFamily "ipv4"
to specifically use one or the other.

Signed-off-by: Jakub Jankowski <shasta@toxcorp.com>

curl_json plugin: add AddressFamily

In situations when hostnames in URLs resolve to both IPv4 and IPv6
addresses, sometimes it's useful to have separate statistics for both
of these separately.

With this commit, within <URL> block you can set
  AddressFamily "ipv6"
or
  AddressFamily "ipv4"
to specifically use one or the other.

Signed-off-by: Jakub Jankowski <shasta@toxcorp.com>

Merge pull request #3152 from rpv-tomsk/libvirt-memory-report

virt plugin: Fix typo after #3151

Merge pull request #3148 from rpv-tomsk/libvirt-1

virt plugin: Updates regarding to 'domain_state' metric

Merge pull request #3151 from rpv-tomsk/libvirt-memory-report

Libvirt plugin: split memory report into dedicated types

Merge pull request #3150 from rpv-tomsk/libvirt-3

virt plugin: Added new code of virDomainShutoffReason enum and domain events

Merge pull request #3149 from rpv-tomsk/libvirt-2

virt plugin: Do not fail if no connection on init()

Merge pull request #3147 from rpv-tomsk/libvirt

virt plugin: Support new metric from libvirt-5.0.0 virDomainMemoryStats()

virt plugin: Fix typo

virt plugin: clang-format

virt plugin: Added support for new shutdown event details

virt plugin: Check for virt_notif_thread_init() success

virt plugin: Added debug message

virt plugin: do not report empty metrics

virt plugin: Split domain memory reporting to appropriate types

virt plugin: Skip 'last_update' reporting as that is not memory but timestamp

virt plugin: Added new code of virDomainShutoffReason enum

virt plugin: Fixed virt_notif_thread_init() place

virt plugin: Do not fail if no connection on init()

If Collectd started before libvirtd, that results as no connection and no more retries.
lv_init()/lv_connect() reworked to avoid this.

Reference: b2541eb463165a5973fedb5d51eab8288fcd7ebc
Reference: 5903e6d5414b1a9580a63c29afff1788cec6c91e

virt plugin: Do not report 'domain_state' metric when not enabled by ExtraStats

PR #2701 adds 'domain_state' metric and ExtraStats's option `domain_state`
selector behaviour was changed: now it enables metric, not notification.
Removed inconsistency between documentation and implementation.

Not all `get_domain_state` calls was covered by selector check.
As result, metric was always sent for inactive domains.
That is fixed now.

virt plugin: Renamed get_domain_state() to submit_domain_state()

That function does not gets something to internal structures, but submits metric.

virt plugin: Cleanup excessive check

That is already covered by check at upper level:

if (inst->id == 0 && persistent_notification)
  persistent_domains_state_notification();

virt plugin: Support new metric from libvirt-5.0.0 virDomainMemoryStats()

Closes: #3143

Merge pull request #3019 from sradco/master

Add write_syslog output plugin

Merge pull request #3144 from rpv-tomsk/lua

lua plugin: Make it possible to register more than one reader/writer; bugfixes; cleanup.

lua plugin: Make it possible to register more than one reader/writer.

lua_tostring(), used to identify readers/writers, doesn't work
on functions (it returns NULL). So, callback name is not unique and
its registration fail.

Added code to store script path and callback index in LUA Registry and
to build callback name based on them.

Added possibility to pass LUA callback as global-scope function name.
In this case callback name is built using function name, not callback
index.

Closes: #2379
Closes: #3139

lua plugin: remove line feed in error message

lua plugin: Don't destroy interpreter early

If script successfully registered at least one callback,
destroying interpreter will cause Collectd crash when
that callback will be called.

Unfortunately, there is no way to unregister these callbacks

lua plugin: free mutex on callback destroy

lua plugin: don't elements from stack in `clua_store_thread`.

Debug, before:

lua plugin: nargs after store_callback: 1
lua plugin: nargs after lua_newthread: 2
lua plugin: nargs after store_thread: 0

After:

lua plugin: nargs after store_callback: 1
lua plugin: nargs after lua_newthread: 2
lua plugin: nargs after store_thread: 1

So, stack is in expected state.

lua: cleanup

Merge pull request #3001 from usev6/write_graphite_reverse_host

write_graphite plugin: Add option to reverse host

Declare var inside loop (code review change)

Merge pull request #3141 from ometol/master

cpufreq plugin: Add FreeBSD support

Apply suggestions from code review

* Use constant DATA_MAX_NAME_LEN instead of re-calculating array size
* Declare and initialize second loop var in for statement

Update to resolve conflicts due to renamed files

Merge branch 'master' into write_graphite_reverse_host

Changes after applying contrib/format.sh

Add documentation for the FreeBSD bit for cpufreq

Fix warnings when we're unable to poll

Add FreeBSD support for cpufreq

Merge pull request #3137 from dangowrt/master

Add support for RS485 to modbus plugin

Add support for RS485 to modbus plugin

Allow setting up RS485 mode for Modbus-RTU

Merge pull request #3136 from mrunge/systemd_service

Remove ProtectSystem from service file

Remove ProtectSystem from service file

This prevents showing eg. /etc if that's a separate file system.

Resolves: https://github.com/collectd/collectd/issues/3134

Merge pull request #2891 from elfiesmelfie/feat_intel_rdt

Intel RDT plugin: add support for groups of PIDs.

Merge pull request #3117 from elfiesmelfie/virt_fix_option_parsing

virt: Fix parsing config file options

Merge pull request #3116 from rpv-tomsk/collectd-master

virt plugin: Fix segfaults on shutdown

virt: Add NULL checking to multiple config strings validation

Remove ERROR messages as requested by reviewer and one unnecessary condition in
if statement.

Change-Id: I2fc01f16789f7720b09d923c72339d7123d3863a
Signed-off-by: Antoine Naud <antoinex.naud@intel.com>

intel_rdt: multiple options are explicitly denied

Add a check to avoid placing multiple Cores or Processes options in
intel_rdt configuration in order to avoid misuse and errors.

Change-Id: I82504a650bf9c568862da9f129a84a3079990496
Signed-off-by: Kamil Wiatrowski <kamilx.wiatrowski@intel.com>

virt: Add NULL checking to multiple config strings validation

Change-Id: Ic1595a9438f5af6872dc030db949223477b3f238
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

collect.conf.pod: Add more info about virt filtering options

Added more info and examples regarding virt filtering options:
-filtering by domain name
-filtering block devices
-filtering network interfaces

Change-Id: I5cfe41658f62f429b799aa93a3d0f96f7cf8b780
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

virt: Fix domain filtering option

Previously all domains were visible even if certain domains
should be filtered (only block devices and interface devices
were filtered instead of entire domains)
Now entire domains are filtered - if domain should be filtered
out, then it won't be visible the same way as filtered
block devices and network interfaces.

Change-Id: Ib4e50ad32fd94c900c3e83353d28ae06cbfdb442
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

virt: Fix network interface filtering

Previously network device filtering was not working properly
if InterfaceFormat was set to 'name' or 'address' values.
Additionally implementation for filtering by interface number
was missing.

Change-Id: Ic6aa1d355423305d08bcab8282dc29009b200b5a
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

virt: Fix parsing configuration options

-lv_config function was re-written to use complex config callback

-fixed invalid parsing that caused collectd termination even if values
in config file for virt were correct(ExtraStats and RefreshInterval)

-added return statement to properly finish successful parsing
'ExtraStats' option value - without that, parsing of config file will
fail if 'ExtraStats' option is used in the collectd config file
because return code is the one for unrecognized parameter key.

-fixed parsing of RefreshInterval - previously error was thrown by
mistake if value was not written between double quotes(i.e. "60" was
fine but 60 was not)

-previously validation for boolean option value(such as value of
'IgnoreSelected' parameter) in virt plugin was missing and bad input
in config file could be unnoticed by user(in config file, boolean
value is parsed from its string representation). Now validation is
added and error is thrown whenever value can't be parsed directly as
'true'|'yes'|'on' or 'false'|'no'|'off'.

-additionally error messages have been added in all places where
parsing failed in order to notify the user about the reason of
collectd initialization failure.

Change-Id: I2069977395371e89f4a02eb544ffb7bda8c5c5ce
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

mysql: [impr] enable uptime metric

virt plugin: Changed place of event loop start/stop debug messages output

Merge pull request #2874 from elfiesmelfie/feat_virt_block_info

virt: Add block info statistics for disk devices

Add write_syslog output plugin

This patch adds an output plugin to send metrics
as CEE-enhanced Syslog log messages by TCP .

The syslog message includes the metrics data in
human readable structured data format and in json
format.

It allows adding additional metedata.

This plugin is based on the write_tsdb plugin.

Signed-off-by: Shirly Radco <sradco@redhat.com>

virt: Fetch block info stats from libvirt only if needed

Domain block info statistics will be retrieved from libvirt
only if one of extra stats is enabled:
- ex_stats_disk_allocation
- ex_stats_disk_capacity
- ex_stats_disk_physical

Change-Id: I0367c6ec7aafbf9558aaa100a12d40605ab9ba72
Signed-off-by: Radoslaw Jablonski <radoslawx.jablonski@intel.com>

Merge pull request #3108 from rubenk/cirrus-improvements

Cirrus improvements

intel_rdt: Added check if name group is defined before updating of pids list

Change-Id: Ic99acd51be69d2678f25bdde9ca37011ad24fe99

intel_rdt: Fixed compile error in debug build

Change-Id: Ia932f377c5194240aab910d052e422b99ea542a5

utils_proc_pids: moved to utils directory

Change-Id: Ia7c9bf5dca2b871b05c9ed3876059e6d34bd943e

intel_rdt: refactored proc utils to increase efficiency

Change-Id: Ibb0dc6fe59eb77a217ab3b45ec0c1437bc9eb281

intel_rdt: updated pqos mocks for pqos version 3.0

Change-Id: Ibcf8c2fd6d1b490cbeeef7480c49da84389104f4

intel_rdt: close file descriptor on error

Change-Id: I161c8df1e6a4c4c4e0dd4e20601323ef7a1c18f5

Fix for CI error in test code on epel6 platform.

Signed-off-by: Wojciech Andralojc <wojciechx.andralojc@intel.com>
Change-Id: I325ea0728dd1eb65776f239b0d7977cc02f9c8db

intel_rdt: refactor pids monitoring code.
Extract pids config to seperate file.
Extract pids config tests to seperate file.

Change-Id: I2978db56b15a126eced12f40baac631517303e04
Signed-off-by: Mateusz Starzyk <mateuszx.starzyk@intel.com>

intel-rdt: Changed memory allocation of new and lost pids tables from static to dynamic

Change-Id: I3936fe78cfcbb4ce053d38ff1a3236c21eac9fd7
Signed-off-by: Michal Aleksinski <michalx.aleksinski@intel.com>

Corrected issues reported by klockwork

Change-Id: I3737a39c40d89a8782ef9c3d8195351f0fdeb278

intel_rdt: update unit-tests for process monitoring

Refactor certain functions to be testable.

Change-Id: I5adb6ed1b076f0cebc70641f04dd101d4e89b9cc
Signed-off-by: Starzyk, MateuszX <mateuszx.starzyk@intel.com>

intel_rdt: collect data for monitored processes

Change-Id: Ib5a7d318bde69ee8f496b39ca74b3ee4e58d8f5b
Signed-off-by: Starzyk, MateuszX <mateuszx.starzyk@intel.com>

intel_rdt: Backwards compatibility, libpqos v1

Change-Id: I677c8215f89c04cedcb4c9e7d630f187a76a6cc7
Signed-off-by: Andralojc, WojciechX <wojciechx.andralojc@intel.com>

intel_rdt: PID groups change detection

Change-Id: I569d72d0f12dca314e865f0b9236dc09a053c5e5
Signed-off-by: Andralojc, WojciechX <wojciechx.andralojc@intel.com>

intel_rdt: Update config parser for PID monitoring

"Processes" option added.

Change-Id: I7f62a51fc06e0c7503caa7860807f1c8e09b2fa1
Signed-off-by: Andralojc, WojciechX <wojciechx.andralojc@intel.com>

intel_rdt: add PQOS API stubs for pid monitoring.

Add temporary functions to enable further development of rdt plugin.
These stubbed functions will be removed once libpqos extends it's API.

Change-Id: I39dd428e39fd6055774dfc39b4c0690aedee4ebe
Signed-off-by: Starzyk, MateuszX <mateuszx.starzyk@intel.com>

intel_rdt: adds pids extraction for given processes list

adds intel_rdt_tests file with unit-tests of newly introduced functions.

Change-Id: I0e26322caa19f57b7d660807646bd437586cd80d
Signed-off-by: Starzyk, MateuszX <mateuszx.starzyk@intel.com>

virt plugin: Fix segfaults on shutdown

If connection has failed then `lv_init' returns early without initializing `notif_thread'.
This causes segfault due to incorrect `pthread_join()` call on Collectd shutdown.

Closes: #3082

Merge pull request #3110 from rubenk/configure-ac-keep-plugin-list-sorted

configure.ac: keep the list of plugins sorted

configure.ac: keep the list of plugins sorted

Cirrus CI: remove musl-libc job

Cirrus CI: use clang++ where we use clang

Cirrus CI: remove Fedora 26

It's been EOL for a while

Cirrus CI: remove Wheezy

It's been EOL for a while

Merge pull request #3104 from rubenk/intel-rdt-fix-compiler-warnings

intel_rdt plugin: fix compiler warnings

intel_rdt plugin: fix compiler warnings

make[1]: Entering directory '/home/ruben/src/collectd'
  CC       src/intel_rdt_la-intel_rdt.lo
src/intel_rdt.c: In function ‘rdt_dump_cgroups’:
src/intel_rdt.c:74:23: warning: comparison of integer expressions of different signedness: ‘int’ and ‘size_t’ {aka ‘long unsigned int’} [-Wsign-compare]
   74 |     for (int j = 0; j < cgroup->num_cores; j++) {
      |                       ^
src/intel_rdt.c: In function ‘rdt_dump_data’:
src/intel_rdt.c:103:21: warning: comparison of integer expressions of different signedness: ‘int’ and ‘size_t’ {aka ‘long unsigned int’} [-Wsign-compare]
  103 |   for (int i = 0; i < g_rdt->num_groups; i++) {
      |                     ^
  CCLD     intel_rdt.la

Merge pull request #3102 from rubenk/oauth-fix-compiler-warning

oauth.c: fix compiler warning

Merge pull request #3103 from rubenk/write_prometheus-fix-compiler-warning

write_prometheus plugin: fix compiler warning

write_prometheus plugin: fix compiler warning

make[1]: Entering directory '/home/ruben/src/collectd'
  CC       src/write_prometheus_la-write_prometheus.lo
In file included from src/write_prometheus.c:29:
src/write_prometheus.c: In function ‘metric_family_get’:
./src/daemon/plugin.h:393:20: warning: ‘%s’ directive argument is null [-Wformat-overflow=]
  393 | #define ERROR(...) plugin_log(LOG_ERR, __VA_ARGS__)
      |                    ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/write_prometheus.c:725:5: note: in expansion of macro ‘ERROR’
  725 |     ERROR("write_prometheus plugin: Adding \"%s\" failed.", name);
      |     ^~~~~
src/write_prometheus.c:725:46: note: format string is defined here
  725 |     ERROR("write_prometheus plugin: Adding \"%s\" failed.", name);
      |                                              ^~
  CCLD     write_prometheus.la

oauth.c: fix compiler warning

make[1]: Entering directory '/home/ruben/src/collectd'
  CC       src/utils/oauth/liboauth_la-oauth.lo
src/utils/oauth/oauth.c: In function ‘get_assertion’:
src/utils/oauth/oauth.c:283:19: warning: comparison of integer expressions of different signedness: ‘int’ and ‘size_t’ {aka ‘long unsigned int’} [-Wsign-compare]
  283 |   else if (status >= buffer_size)
      |                   ^~