Merge branch 'collectd-4.6'

Merge branch 'collectd-4.5' into collectd-4.6

dns plugin: Don't pass a NULL pointer to `pcap_open_live'.

Although the documentation states clearly, that passing a NULL pointer
as device is okay and handled like "any", doing so will crash the daemon
on some systems, most notably *BSDs but Linux users have reported this
behavior, too.

This patch passes "any" when the pointer it NULL, which reportedly
resulted in a different behavior, but still crashing the daemon. We'll
keep trying ;)

oracle plugin: Fix type size issue under 64bit systems.

Under 64bit systems, `ub4' is of a different size than `size_t', so that a
`(size_t *)' cannot be casted to a `(ub4 *)' automatically.

contrib/oracle/create_schema.ddl: Add GPLv2 license information.

In accordance with Roman Klesel,
<C937BDA691901BFAD72AFEF3@ganga.office.noris.de>

src/common.c: Fixed a race condition in check_create_dir().

Between checking for the existence of a directory using stat() and creating
the directory using mkdir(), another thread might have already created the
directory thus causing mkdir() to fail with errno == EEXIST. This case is now
handled sanely, no longer causing the function (and thus some write callback)
to fail in this case.

Most likely, this only happens during startup when creating the data
directories - later, no two threads should try to create the same directory.

Interestingly enough, I frequently encountered this issue on a single core
machine.

Merge branch 'collectd-4.6'

src/plugin.c: Assure that targets get dynamically allocated memory.

If targets want to replace the values, they will have to use dynamically
allocated memory. If they can't free the values, because the pointer
might point to statically allocated memory, memory will be lost.

Unfortunately stack allocation will not do, since we will then not be able
to detect multiple replacements.

To impose as little a performance issue as possible, the dynamic allo-
cation is only done when either chain is present. If the filter mecha-
nism is not used, the values will not be copied.

Updated various copyright information.

Updated various copyright information.

collectd-unixsock(5): Slightly improved the description.

Merge branch 'collectd-4.6'

Conflicts:

src/bind.c

Bumped version to 4.6.1; Updated ChangeLog.

Merge branch 'collectd-4.5' into collectd-4.6

Conflicts:

ChangeLog
version-gen.sh

The changes made in b6612126 and reverted in 5fa56b89 are retained in
collectd-4.6.

Revert "libiptc/Makefile.am: Added xtables.h, libxtc.h to libiptc_la_SOURCES."

This reverts commit b6612126d862d182d9219e0512fa9ca833272b62.

This commit should have gone in the master branch, not in the
collectd-4.5 branch.

Bumped version to 4.5.3; Updated ChangeLog.

types.db(5): Added a note about distributing custom types.db files.

perl plugin: Deprecated the use of plugin_register() to register data-sets.

A custom types.db file should be used instead.

bind plugin: Fix a typo.

contrib/cussh.pl: Fixed and improved command parsing.

The input line is now split into separate tokens which are either quoted or
unquoted strings. This simplifies e.g. the parsing of identifiers as the whole
token may be interpreted as just the id string. This allows for specifying a
somewhat greedy regex which before led to the whole remainder of the input
line ending up in the type or type instance.

contrib/cussh.pl: Improved error reporting.

Collectd::Unixsock: Improved error handling in putval().

ipmi plugin: Use a less error-prone approach to build the sensor name.

table plugin, src/common: Un-escape '\t', '\n' and '\r' in column separators.

For this purpose, the function strunescape() has been added to the "common"
module. Currently, any escape sequence that's not '\t', '\n' or '\r' will be
expanded to the literal escaped character.

ipmi plugin: Fix an off-by-one error.

Hi,

One of my ipmi sensors has a name longer than DATA_MAX_NAME_LEN and this
results in a SEGV.

cu Peter

bind plugin: Fix a counter vs. gauge problem with memory statistics.

Thanks to Bruno for the heads-up :)

powerdns, utils_cmd_putval, utils_db_query: Use parse_value().

Besides cleaning up the code a little, this also adds more verbose error
messages.

Moved parse_value() from the table plugin to the common module.

Some other plugins will find that useful as well.

tables plugin: Added a generic plugin to parse tabular data.

Currently, the main purpose of this plugin is to be able to get information
from the Linux proc filesystem but it should be flexible enough to get data
from other sources as well.

Values are selected based on a given column separator and column numbers. The
configuration is a kind of a mix of the tail and *sql plugins' configurations.
A sample configuration might look like this:

  <Plugin table>
    <Table "/proc/slabinfo">
      Instance "slabinfo"
      Separator " "
      <Result>
        Type gauge
        InstancePrefix "active_objs"
        InstancesFrom 0
        ValuesFrom 1
      </Result>
      <Result>
        Type gauge
        InstancePrefix "objperslab"
        InstancesFrom 0
        ValuesFrom 4
      </Result>
    </Table>
  </Plugin>

Moved remove_special() from the bind plugin to the "common" module.

This function might be useful for other plugins as well. Also, it has been
renamed to replace_special() which is slightly more appropriate imho.

bind plugin: Fix various bugs.

On Mon, 16 February 2009 Florian Forster wrote:
> The new plugins are:
>
>   * BIND:      Name-server and zone statistics

A few bugs are hidden there, attached is a patch that fixes most
of those I've discovered untils now.

- Url parameter never considered
- missing type definition for dns_reject
- MemoryStats is linked to the wrong variable
  (TODO: memory stats seem not to work, probably dispatch_counter()
   for gauge value ...)
- SOAOutv6 should be translated to SOA-IPv6 instead of SOA-IPv4
  in order to be saved correctly and not cause timestamp collisions

Bruno

src/liboconfig/oconfig.[ch]: Add `oconfig_clone'.

This new function clones an entire sub-tree, that can be free'd again
using `oconfig_free'.

collectd.conf(5): Removed the section about filter_pcre.

This plugin no longer exists ...

Don't unnecessarily link match_regex against libpcre.

Since no plugin currently uses libpcre, configure no longer checks for it and
it has been removed from README.

README: Replaced filter plugins with matches and targets.

README: Added the oracle plugin and libclntsh.

README: Added curl plugin.

Merge branch 'sh/next'

postgresql: Fixed calculation of a database's max_params_num.

This parameter is used to store the size of a frequently used temporary list
and allows that it may be efficiently stored on the stack. It was accidentally
lost in commit 4d380d9, triggering an assertion in c_psql_exec_query_params().

collectd.conf(5): Fixed some typos.

libcollectdclient: Use `EILSEQ' rather than `EPROTO'.

EPROTO is an XSR (XSI streams) extension and not supported on some
platforms (OpenBSD, apparently).

src/utils_db_query.c: Make `InstancePrefix' and `InstancesFrom' optional.

This is required by the default PostgreSQL queries.

Merge branch 'sh/next'

Conflicts:

ChangeLog

collectd.conf(5): Fixed and improved the section about the filter mechanism.

src/Makefile.am: Link utils_db_query into the postgresql plugin.

collectd-perl(5): Documented the filter chain support.

ChangeLog: Updated date and fixed a typo.

collectd.conf(5): Fix a minor formatting error.

ChangeLog: Added changes to the perl plugin.

src/filter_chain.c: Made match_proc_t.create optional.

In most cases it does not make sense to not provide a create callback.
However, we never know what the future might bring, so let's chose the more
flexible approach.

src/filter_chain.c: Fixed typos in warning / error messages.

perl plugin, Collectd.pm: Added support for filter chains.

fc_register() may now be used to register matches and targets with collectd.
The function takes three arguments: type, name, proc. 'type' has to be any of
FC_MATCH or FC_TARGET, 'name' specifies the name of the target / match and
'proc' is a hash of callbacks (specified by name just like any other
callbacks). There are three types of callbacks: create, destroy and match /
invoke - the former two being optional.

The match / invoke callback has to return any of the following statuses:
FC_MATCH_NO_MATCH, FC_MATCH_MATCHES, FC_TARGET_CONTINUE, FC_TARGET_STOP or
FC_TARGET_RETURN. If none of those constants are used, the behavior is
undefined.

perl plugin: Do not pass NULL to newRV().

newRV() does not handle that correctly and causes a segfault instead. Now, we
use PL_sv_undef instead.

Changed plugin_notification_meta_free()'s argument to a notification_meta_t.

This is more flexible and allows the function to be used when using the meta
data without an embedding notification object, e.g. when using the filter
chains.

perl plugin: Fixed a memory leak in pplugin_dispatch_notification().

Free the notification meta information that have possibly been allocated in
notification2hv().

perl plugin: Convert notification meta data as well.

The notification meta data are represented as an array of hash references:

  [
    {
      name  => <name>,
      value => <value>
    },
    ...
  ]

perl plugin: Don't ignore the 'interval' member when converting value lists.

swap plugin: Be more sensitive about integer sizes in the *BSD code.

src/filter_chain.c: Document the `meta' argument passed to matches and targets inline.

configure.in: Improve checking for libstatgrab using pkg-config.

swap plugin: Fix another typo in the *BSD code.

Merge branch 'collectd-4.5'

Conflicts:

configure.in

Merge branch 'collectd-4.4' into collectd-4.5

Conflicts:

configure.in

collectd.conf(5): Removed references to the `main' chain.

The chains are now called `PreCache' and `PostCache'.

collectd.conf(5): Add documentation for the `notify_email' plugin.

swap plugin: Fix two typos in the *BSD code.

swap plugin: Added support for OpenBSD and possibly other *BSDs.

ChangeLog: Document Simon's changes.

configure.in: Activate the cpu and swap plugins if sysctl is available.

cpu plugin: Check if all required sysctl defines are present.

Rather than checking for OpenBSD, since this interface may work with
other *BSDs, too. The order of the initialization code has been fixed,
too, and some other minor fixes..

cpu plugin: Fix indentation for the libstatgrab code.

cpu plugin: Use C99-like stack allocation.

As suggested by octo.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

cpu plugin: Add support for OpenBSD.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

Bumped version to 4.6.0; Updated ChangeLog.

bind plugin: Implement per-zone statistics.

Also, the configuration schema has been improved - hopefully.

timediff match: Add a match for values with an invalid time.

The time is compared to the server's local time and values which differ
too much (configurable, of course) are matched.

src/utils_db_query.h: Fix a small typo.

src/utils_db_query.c: udb_query_pick_from_list* should add *all* queries of the desired name.

postgresql plugin: Use the DB query module.

The old (legacy) features should still be supported.

src/utils_db_query.[ch]: Add the possibility to `pick' queries by name.

src/utils_db_query.c: Add support for the `Column' configuration option.

The support has been implemented as unobtrusively as possible:

 - The `udb_result_t' type now has two new members:
   `legacy_mode' and `legacy_position'. The `legacy_mode' member is used
   to switch to a new set of functions for handling these special
   results.

 - Those ``legacy results'' use only a small subset of the members in
   `udb_result_t'. The different behavior has been put in the following
   functions:
     udb_legacy_result_finish_result
     udb_legacy_result_handle_result
     udb_legacy_result_prepare_result
     udb_legacy_result_create

 - The non-legacy counterparts to finish, handle, and prepare
   automatically call the legacy version if the `legacy_mode' member is
   set to `1'.

WARNING: Untested code, the PostgreSQL plugin still needs to be ported.

src/utils_db_query.[ch]: Introduces a ``legacy mode''.

When passing `1' as `legacy mode' to `udb_query_create', compatibility
with the postgresql plugin in version 4.5 is enabled. This means that
the options `Query', `MinPGVersion' and `MaxPGVersion' are understood in
the <Query> blocks.

Yet to do is support for the `Column' options. The `Param' option should
probably be implemented using the already existing callback function.

tail plugin: Fix a format string for a size_t.

Probably a result of f50ada19.

Fixed various signedness issues identified by -Wextra.

The following two issues have been addressed:

 * comparison between signed and unsigned - this was found in several places
   throughout the code and has been fixed by switching to more appropriate
   types or adding appropriate explicit casts.
 * comparison of unsigned expression < 0 is always false - this was found in
   the processes and vserver plugins where a size_t had wrongly been used
   instead of a ssize_t and an int respectively.

Document unused parameters.

In all cases where unused parameters have to exist either because some API
requires it or for more consistency, they now have been documented using
__attribute__((unused)) (which is automatically disabled in case GCC is not
used to prevent problems with compilers not supporting attributes). In a few
other cases, the parameters have been removed.

This allows the use of -Wunused-parameter (which is enabled by -Wextra as
well, when using -Wall).

contrib/php-collection: Save/load graph list and fix HTTPS handling.

Hi,

An update to the graphing interface. (incremental patch attached)

This fixes security complaint by a few browsers when page is accessed
via HTTPS and also makes sure the graphs and lists will load if HTTP
and HTTPS paths differ.
Thanks to Mullet- for spotting this issue.

In addition to the fix above this patch adds support for saving
current graph list to a cookie and appending graph list read from
cookie to the currently displayed list.

A future extension would be to allow saving/loading named graph lists
so multiple list can coexist (pretty useful when monitoring multiple
servers/services)

Bruno

contrib/php-collection: Add a PHP frontend for graph generation.

Hi,

Attached is a patch with a set of PHP files for a complete graphing
environment for collectd-generated RRDs.
Before generating a graph with rrdtool it can tell collectd to flush
the RRDs that are about to be used.

The interface is built with dynamic HTML.
It provides following options:
 - host selection
 -> plugin selection
 --> plugin instance selection
 ---> type selection
 ----> type instance selection (or meta graph)
 - linear / logarithmic Y-scale
 - verbose / minimal legend
 - [Add Graph] [Remove all Graphs] [Refresh Graphs]
For each displayed graph:
 - Move above previous graph
 - Refresh graph
 - Remove graph
 - Move below following graph

I tested on following browsers:
- Firefox-3.0
- Safari-3.2 (Win32)
- Konqueror (KDE-4.1.3)
- Webkit (webkit-gtk-0_p40220)
- Internet Explorer (6, 7, 8rc - CSS layout issues with <8)

Dependencies:
- PHP-5 (might run with PHP-4)
  > GD suport for error images
  > Ability to execute rrdtool binary
  > Unix socket for FLUSH support
- RRDTool (rrdtool graph, rrdtool info)

TODO: complete/improve graph definitions in definitions.php
 though there is code to generate basic graph for any RRD of
 unknown type, so definitions are rather a matter of color,
 DS combination and stacking.

Bruno

File listing with short description:
- config.php
  (configuration)
- functions.php
  (common functions)
- definitions.php
  (graph definitions for most? types from types.db
   - based on collection.cgi)
- definitions.local.php
  (place for site-local graph definitions, e.g. for
   unixsock, tail, snmp generated RRDs)
- index.php
  (main page)
- graph.php
  (page returning the graph's PNG image)
- browser.js
  (whole bunch of Javascript logic to show/hide/update graphs)

Not included are a few images:
- collectd-logo.png
  (16x16, e.g. use collectd.org's favicon)
- favicon.png
  (e.g. use the one in share/collection*)
- refresh.png
- move-up.png
- move-down.png
- delete.png
  (16x16 take matching ones from your system's action-icons)

perl plugin, configure: Check for struct mgvtbl.svt_local.

This member has been introduced in Perl 5.10 (I guess). To be able to
correctly (statically) initialize the magic tables used to access global
variables, we now check for its existence and then initialize the structs
accordingly.

perl plugin / Collectd.pm: Export plugin_write() to Perl.

plugin_write() accepts, just like the C counterpart, three arguments,
'plugins', 'datasets' and 'valuelists'. In contrast to the C implementation,
all three arguments may either be a single scalar or a reference to an array -
just like the 'plugins' and 'identifiers' arguments of the Perl implementation
of plugin_flush().

perl plugin: Don't do any type conversion in pplugin_dispatch_notification().

The conversion of the hash value to a notification_t object has been moved
into its own separate function.

perl plugin: Don't do any type conversion in pplugin_register_data_set().

The conversion of the array value to a data_set_t object has been moved into
its own separate function.

perl plugin: Don't do any type conversion in pplugin_dispatch_values().

The conversion of the hash value to a value_list_t object has been moved into
its own separate function.

src/plugin.h: Fixed some minor typos.

cpu plugin: Report interrupt separately when using sysctlbyname.

build.sh: Fix the check for libtoolize vs. glibtoolize.

The `which' command under Mac OS X exits with status 0 even if the program
wasn't found. Use
  libtoolize --version
to check for the program instead..

collectd.conf(5): Document the curl plugin properly.

curl plugin: Enable the `Verify{Peer,Host}' options by default.

So the curl plugin behaves just like the apache plugin in this respect.

configure.in: Sort plugins and libraries alphabetically.

curl plugin: Add a generic plugin to retrieve and parse web pages.

Merge branch 'master' of octo@verplant.org:/var/lib/git/collectd