Merge branch 'collectd-4.7' into collectd-4.8

Build system: Improve detection of the iptc library.

When checking for the iptc headers and data types, the configure script
added the kernel directory to the CFLAGS. Later, when actually building
the iptables plugin, the CFLAGS were left untouched.

At least on Debian, the “real” kernel headers are not required – the
libc versions in /usr/include/linux are sufficient. The usage of
KERNEL_DIR has therefore been removed from the iptc checks.

In addition, an directory specified by “--with-libiptc=/path” is no
longer added to the global CFLAGS but rather to the iptables specific
CPPFLAGS.

Hopefully this resolved build problems on various platforms.

contrib/collection3: skip host dirs without read access.

This patch prevents get_files_from_directory() from
failing when DataDir contains directories which we
don't have access to.

An example would be "lost+found" directories, on
ext2/ext3 filesystems, which belong to root and have
0700 filemode.

Signed-off-by: Marc Fournier <marc.fournier@camptocamp.com>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

contrib/collection3: “Invokations” → “Invocations”.

D'oh!

contrib/collection3: Add a vertical label to the “java_memory” type.

contrib/collection3: Added the “invokations” type.

contrib/collection3: Use “{plugin_inst}/{type_inst}” for “{instance}”

… if both are present. Otherwise, use just the one that is available.

contrib/collection3: Add support for the “threads” and “total_requests” types.

Merge branch 'collectd-4.7' into collectd-4.8

exec plugin: Clear the signal block mask before calling exec(2).

exec plugin: Avoid a warning when freeing meta data.

contrib/collection3: Suppress warnings about non-existent classes.

ChangeLog: Remove an excess newline.

src/collectd.conf.in: Fix entries of renamed plugins.

configure.in: Make it possible to force the shipped version of libiptc.

You can force the shipped version of libiptc using:
  --with-libiptc=shipped

Apparently enough systems include broken versions of that library :/

configure.in: Quote $CFLAGS when assigning to another variable.

ChangeLog: Document the “GETTHRESHOLD” command.

src/utils_threshold.c: Update copyright information.

dns, network, rrdtool plugins: Updated copyright information.

swap plugin: Add copyright information for Stefan Völkel.

bindings/java: Compile and install the “GenericJMX” plugin.

collectd-java(5): Document the “GenericJMX” plugin.

Merge branch 'collectd-4.7' into collectd-4.8

Conflicts:
ChangeLog
contrib/collection3/etc/collection.conf
src/df.c
version-gen.sh

Bumped version to 4.7.3; Updated ChangeLog.

Merge branch 'collectd-4.6' into collectd-4.7

Conflicts:
ChangeLog
version-gen.sh

Bump version to 4.6.5.

collection3: Added some more metrics.

Fixed the year of the first three entries.

They say it was 2004, but in fact they were released in 2005.

ChangeLog: Add entries for release 4.6.5.

powerdns plugin: Use the “ipt_packets” type rather than “io_packets”.

“io_packets”, as the name suggests, requires incoming *and* outgoing
packets. The infrastructure of the powerdns plugin uses only value lists
with one data source though.

Thanks to Luke for noticing!

ChangeLog: Fix a typo.

contrib/collectd_unix_sock.rb: Ruby class which abstracts the plain text protocol.

Used to talk to the unixsock plugin.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

src/utils_cache.c: Fix a very rare deadlock situation.

Only happened in an out-of-memory situation. Still, not nice ;)

Merged branch 'sh/collectd-4.6' into sh/collectd-4.7.

Conflicts:
src/iptables.c

To resolve the conflict, the changes to the iptables plugin have been updated
to support ip6tc as well.

iptables plugin: Support the new libiptc API.

When libiptc has been officially made available as a shared library, the API
and ABI have been changed slightly. By checking for the existance of a type
that has been removed in that course, configure now checks which version is
available. This is quite error prone (the type might be re-introduced any
time), so this should be improved some time - currently, I do not have an idea
how to do so, though :-/

configure: Replaced src/libiptc/ with src/owniptc/.

Merge branch 'collectd-4.6' into collectd-4.7

Conflicts:
configure.in
src/iptables.c

src/owniptc: Moved the “src/libiptc” directory to “src/owniptc” to avoid build issues.

If there is a system-wide version of this library available, the “-I.”
argument (added automatically by automake :() will lead to the shipped
header files being used. Later, the binary is linked with the
system-wide library, which leads to severe problems when API/ABI
incompatibilities have been introduced in other versions.

contrib/cussh.pl: Add support for the “GETTHRESHOLD” command.

Collectd::Unixsock: Add support for the “GETTHRESHOLD” command.

unixsock plugin: Implement the “GETTHRESHOLD” command.

Example session:
 -> GETTHRESHOLD "leeloo.lan.home.verplant.org/cpu-3/cpu-idle"
 <- 6 Threshold found
 <- Type: cpu
 <- Type Instance: idle
 <- Warning Min: 5
 <- Warning Max: 100
 <- Failure Min: 1
 <- Failure Max: 120

src/utils_threshold.[ch]: Update copyright information.

src/utils_threshold.[ch]: Implement `ut_search_threshold'.

It allows external modules to query the threshold for a specific
`value_list_t'.

README: Add missing plugins; moved “write_http”.

ChangeLog: Updated for the 4.8.0 release.

mysql plugin: Improve the `mysql_ping' warning.

src/utils_threshold.c: Implement the “Hits” and “Hysteresis” config options.

Hi all!

Based on Mariusz's idea, i attach a patch for thresholds (no for
filtering, yet) with basic hysteresis support adding the keyword
Hysteresis to configuration file, for example:

<Threshold>
  <Type "load">
     DataSource "midterm"
     WarningMax 1
     Hysteresis 0.3
  </Type "load">
</Treshold>

In this case the notification is raised when load (midterm datasource)
is greater than 1, and came back to OKAY when lower than 0.7 (1 - 0.3).

This is a proof of concept and I do not have a lot of time to test,
please use this patch with caution. Furthermore, the code is really hard
and dirty :)

Best regards,
  Andres

P.S.: The patch also including hits support, so to compile you also
require to apply hits-cache.patch and, obviously this patch is
incompatible with hits-threshold.patch.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

src/utils_cache.c: Implement “uc_{get,set,inc}_hits”.

Hi

I've attached a patch to add hit counter to thresholds, that is, each
time when threhsold raised, then an internal hit counter is incremented,
when the value of the counter raise a specific value setted in
configuration, then the notification is generated and counter is reset.
Here are an example of threshold configuration with hit conter:

<Threshold>
  <Plugin load>
    <Type load>
       WarninMax 1
       Hits 3
    </Type>
   </Plugin>
</Threshold>

In this example the notification will be generated when load value is
greater than 1 for 3 intervals.

Here are two patches, the first one adds hit feature to the collectd
cached and the second one use hits in thresholds,

Of course comments and suggestions are welcome :)

Enjoy!

Regards,
  Andres

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

network plugin: Move the gcrypt initialization into “network_init”.

network plugin: Fix initialization of the gcrypt library.

Subject: Ohhhh jeeee, libgcrypt 1.4.1 + collectd 4.7.2

On Monday 31 August 2009 09:03:37 Sebastian Harl wrote:
> Hrm … from a quick look at the libcrypt documentation I suppose we need
> to call gcry_control() using the 'GCRYCTL_INIT_SECMEM' command to
> explicitly initialize the secure memory. Sounds like this was required
> in libgcrypt 1.4.1 but is handled automatically in later versions.
>

also looks like there's some special initialization necessary for threads. I
doubt that this is handled by the new default behavior in 1.4.4. Don't know
that it's truly necessary if the network plugin is the only plugin using
gcrypt.

Here's a patch that works for me with 1.4.1.
I followed an example for pthread initialization and  initialized gcry to 32k,
only since that's apparently the default that's used in 1.4.3. I did it in
network.c's module_register function. Kind of an abuse, I know.

Luke Heberling

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

contrib/collection3: Add graphing module for “arc_counts”.

Managed to forget this: script for generating the ArcCounts graphs.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

contrib/collection3: Allow numbers in type names.

When converting the on-disk type name to the displayed name,
do not strip numbers out.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

contrib/collection3: GenericStacked: Use stacking by default.

contrib/collection3: Option to turn stacking off in GenericStacking

CDEFs are not stacked and AREAs are not added when "Stacking" is set to off.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

zfs_arc plugin: add to default config file

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

write_http plugin: Make it possible to send values as JSON.

write_http plugin: Send “\r\n” line endings.

write_http plugin: Suppress the “Expect:” header.

write_http plugin: Fix a typo.

Merge branch 'ad/arc'

network plugin: “sizeof (send_buffer)” → “network_config_packet_size”.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

README, AUTHORS: Add information about the zfs_arc plugin and Anthony.

zfs_arc plugin: Fix a small typo.

zfs_arc plugin: Renamed the “arc” plugin to “zfs_arc”.

arc plugin: Remove a left-over `printf'.

ARC stats plugin

Get stats for ZFS's Adaptive Replacement Cache.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

src/plugin.c: unregister_read: llist_search may return NULL.

Handle these cases gracefully.

Merge branch 'ps/http'

write_http plugin: Implement the usual SSL options.

write_http plugin: Implement support for multiple destinations.

collectd.conf(5): Updated to reflect the renaming of the “write_http” plugin.

write_http plugin: Rename the “http” plugin to “write_http”.

collectd.conf(5): Renamed the couchdb plugin to curl_json here, too.

curl_json plugin: Renamed the “couchdb” plugin to “curl_json”.

On Thu, Aug 20, 2009 at 10:31:22AM -0700, Doug MacEachern wrote:
> Wanted to bring this up before 4.8..
> When I first started on the couchdb plugin, there were metrics
> specific to couchdb, but ended up making it generic and the metrics
> are all specified in the config.  Since then, I've looked at Dynomite
> which has its own set of metrics exposed the same way:
> http://gist.github.com/137771
> Also noticed Hadoop 0.21 daemons now support: "/metrics?format=json to
> retrieve the data in a structured form.", but haven't had a chance to
> try yet.  I'm sure there's more too.  So I'm wondering if 'couchdb'
> should be renamed to something more generic, 'json' or 'yajl'  maybe?
> And/or pushing the curl/yajl code out to util functions, then add the
> couchdb specific metrics to the couchdb plugin.  Then also use the
> util functions for dynomite, hadoop, etc., specific plugins. Thoughts?

contrib/collection.cgi: Fix spam_check graph for email plugin.

Corrects DS name to fix email plugin's spam_check graph.

Signed-off-by: Brad Fritz <brad@fewerhassles.com>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collection3: Add a module for the “java_memory” type.

collection3: Add the possibility to scale generic graphs.

contrib/cussh.pl: Add synopsis for specific commands.

You can now do
  HELP FLUSH
to get information about the FLUSH command.

contrib/cussh.pl: Fix a typo in the `FLUSH' command.

configure.in: Check for the <linux/wireless.h> header.

README: liboping is no longer shipped.

contrib/collection3: Common.pm: Sort identifiers by filename.

network plugin: Free dynamically allocated buffers when appropriate.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

df plugin: Check ignorelists before stat'ing the filesystem.

 → See also: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=542859

configure.in: Sort the status output alphabetically.

http plugin: Update the copyright notice and AUTHORS file.

http plugin: Small fixes for the buffer handling.

Don't actually send anything when the buffer is empty. Initialize the
buffer in the ‘init’ function.

http plugin: Implement a `flush' callback.

http plugin: http_write: Clean-up.

A couple of bugs have been fixed in the process. One error handling path
didn't release a mutex, for example. Also, the buffer may have been sent
truncated.

http plugin: Comment in the call to `curl_easy_perform'.

http plugin: http_value_list_to_string: Clean-up.

http plugin: Use the `FORMAT_VL' macro.

http plugin: Don't convert COUNTER values to rates.

http plugin: Remove an unused variable.

http plugin: Rename the “Location” option to “URL”.

That's more in line with other plugins.

http plugin: Remove tailing whitespace.

http plugin: Add entries to collectd.conf

http plugin: Man page about config vars

http plugin: Put the makefile stuff in the right place alphabetically

http plugin: Make the output match the PUTVAL plain-text protocol