src/tail.c

   1 /**
   2  * collectd - src/tail.c
   3  * Copyright (C) 2008       Florian octo Forster
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a
   6  * copy of this software and associated documentation files (the "Software"),
   7  * to deal in the Software without restriction, including without limitation
   8  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   9  * and/or sell copies of the Software, and to permit persons to whom the
  10  * Software is furnished to do so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in
  13  * all copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  18  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  19  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  20  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  21  * DEALINGS IN THE SOFTWARE.
  22  *
  23  * Authors:
  24  *   Florian octo Forster <octo at collectd.org>
  25  **/
  26
  27 #include "collectd.h"
  28
  29 #include "common.h"
  30 #include "plugin.h"
  31 #include "utils_tail_match.h"
  32 #include "utils_latency_config.h"
  33
  34 /*
  35  *  <Plugin tail>
  36  *    <File "/var/log/exim4/mainlog">
  37  *      Instance "exim"
  38  *      Interval 60
  39  *      <Match>
  40  *        Regex "S=([1-9][0-9]*)"
  41  *        ExcludeRegex "U=root.*S="
  42  *        DSType "CounterAdd"
  43  *        Type "ipt_bytes"
  44  *        Instance "total"
  45  *      </Match>
  46  *    </File>
  47  *  </Plugin>
  48  */
  49
  50 struct ctail_config_match_s
  51 {
  52   char *regex;
  53   char *excluderegex;
  54   int flags;
  55   char *type;
  56   char *type_instance;
  57   cdtime_t interval;
  58   latency_config_t latency;
  59 };
  60 typedef struct ctail_config_match_s ctail_config_match_t;
  61
  62 static cu_tail_match_t **tail_match_list = NULL;
  63 static size_t tail_match_list_num = 0;
  64 static cdtime_t tail_match_list_intervals[255];
  65
  66 static int ctail_config_add_match_dstype (ctail_config_match_t *cm,
  67     oconfig_item_t *ci)
  68 {
  69   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING))
  70   {
  71     WARNING ("tail plugin: `DSType' needs exactly one string argument.");
  72     return (-1);
  73   }
  74
  75   if (strncasecmp ("Gauge", ci->values[0].value.string, strlen ("Gauge")) == 0)
  76   {
  77     cm->flags = UTILS_MATCH_DS_TYPE_GAUGE;
  78     if (strcasecmp ("GaugeAverage", ci->values[0].value.string) == 0)
  79       cm->flags |= UTILS_MATCH_CF_GAUGE_AVERAGE;
  80     else if (strcasecmp ("GaugeMin", ci->values[0].value.string) == 0)
  81       cm->flags |= UTILS_MATCH_CF_GAUGE_MIN;
  82     else if (strcasecmp ("GaugeMax", ci->values[0].value.string) == 0)
  83       cm->flags |= UTILS_MATCH_CF_GAUGE_MAX;
  84     else if (strcasecmp ("GaugeLast", ci->values[0].value.string) == 0)
  85       cm->flags |= UTILS_MATCH_CF_GAUGE_LAST;
  86     else if (strcasecmp ("GaugeInc", ci->values[0].value.string) == 0)
  87       cm->flags |= UTILS_MATCH_CF_GAUGE_INC;
  88     else if (strcasecmp ("GaugeAdd", ci->values[0].value.string) == 0)
  89       cm->flags |= UTILS_MATCH_CF_GAUGE_ADD;
  90     else
  91       cm->flags = 0;
  92   }
  93   else if (strcasecmp ("Latency", ci->values[0].value.string) == 0)
  94   {
  95     cm->flags = UTILS_MATCH_DS_TYPE_GAUGE | UTILS_MATCH_CF_GAUGE_LATENCY;
  96   }
  97   else if (strncasecmp ("Counter", ci->values[0].value.string, strlen ("Counter")) == 0)
  98   {
  99     cm->flags = UTILS_MATCH_DS_TYPE_COUNTER;
 100     if (strcasecmp ("CounterSet", ci->values[0].value.string) == 0)
 101       cm->flags |= UTILS_MATCH_CF_COUNTER_SET;
 102     else if (strcasecmp ("CounterAdd", ci->values[0].value.string) == 0)
 103       cm->flags |= UTILS_MATCH_CF_COUNTER_ADD;
 104     else if (strcasecmp ("CounterInc", ci->values[0].value.string) == 0)
 105       cm->flags |= UTILS_MATCH_CF_COUNTER_INC;
 106     else
 107       cm->flags = 0;
 108   }
 109   else if (strncasecmp ("Derive", ci->values[0].value.string, strlen ("Derive")) == 0)
 110   {
 111     cm->flags = UTILS_MATCH_DS_TYPE_DERIVE;
 112     if (strcasecmp ("DeriveSet", ci->values[0].value.string) == 0)
 113       cm->flags |= UTILS_MATCH_CF_DERIVE_SET;
 114     else if (strcasecmp ("DeriveAdd", ci->values[0].value.string) == 0)
 115       cm->flags |= UTILS_MATCH_CF_DERIVE_ADD;
 116     else if (strcasecmp ("DeriveInc", ci->values[0].value.string) == 0)
 117       cm->flags |= UTILS_MATCH_CF_DERIVE_INC;
 118     else
 119       cm->flags = 0;
 120   }
 121   else if (strncasecmp ("Absolute", ci->values[0].value.string, strlen ("Absolute")) == 0)
 122   {
 123     cm->flags = UTILS_MATCH_DS_TYPE_ABSOLUTE;
 124     if (strcasecmp ("AbsoluteSet", ci->values[0].value.string) == 0)
 125       cm->flags |= UTILS_MATCH_CF_ABSOLUTE_SET;
 126     else
 127       cm->flags = 0;
 128   }
 129   else
 130   {
 131     cm->flags = 0;
 132   }
 133
 134   if (cm->flags == 0)
 135   {
 136     WARNING ("tail plugin: `%s' is not a valid argument to `DSType'.",
 137         ci->values[0].value.string);
 138     return (-1);
 139   }
 140
 141   return (0);
 142 } /* int ctail_config_add_match_dstype */
 143
 144 static int ctail_config_add_match (cu_tail_match_t *tm,
 145     const char *plugin_instance, oconfig_item_t *ci, cdtime_t interval)
 146 {
 147   ctail_config_match_t cm = { 0 };
 148   int status;
 149
 150   if (ci->values_num != 0)
 151   {
 152     WARNING ("tail plugin: Ignoring arguments for the `Match' block.");
 153   }
 154
 155   status = 0;
 156   for (int i = 0; i < ci->children_num; i++)
 157   {
 158     oconfig_item_t *option = ci->children + i;
 159
 160     if (strcasecmp ("Regex", option->key) == 0)
 161       status = cf_util_get_string (option, &cm.regex);
 162     else if (strcasecmp ("ExcludeRegex", option->key) == 0)
 163       status = cf_util_get_string (option, &cm.excluderegex);
 164     else if (strcasecmp ("DSType", option->key) == 0)
 165       status = ctail_config_add_match_dstype (&cm, option);
 166     else if (strcasecmp ("Type", option->key) == 0)
 167       status = cf_util_get_string (option, &cm.type);
 168     else if (strcasecmp ("Instance", option->key) == 0)
 169       status = cf_util_get_string (option, &cm.type_instance);
 170     else if (strncasecmp ("Latency", option->key, strlen ("Latency")) == 0)
 171     {
 172       if (strcasecmp ("LatencyPercentile", option->key) == 0)
 173         status = latency_config_add_percentile ("tail", &cm.latency, option);
 174       else if (strcasecmp ("LatencyPercentileType", option->key) == 0)
 175         status = cf_util_get_string (option, &cm.latency.percentile_type);
 176       else if (strcasecmp ("LatencyRate", option->key) == 0)
 177         status = latency_config_add_rate ("tail", &cm.latency, option);
 178       else if (strcasecmp ("LatencyRateType", option->key) == 0)
 179         status = cf_util_get_string (option, &cm.latency.rates_type);
 180       else if (strcasecmp ("LatencyLower", option->key) == 0)
 181         status = cf_util_get_boolean (option, &cm.latency.lower);
 182       else if (strcasecmp ("LatencyUpper", option->key) == 0)
 183         status = cf_util_get_boolean (option, &cm.latency.upper);
 184       else if (strcasecmp ("LatencyAvg", option->key) == 0)
 185         status = cf_util_get_boolean (option, &cm.latency.avg);
 186       else
 187       {
 188         WARNING ("tail plugin: Option `%s' not allowed here.", option->key);
 189         status = -1;
 190       }
 191     }
 192     else
 193     {
 194       WARNING ("tail plugin: Option `%s' not allowed here.", option->key);
 195       status = -1;
 196     }
 197
 198     if (status != 0)
 199       break;
 200   } /* for (i = 0; i < ci->children_num; i++) */
 201
 202   while (status == 0)
 203   {
 204     if (cm.regex == NULL)
 205     {
 206       WARNING ("tail plugin: `Regex' missing in `Match' block.");
 207       status = -1;
 208       break;
 209     }
 210
 211     if (cm.type == NULL)
 212     {
 213       WARNING ("tail plugin: `Type' missing in `Match' block.");
 214       status = -1;
 215       break;
 216     }
 217
 218     if (cm.flags == 0)
 219     {
 220       WARNING ("tail plugin: `DSType' missing in `Match' block.");
 221       status = -1;
 222       break;
 223     }
 224
 225     if ((cm.flags & UTILS_MATCH_DS_TYPE_GAUGE)
 226         && (cm.flags & UTILS_MATCH_CF_GAUGE_LATENCY))
 227     {
 228
 229       if (cm.type_instance != NULL)
 230       {
 231         WARNING ("tail plugin: `DSType Latency' and `Instance %s' in `Match' "
 232                  "block could not be used together.", cm.type_instance);
 233         status = -1;
 234         break;
 235       }
 236
 237       if (cm.latency.percentile_num == 0 && cm.latency.rates_num == 0)
 238       {
 239         WARNING ("tail plugin: `Match' with `DSType Latency' has no "
 240                  "`LatencyPercentile' or `LatencyRate' options.");
 241         status = -1;
 242         break;
 243       }
 244     }
 245
 246     break;
 247   } /* while (status == 0) */
 248
 249   if (status == 0)
 250   {
 251     status = tail_match_add_match_simple (tm, cm.regex, cm.excluderegex,
 252       cm.flags, "tail", plugin_instance, cm.type, cm.type_instance,
 253       cm.latency, interval);
 254
 255     if (status != 0)
 256     {
 257       ERROR ("tail plugin: tail_match_add_match_simple failed.");
 258     }
 259   }
 260
 261   sfree (cm.regex);
 262   sfree (cm.excluderegex);
 263   sfree (cm.type);
 264   sfree (cm.type_instance);
 265   latency_config_free(cm.latency);
 266
 267   return (status);
 268 } /* int ctail_config_add_match */
 269
 270 static int ctail_config_add_file (oconfig_item_t *ci)
 271 {
 272   cu_tail_match_t *tm;
 273   cdtime_t interval = 0;
 274   char *plugin_instance = NULL;
 275   int num_matches = 0;
 276
 277   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING))
 278   {
 279     WARNING ("tail plugin: `File' needs exactly one string argument.");
 280     return (-1);
 281   }
 282
 283   tm = tail_match_create (ci->values[0].value.string);
 284   if (tm == NULL)
 285   {
 286     ERROR ("tail plugin: tail_match_create (%s) failed.",
 287         ci->values[0].value.string);
 288     return (-1);
 289   }
 290
 291   for (int i = 0; i < ci->children_num; i++)
 292   {
 293     oconfig_item_t *option = ci->children + i;
 294     int status = 0;
 295
 296     if (strcasecmp ("Instance", option->key) == 0)
 297       status = cf_util_get_string (option, &plugin_instance);
 298     else if (strcasecmp ("Interval", option->key) == 0)
 299       cf_util_get_cdtime (option, &interval);
 300     else if (strcasecmp ("Match", option->key) == 0)
 301     {
 302       status = ctail_config_add_match (tm, plugin_instance, option, interval);
 303       if (status == 0)
 304         num_matches++;
 305       /* Be mild with failed matches.. */
 306       status = 0;
 307     }
 308     else
 309     {
 310       status = -1;
 311     }
 312
 313     if (status != 0)
 314       break;
 315   } /* for (i = 0; i < ci->children_num; i++) */
 316
 317   sfree (plugin_instance);
 318
 319   if (num_matches == 0)
 320   {
 321     ERROR ("tail plugin: No (valid) matches found for file `%s'.",
 322         ci->values[0].value.string);
 323     tail_match_destroy (tm);
 324     return (-1);
 325   }
 326   else
 327   {
 328     cu_tail_match_t **temp;
 329
 330     temp = realloc (tail_match_list,
 331         sizeof (cu_tail_match_t *) * (tail_match_list_num + 1));
 332     if (temp == NULL)
 333     {
 334       ERROR ("tail plugin: realloc failed.");
 335       tail_match_destroy (tm);
 336       return (-1);
 337     }
 338
 339     tail_match_list = temp;
 340     tail_match_list[tail_match_list_num] = tm;
 341     tail_match_list_intervals[tail_match_list_num] = interval;
 342     tail_match_list_num++;
 343   }
 344
 345   return (0);
 346 } /* int ctail_config_add_file */
 347
 348 static int ctail_config (oconfig_item_t *ci)
 349 {
 350   for (int i = 0; i < ci->children_num; i++)
 351   {
 352     oconfig_item_t *option = ci->children + i;
 353
 354     if (strcasecmp ("File", option->key) == 0)
 355       ctail_config_add_file (option);
 356     else
 357     {
 358       WARNING ("tail plugin: Option `%s' not allowed here.", option->key);
 359     }
 360   } /* for (i = 0; i < ci->children_num; i++) */
 361
 362   return (0);
 363 } /* int ctail_config */
 364
 365 static int ctail_read (user_data_t *ud)
 366 {
 367   int status;
 368
 369   status = tail_match_read ((cu_tail_match_t *)ud->data);
 370   if (status != 0)
 371   {
 372     ERROR ("tail plugin: tail_match_read failed.");
 373     return (-1);
 374   }
 375
 376   return (0);
 377 } /* int ctail_read */
 378
 379 static int ctail_init (void)
 380 {
 381   char str[255];
 382
 383   if (tail_match_list_num == 0)
 384   {
 385     WARNING ("tail plugin: File list is empty. Returning an error.");
 386     return (-1);
 387   }
 388
 389   for (size_t i = 0; i < tail_match_list_num; i++)
 390   {
 391     ssnprintf(str, sizeof(str), "tail-%zu", i);
 392
 393     plugin_register_complex_read (NULL, str, ctail_read, tail_match_list_intervals[i],
 394         &(user_data_t) {
 395           .data = tail_match_list[i],
 396         });
 397   }
 398
 399   return (0);
 400 } /* int ctail_init */
 401
 402 static int ctail_shutdown (void)
 403 {
 404   for (size_t i = 0; i < tail_match_list_num; i++)
 405   {
 406     tail_match_destroy (tail_match_list[i]);
 407     tail_match_list[i] = NULL;
 408   }
 409   sfree (tail_match_list);
 410   tail_match_list_num = 0;
 411
 412   return (0);
 413 } /* int ctail_shutdown */
 414
 415 void module_register (void)
 416 {
 417   plugin_register_complex_config ("tail", ctail_config);
 418   plugin_register_init ("tail", ctail_init);
 419   plugin_register_shutdown ("tail", ctail_shutdown);
 420 } /* void module_register */
 421
 422 /* vim: set sw=2 sts=2 ts=8 : */