src/table.c

   1 /**
   2  * collectd - src/table.c
   3  * Copyright (C) 2009  Sebastian Harl
   4  *
   5  * This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the GNU General Public License as published by the
   7  * Free Software Foundation; only version 2 of the License is applicable.
   8  *
   9  * This program is distributed in the hope that it will be useful, but
  10  * WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License along
  15  * with this program; if not, write to the Free Software Foundation, Inc.,
  16  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  17  *
  18  * Authors:
  19  *   Sebastian Harl <sh at tokkee.org>
  20  **/
  21
  22 /*
  23  * This module provides generic means to parse and dispatch tabular data.
  24  */
  25
  26 #include "collectd.h"
  27 #include "common.h"
  28
  29 #include "configfile.h"
  30 #include "plugin.h"
  31
  32 #define log_err(...) ERROR ("table plugin: " __VA_ARGS__)
  33 #define log_warn(...) WARNING ("table plugin: " __VA_ARGS__)
  34
  35 /*
  36  * private data types
  37  */
  38
  39 typedef struct {
  40         char  *type;
  41         char  *instance_prefix;
  42         int   *instances;
  43         size_t instances_num;
  44         int   *values;
  45         size_t values_num;
  46
  47         const data_set_t *ds;
  48 } tbl_result_t;
  49
  50 typedef struct {
  51         char *file;
  52         char *sep;
  53         char *instance;
  54
  55         tbl_result_t *results;
  56         size_t        results_num;
  57
  58         size_t max_colnum;
  59 } tbl_t;
  60
  61 static void tbl_result_setup (tbl_result_t *res)
  62 {
  63         res->type            = NULL;
  64
  65         res->instance_prefix = NULL;
  66         res->instances       = NULL;
  67         res->instances_num   = 0;
  68
  69         res->values          = NULL;
  70         res->values_num      = 0;
  71
  72         res->ds              = NULL;
  73 } /* tbl_result_setup */
  74
  75 static void tbl_result_clear (tbl_result_t *res)
  76 {
  77         sfree (res->type);
  78
  79         sfree (res->instance_prefix);
  80         sfree (res->instances);
  81         res->instances_num = 0;
  82
  83         sfree (res->values);
  84         res->values_num = 0;
  85
  86         res->ds = NULL;
  87 } /* tbl_result_clear */
  88
  89 static void tbl_setup (tbl_t *tbl, char *file)
  90 {
  91         tbl->file        = sstrdup (file);
  92         tbl->sep         = NULL;
  93         tbl->instance    = NULL;
  94
  95         tbl->results     = NULL;
  96         tbl->results_num = 0;
  97
  98         tbl->max_colnum  = 0;
  99 } /* tbl_setup */
 100
 101 static void tbl_clear (tbl_t *tbl)
 102 {
 103         size_t i;
 104
 105         sfree (tbl->file);
 106         sfree (tbl->sep);
 107         sfree (tbl->instance);
 108
 109         for (i = 0; i < tbl->results_num; ++i)
 110                 tbl_result_clear (tbl->results + i);
 111         sfree (tbl->results);
 112         tbl->results_num = 0;
 113
 114         tbl->max_colnum  = 0;
 115 } /* tbl_clear */
 116
 117 static tbl_t *tables;
 118 static size_t tables_num;
 119
 120 /*
 121  * configuration handling
 122  */
 123
 124 static int tbl_config_set_s (char *name, char **var, oconfig_item_t *ci)
 125 {
 126         if ((1 != ci->values_num)
 127                         || (OCONFIG_TYPE_STRING != ci->values[0].type)) {
 128                 log_err ("\"%s\" expects a single string argument.", name);
 129                 return 1;
 130         }
 131
 132         sfree (*var);
 133         *var = sstrdup (ci->values[0].value.string);
 134         return 0;
 135 } /* tbl_config_set_separator */
 136
 137 static int tbl_config_append_array_i (char *name, int **var, size_t *len,
 138                 oconfig_item_t *ci)
 139 {
 140         int *tmp;
 141
 142         size_t i;
 143
 144         if (1 > ci->values_num) {
 145                 log_err ("\"%s\" expects at least one argument.", name);
 146                 return 1;
 147         }
 148
 149         for (i = 0; i < ci->values_num; ++i) {
 150                 if (OCONFIG_TYPE_NUMBER != ci->values[i].type) {
 151                         log_err ("\"%s\" expects numerical arguments only.", name);
 152                         return 1;
 153                 }
 154         }
 155
 156         *len += ci->values_num;
 157         tmp = (int *)realloc (*var, *len * sizeof (**var));
 158         if (NULL == tmp) {
 159                 char errbuf[1024];
 160                 log_err ("realloc failed: %s.",
 161                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 162                 return -1;
 163         }
 164
 165         *var = tmp;
 166
 167         for (i = *len - ci->values_num; i < *len; ++i)
 168                 (*var)[i] = (int)ci->values[i].value.number;
 169         return 0;
 170 } /* tbl_config_append_array_s */
 171
 172 static int tbl_config_result (tbl_t *tbl, oconfig_item_t *ci)
 173 {
 174         tbl_result_t *res;
 175
 176         int status = 0;
 177         size_t i;
 178
 179         if (0 != ci->values_num) {
 180                 log_err ("<Result> does not expect any arguments.");
 181                 return 1;
 182         }
 183
 184         res = (tbl_result_t *)realloc (tbl->results,
 185                         (tbl->results_num + 1) * sizeof (*tbl->results));
 186         if (NULL == tbl) {
 187                 char errbuf[1024];
 188                 log_err ("realloc failed: %s.",
 189                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 190                 return -1;
 191         }
 192
 193         tbl->results = res;
 194         ++tbl->results_num;
 195
 196         res = tbl->results + tbl->results_num - 1;
 197         tbl_result_setup (res);
 198
 199         for (i = 0; i < ci->children_num; ++i) {
 200                 oconfig_item_t *c = ci->children + i;
 201
 202                 if (0 == strcasecmp (c->key, "Type"))
 203                         tbl_config_set_s (c->key, &res->type, c);
 204                 else if (0 == strcasecmp (c->key, "InstancePrefix"))
 205                         tbl_config_set_s (c->key, &res->instance_prefix, c);
 206                 else if (0 == strcasecmp (c->key, "InstancesFrom"))
 207                         tbl_config_append_array_i (c->key,
 208                                         &res->instances, &res->instances_num, c);
 209                 else if (0 == strcasecmp (c->key, "ValuesFrom"))
 210                         tbl_config_append_array_i (c->key,
 211                                         &res->values, &res->values_num, c);
 212                 else
 213                         log_warn ("Ignoring unknown config key \"%s\" "
 214                                         " in <Result>.", c->key);
 215         }
 216
 217         if (NULL == res->type) {
 218                 log_err ("No \"Type\" option specified for <Result> "
 219                                 "in table \"%s\".", tbl->file);
 220                 status = 1;
 221         }
 222
 223         if (NULL == res->values) {
 224                 log_err ("No \"ValuesFrom\" option specified for <Result> "
 225                                 "in table \"%s\".", tbl->file);
 226                 status = 1;
 227         }
 228
 229         if (0 != status) {
 230                 tbl_result_clear (res);
 231                 --tbl->results_num;
 232                 return status;
 233         }
 234         return 0;
 235 } /* tbl_config_result */
 236
 237 static int tbl_config_table (oconfig_item_t *ci)
 238 {
 239         tbl_t *tbl;
 240
 241         int status = 0;
 242         size_t i;
 243
 244         if ((1 != ci->values_num)
 245                         || (OCONFIG_TYPE_STRING != ci->values[0].type)) {
 246                 log_err ("<Table> expects a single string argument.");
 247                 return 1;
 248         }
 249
 250         tbl = (tbl_t *)realloc (tables, (tables_num + 1) * sizeof (*tables));
 251         if (NULL == tbl) {
 252                 char errbuf[1024];
 253                 log_err ("realloc failed: %s.",
 254                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 255                 return -1;
 256         }
 257
 258         tables = tbl;
 259         ++tables_num;
 260
 261         tbl = tables + tables_num - 1;
 262         tbl_setup (tbl, ci->values[0].value.string);
 263
 264         for (i = 0; i < ci->children_num; ++i) {
 265                 oconfig_item_t *c = ci->children + i;
 266
 267                 if (0 == strcasecmp (c->key, "Separator"))
 268                         tbl_config_set_s (c->key, &tbl->sep, c);
 269                 else if (0 == strcasecmp (c->key, "Instance"))
 270                         tbl_config_set_s (c->key, &tbl->instance, c);
 271                 else if (0 == strcasecmp (c->key, "Result"))
 272                         tbl_config_result (tbl, c);
 273                 else
 274                         log_warn ("Ignoring unknown config key \"%s\" "
 275                                         "in <Table %s>.", c->key, tbl->file);
 276         }
 277
 278         if (NULL == tbl->sep) {
 279                 log_err ("Table \"%s\" does not specify any separator.", tbl->file);
 280                 status = 1;
 281         }
 282
 283         if (NULL == tbl->instance) {
 284                 tbl->instance = sstrdup (tbl->file);
 285                 replace_special (tbl->instance, strlen (tbl->instance));
 286         }
 287
 288         if (NULL == tbl->results) {
 289                 log_err ("Table \"%s\" does not specify any (valid) results.",
 290                                 tbl->file);
 291                 status = 1;
 292         }
 293
 294         if (0 != status) {
 295                 tbl_clear (tbl);
 296                 --tables_num;
 297                 return status;
 298         }
 299
 300         for (i = 0; i < tbl->results_num; ++i) {
 301                 tbl_result_t *res = tbl->results + i;
 302                 size_t j;
 303
 304                 for (j = 0; j < res->instances_num; ++j)
 305                         if (res->instances[j] > tbl->max_colnum)
 306                                 tbl->max_colnum = res->instances[j];
 307
 308                 for (j = 0; j < res->values_num; ++j)
 309                         if (res->values[j] > tbl->max_colnum)
 310                                 tbl->max_colnum = res->values[j];
 311         }
 312         return 0;
 313 } /* tbl_config_table */
 314
 315 static int tbl_config (oconfig_item_t *ci)
 316 {
 317         size_t i;
 318
 319         for (i = 0; i < ci->children_num; ++i) {
 320                 oconfig_item_t *c = ci->children + i;
 321
 322                 if (0 == strcasecmp (c->key, "Table"))
 323                         tbl_config_table (c);
 324                 else
 325                         log_warn ("Ignoring unknown config key \"%s\".", c->key);
 326         }
 327         return 0;
 328 } /* tbl_config */
 329
 330 /*
 331  * result handling
 332  */
 333
 334 static int tbl_prepare (tbl_t *tbl)
 335 {
 336         size_t i;
 337
 338         for (i = 0; i < tbl->results_num; ++i) {
 339                 tbl_result_t *res = tbl->results + i;
 340
 341                 res->ds = plugin_get_ds (res->type);
 342                 if (NULL == res->ds) {
 343                         log_err ("Unknown type \"%s\". See types.db(5) for details.",
 344                                         res->type);
 345                         return -1;
 346                 }
 347
 348                 if (res->values_num != (size_t)res->ds->ds_num) {
 349                         log_err ("Invalid type \"%s\". Expected %zu data source%s, "
 350                                         "got %i.", res->type, res->values_num,
 351                                         (1 == res->values_num) ? "" : "s",
 352                                         res->ds->ds_num);
 353                         return -1;
 354                 }
 355         }
 356         return 0;
 357 } /* tbl_prepare */
 358
 359 static int tbl_finish (tbl_t *tbl)
 360 {
 361         size_t i;
 362
 363         for (i = 0; i < tbl->results_num; ++i)
 364                 tbl->results[i].ds = NULL;
 365         return 0;
 366 } /* tbl_finish */
 367
 368 static int tbl_parse_value (char *value, value_t *ret_value,
 369                 data_source_t ds)
 370 {
 371         char *endptr = NULL;
 372
 373         if (DS_TYPE_COUNTER == ds.type)
 374                 ret_value->counter = (counter_t)strtoll (value, &endptr, 0);
 375         else if (DS_TYPE_GAUGE == ds.type)
 376                 ret_value->gauge = (gauge_t)strtod (value, &endptr);
 377         else {
 378                 log_err ("tbl_parse_value: Invalid data source \"%s\" "
 379                                 "(type = %i).", ds.name, ds.type);
 380                 return -1;
 381         }
 382
 383         if (value == endptr) {
 384                 log_err ("Failed to parse string as number: %s.", value);
 385                 return -1;
 386         }
 387         else if ((NULL != endptr) && ('\0' != *endptr))
 388                 log_warn ("Ignoring trailing garbage after number: %s.", endptr);
 389         return 0;
 390 } /* tbl_parse_value */
 391
 392 static int tbl_result_dispatch (tbl_t *tbl, tbl_result_t *res,
 393                 char **fields, size_t fields_num)
 394 {
 395         value_list_t vl = VALUE_LIST_INIT;
 396         value_t values[res->values_num];
 397
 398         size_t i;
 399
 400         assert (NULL != res->ds);
 401         assert (res->values_num == res->ds->ds_num);
 402
 403         for (i = 0; i < res->values_num; ++i) {
 404                 char *value;
 405
 406                 assert (res->values[i] < fields_num);
 407                 value = fields[res->values[i]];
 408
 409                 if (0 != tbl_parse_value (value, &values[i], res->ds->ds[i]))
 410                         return -1;
 411         }
 412
 413         vl.values     = values;
 414         vl.values_len = STATIC_ARRAY_SIZE (values);
 415
 416         sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 417         sstrncpy (vl.plugin, "table", sizeof (vl.plugin));
 418         sstrncpy (vl.plugin_instance, tbl->instance, sizeof (vl.plugin_instance));
 419         sstrncpy (vl.type, res->type, sizeof (vl.type));
 420
 421         if (0 == res->instances_num) {
 422                 if (NULL != res->instance_prefix)
 423                         sstrncpy (vl.type_instance, res->instance_prefix,
 424                                         sizeof (vl.type_instance));
 425         }
 426         else {
 427                 char *instances[res->instances_num];
 428                 char  instances_str[DATA_MAX_NAME_LEN];
 429
 430                 for (i = 0; i < res->instances_num; ++i) {
 431                         assert (res->instances[i] < fields_num);
 432                         instances[i] = fields[res->instances[i]];
 433                 }
 434
 435                 strjoin (instances_str, sizeof (instances_str),
 436                                 instances, STATIC_ARRAY_SIZE (instances), "-");
 437                 instances_str[sizeof (instances_str) - 1] = '\0';
 438
 439                 vl.type_instance[sizeof (vl.type_instance) - 1] = '\0';
 440                 if (NULL == res->instance_prefix)
 441                         strncpy (vl.type_instance, instances_str,
 442                                         sizeof (vl.type_instance));
 443                 else
 444                         snprintf (vl.type_instance, sizeof (vl.type_instance),
 445                                         "%s-%s", res->instance_prefix, instances_str);
 446
 447                 if ('\0' != vl.type_instance[sizeof (vl.type_instance) - 1]) {
 448                         vl.type_instance[sizeof (vl.type_instance) - 1] = '\0';
 449                         log_warn ("Truncated type instance: %s.", vl.type_instance);
 450                 }
 451         }
 452
 453         plugin_dispatch_values (&vl);
 454         return 0;
 455 } /* tbl_result_dispatch */
 456
 457 static int tbl_parse_line (tbl_t *tbl, char *line, size_t len)
 458 {
 459         char *fields[tbl->max_colnum + 1];
 460         char *ptr, *saveptr;
 461
 462         size_t i;
 463
 464         i = 0;
 465         ptr = line;
 466         saveptr = NULL;
 467         while (NULL != (fields[i] = strtok_r (ptr, tbl->sep, &saveptr))) {
 468                 ptr = NULL;
 469                 ++i;
 470
 471                 if (i > tbl->max_colnum)
 472                         break;
 473         }
 474
 475         if (i <= tbl->max_colnum) {
 476                 log_err ("Not enough columns in line "
 477                                 "(expected at least %zu, got %zu).",
 478                                 tbl->max_colnum + 1, i);
 479                 return -1;
 480         }
 481
 482         for (i = 0; i < tbl->results_num; ++i)
 483                 if (0 != tbl_result_dispatch (tbl, tbl->results + i,
 484                                         fields, STATIC_ARRAY_SIZE (fields))) {
 485                         log_err ("Failed to dispatch result.");
 486                         continue;
 487                 }
 488         return 0;
 489 } /* tbl_parse_line */
 490
 491 static int tbl_read_table (tbl_t *tbl)
 492 {
 493         FILE *fh;
 494         char  buf[4096];
 495
 496         fh = fopen (tbl->file, "r");
 497         if (NULL == fh) {
 498                 char errbuf[1024];
 499                 log_err ("Failed to open file \"%s\": %s.", tbl->file,
 500                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 501                 return -1;
 502         }
 503
 504         buf[sizeof (buf) - 1] = '\0';
 505         while (NULL != fgets (buf, sizeof (buf), fh)) {
 506                 if ('\0' != buf[sizeof (buf) - 1]) {
 507                         buf[sizeof (buf) - 1] = '\0';
 508                         log_err ("Table %s: Truncated line: %s", tbl->file, buf);
 509                 }
 510
 511                 if (0 != tbl_parse_line (tbl, buf, sizeof (buf))) {
 512                         log_err ("Table %s: Failed to parse line: %s", tbl->file, buf);
 513                         continue;
 514                 }
 515         }
 516
 517         if (0 != ferror (fh)) {
 518                 char errbuf[1024];
 519                 log_err ("Failed to read from file \"%s\": %s.", tbl->file,
 520                                 sstrerror (errno, errbuf, sizeof (errbuf)));
 521                 fclose (fh);
 522                 return -1;
 523         }
 524
 525         fclose (fh);
 526         return 0;
 527 } /* tbl_read_table */
 528
 529 /*
 530  * collectd callbacks
 531  */
 532
 533 static int tbl_read (void)
 534 {
 535         int status = -1;
 536         size_t i;
 537
 538         if (0 == tables_num)
 539                 return 0;
 540
 541         for (i = 0; i < tables_num; ++i) {
 542                 tbl_t *tbl = tables + i;
 543
 544                 if (0 != tbl_prepare (tbl)) {
 545                         log_err ("Failed to prepare and parse table \"%s\".", tbl->file);
 546                         continue;
 547                 }
 548
 549                 if (0 == tbl_read_table (tbl))
 550                         status = 0;
 551
 552                 tbl_finish (tbl);
 553         }
 554         return status;
 555 } /* tbl_read */
 556
 557 static int tbl_shutdown (void)
 558 {
 559         size_t i;
 560
 561         for (i = 0; i < tables_num; ++i)
 562                 tbl_clear (&tables[i]);
 563         sfree (tables);
 564         return 0;
 565 } /* tbl_shutdown */
 566
 567 static int tbl_init (void)
 568 {
 569         if (0 == tables_num)
 570                 return 0;
 571
 572         plugin_register_read ("table", tbl_read);
 573         plugin_register_shutdown ("table", tbl_shutdown);
 574         return 0;
 575 } /* tbl_init */
 576
 577 void module_register (void)
 578 {
 579         plugin_register_complex_config ("table", tbl_config);
 580         plugin_register_init ("table", tbl_init);
 581 } /* module_register */
 582
 583 /* vim: set sw=4 ts=4 tw=78 noexpandtab : */