src/curl_xml.c

   1 /**
   2  * collectd - src/curl_xml.c
   3  * Copyright (C) 2009,2010       Amit Gupta
   4  *
   5  * This program is free software; you can redistribute it and/or modify it
   6  * under the terms of the GNU General Public License as published by the
   7  * Free Software Foundation; only version 2 of the License is applicable.
   8  *
   9  * This program is distributed in the hope that it will be useful, but
  10  * WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU General Public License along
  15  * with this program; if not, write to the Free Software Foundation, Inc.,
  16  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  17  *
  18  * Authors:
  19  *   Amit Gupta <amit.gupta221 at gmail.com>
  20  **/
  21
  22 #include "collectd.h"
  23
  24 #include "common.h"
  25 #include "plugin.h"
  26 #include "utils_curl_stats.h"
  27 #include "utils_llist.h"
  28
  29 #include <libxml/parser.h>
  30 #include <libxml/tree.h>
  31 #include <libxml/xpath.h>
  32 #include <libxml/xpathInternals.h>
  33
  34 #include <curl/curl.h>
  35
  36 #define CX_DEFAULT_HOST "localhost"
  37
  38 /*
  39  * Private data structures
  40  */
  41 struct cx_values_s /* {{{ */
  42 {
  43   char path[DATA_MAX_NAME_LEN];
  44   size_t path_len;
  45 };
  46 typedef struct cx_values_s cx_values_t;
  47 /* }}} */
  48
  49 struct cx_xpath_s /* {{{ */
  50 {
  51   char *path;
  52   char *type;
  53   cx_values_t *values;
  54   size_t values_len;
  55   char *instance_prefix;
  56   char *instance;
  57   int is_table;
  58   unsigned long magic;
  59 };
  60 typedef struct cx_xpath_s cx_xpath_t;
  61 /* }}} */
  62
  63 struct cx_namespace_s /* {{{ */
  64 {
  65   char *prefix;
  66   char *url;
  67 };
  68 typedef struct cx_namespace_s cx_namespace_t;
  69 /* }}} */
  70
  71 struct cx_s /* {{{ */
  72 {
  73   char *instance;
  74   char *host;
  75
  76   char *url;
  77   char *user;
  78   char *pass;
  79   char *credentials;
  80   _Bool digest;
  81   _Bool verify_peer;
  82   _Bool verify_host;
  83   char *cacert;
  84   char *post_body;
  85   int timeout;
  86   struct curl_slist *headers;
  87   curl_stats_t *stats;
  88
  89   cx_namespace_t *namespaces;
  90   size_t namespaces_num;
  91
  92   CURL *curl;
  93   char curl_errbuf[CURL_ERROR_SIZE];
  94   char *buffer;
  95   size_t buffer_size;
  96   size_t buffer_fill;
  97
  98   llist_t *list; /* list of xpath blocks */
  99 };
 100 typedef struct cx_s cx_t; /* }}} */
 101
 102 /*
 103  * Private functions
 104  */
 105 static size_t cx_curl_callback(void *buf, /* {{{ */
 106                                size_t size, size_t nmemb, void *user_data) {
 107   size_t len = size * nmemb;
 108   cx_t *db;
 109
 110   db = user_data;
 111   if (db == NULL) {
 112     ERROR("curl_xml plugin: cx_curl_callback: "
 113           "user_data pointer is NULL.");
 114     return (0);
 115   }
 116
 117   if (len == 0)
 118     return (len);
 119
 120   if ((db->buffer_fill + len) >= db->buffer_size) {
 121     char *temp;
 122
 123     temp = realloc(db->buffer, db->buffer_fill + len + 1);
 124     if (temp == NULL) {
 125       ERROR("curl_xml plugin: realloc failed.");
 126       return (0);
 127     }
 128     db->buffer = temp;
 129     db->buffer_size = db->buffer_fill + len + 1;
 130   }
 131
 132   memcpy(db->buffer + db->buffer_fill, (char *)buf, len);
 133   db->buffer_fill += len;
 134   db->buffer[db->buffer_fill] = 0;
 135
 136   return (len);
 137 } /* }}} size_t cx_curl_callback */
 138
 139 static void cx_xpath_free(cx_xpath_t *xpath) /* {{{ */
 140 {
 141   if (xpath == NULL)
 142     return;
 143
 144   sfree(xpath->path);
 145   sfree(xpath->type);
 146   sfree(xpath->instance_prefix);
 147   sfree(xpath->instance);
 148   sfree(xpath->values);
 149   sfree(xpath);
 150 } /* }}} void cx_xpath_free */
 151
 152 static void cx_list_free(llist_t *list) /* {{{ */
 153 {
 154   llentry_t *le;
 155
 156   le = llist_head(list);
 157   while (le != NULL) {
 158     llentry_t *le_next;
 159
 160     le_next = le->next;
 161
 162     sfree(le->key);
 163     cx_xpath_free(le->value);
 164
 165     le = le_next;
 166   }
 167
 168   llist_destroy(list);
 169 } /* }}} void cx_list_free */
 170
 171 static void cx_free(void *arg) /* {{{ */
 172 {
 173   cx_t *db;
 174
 175   DEBUG("curl_xml plugin: cx_free (arg = %p);", arg);
 176
 177   db = (cx_t *)arg;
 178
 179   if (db == NULL)
 180     return;
 181
 182   if (db->curl != NULL)
 183     curl_easy_cleanup(db->curl);
 184   db->curl = NULL;
 185
 186   if (db->list != NULL)
 187     cx_list_free(db->list);
 188
 189   sfree(db->buffer);
 190   sfree(db->instance);
 191   sfree(db->host);
 192
 193   sfree(db->url);
 194   sfree(db->user);
 195   sfree(db->pass);
 196   sfree(db->credentials);
 197   sfree(db->cacert);
 198   sfree(db->post_body);
 199   curl_slist_free_all(db->headers);
 200   curl_stats_destroy(db->stats);
 201
 202   for (size_t i = 0; i < db->namespaces_num; i++) {
 203     sfree(db->namespaces[i].prefix);
 204     sfree(db->namespaces[i].url);
 205   }
 206   sfree(db->namespaces);
 207
 208   sfree(db);
 209 } /* }}} void cx_free */
 210
 211 static const char *cx_host(cx_t *db) /* {{{ */
 212 {
 213   if (db->host == NULL)
 214     return hostname_g;
 215   return db->host;
 216 } /* }}} cx_host */
 217
 218 static int cx_config_append_string(const char *name,
 219                                    struct curl_slist **dest, /* {{{ */
 220                                    oconfig_item_t *ci) {
 221   struct curl_slist *temp = NULL;
 222   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING)) {
 223     WARNING("curl_xml plugin: `%s' needs exactly one string argument.", name);
 224     return (-1);
 225   }
 226
 227   temp = curl_slist_append(*dest, ci->values[0].value.string);
 228   if (temp == NULL)
 229     return (-1);
 230
 231   *dest = temp;
 232
 233   return (0);
 234 } /* }}} int cx_config_append_string */
 235
 236 static int cx_check_type(const data_set_t *ds, cx_xpath_t *xpath) /* {{{ */
 237 {
 238   if (!ds) {
 239     WARNING("curl_xml plugin: DataSet `%s' not defined.", xpath->type);
 240     return (-1);
 241   }
 242
 243   if (ds->ds_num != xpath->values_len) {
 244     WARNING("curl_xml plugin: DataSet `%s' requires %zu values, but config "
 245             "talks about %zu",
 246             xpath->type, ds->ds_num, xpath->values_len);
 247     return (-1);
 248   }
 249
 250   return (0);
 251 } /* }}} cx_check_type */
 252
 253 static xmlXPathObjectPtr
 254 cx_evaluate_xpath(xmlXPathContextPtr xpath_ctx, /* {{{ */
 255                   xmlChar *expr) {
 256   xmlXPathObjectPtr xpath_obj;
 257
 258   /* XXX: When to free this? */
 259   xpath_obj = xmlXPathEvalExpression(BAD_CAST expr, xpath_ctx);
 260   if (xpath_obj == NULL) {
 261     WARNING("curl_xml plugin: "
 262             "Error unable to evaluate xpath expression \"%s\". Skipping...",
 263             expr);
 264     return NULL;
 265   }
 266
 267   return xpath_obj;
 268 } /* }}} cx_evaluate_xpath */
 269
 270 static int cx_if_not_text_node(xmlNodePtr node) /* {{{ */
 271 {
 272   if (node->type == XML_TEXT_NODE || node->type == XML_ATTRIBUTE_NODE ||
 273       node->type == XML_ELEMENT_NODE)
 274     return (0);
 275
 276   WARNING("curl_xml plugin: "
 277           "Node \"%s\" doesn't seem to be a text node. Skipping...",
 278           node->name);
 279   return -1;
 280 } /* }}} cx_if_not_text_node */
 281
 282 static int cx_handle_single_value_xpath(xmlXPathContextPtr xpath_ctx, /* {{{ */
 283                                         cx_xpath_t *xpath, const data_set_t *ds,
 284                                         value_list_t *vl, int index) {
 285   xmlXPathObjectPtr values_node_obj;
 286   xmlNodeSetPtr values_node;
 287   int tmp_size;
 288   char *node_value;
 289
 290   values_node_obj =
 291       cx_evaluate_xpath(xpath_ctx, BAD_CAST xpath->values[index].path);
 292   if (values_node_obj == NULL)
 293     return (-1); /* Error already logged. */
 294
 295   values_node = values_node_obj->nodesetval;
 296   tmp_size = (values_node) ? values_node->nodeNr : 0;
 297
 298   if (tmp_size == 0) {
 299     WARNING("curl_xml plugin: "
 300             "relative xpath expression \"%s\" doesn't match any of the nodes. "
 301             "Skipping...",
 302             xpath->values[index].path);
 303     xmlXPathFreeObject(values_node_obj);
 304     return (-1);
 305   }
 306
 307   if (tmp_size > 1) {
 308     WARNING("curl_xml plugin: "
 309             "relative xpath expression \"%s\" is expected to return "
 310             "only one node. Skipping...",
 311             xpath->values[index].path);
 312     xmlXPathFreeObject(values_node_obj);
 313     return (-1);
 314   }
 315
 316   /* ignoring the element if other than textnode/attribute*/
 317   if (cx_if_not_text_node(values_node->nodeTab[0])) {
 318     WARNING("curl_xml plugin: "
 319             "relative xpath expression \"%s\" is expected to return "
 320             "only text/attribute node which is not the case. Skipping...",
 321             xpath->values[index].path);
 322     xmlXPathFreeObject(values_node_obj);
 323     return (-1);
 324   }
 325
 326   node_value = (char *)xmlNodeGetContent(values_node->nodeTab[0]);
 327   switch (ds->ds[index].type) {
 328   case DS_TYPE_COUNTER:
 329     vl->values[index].counter =
 330         (counter_t)strtoull(node_value,
 331                             /* endptr = */ NULL, /* base = */ 0);
 332     break;
 333   case DS_TYPE_DERIVE:
 334     vl->values[index].derive =
 335         (derive_t)strtoll(node_value,
 336                           /* endptr = */ NULL, /* base = */ 0);
 337     break;
 338   case DS_TYPE_ABSOLUTE:
 339     vl->values[index].absolute =
 340         (absolute_t)strtoull(node_value,
 341                              /* endptr = */ NULL, /* base = */ 0);
 342     break;
 343   case DS_TYPE_GAUGE:
 344     vl->values[index].gauge = (gauge_t)strtod(node_value,
 345                                               /* endptr = */ NULL);
 346   }
 347
 348   /* free up object */
 349   xmlXPathFreeObject(values_node_obj);
 350   sfree(node_value);
 351
 352   /* We have reached here which means that
 353    * we have got something to work */
 354   return (0);
 355 } /* }}} int cx_handle_single_value_xpath */
 356
 357 static int cx_handle_all_value_xpaths(xmlXPathContextPtr xpath_ctx, /* {{{ */
 358                                       cx_xpath_t *xpath, const data_set_t *ds,
 359                                       value_list_t *vl) {
 360   value_t values[xpath->values_len];
 361   int status;
 362
 363   assert(xpath->values_len > 0);
 364   assert(xpath->values_len == vl->values_len);
 365   assert(xpath->values_len == ds->ds_num);
 366   vl->values = values;
 367
 368   for (size_t i = 0; i < xpath->values_len; i++) {
 369     status = cx_handle_single_value_xpath(xpath_ctx, xpath, ds, vl, i);
 370     if (status != 0)
 371       return (-1); /* An error has been printed. */
 372   }                /* for (i = 0; i < xpath->values_len; i++) */
 373
 374   plugin_dispatch_values(vl);
 375   vl->values = NULL;
 376
 377   return (0);
 378 } /* }}} int cx_handle_all_value_xpaths */
 379
 380 static int cx_handle_instance_xpath(xmlXPathContextPtr xpath_ctx, /* {{{ */
 381                                     cx_xpath_t *xpath, value_list_t *vl,
 382                                     _Bool is_table) {
 383   xmlXPathObjectPtr instance_node_obj = NULL;
 384   xmlNodeSetPtr instance_node = NULL;
 385
 386   memset(vl->type_instance, 0, sizeof(vl->type_instance));
 387
 388   /* If the base xpath returns more than one block, the result is assumed to be
 389    * a table. The `Instance' option is not optional in this case. Check for the
 390    * condition and inform the user. */
 391   if (is_table && (xpath->instance == NULL)) {
 392     WARNING("curl_xml plugin: "
 393             "Base-XPath %s is a table (more than one result was returned), "
 394             "but no instance-XPath has been defined.",
 395             xpath->path);
 396     return (-1);
 397   }
 398
 399   /* instance has to be an xpath expression */
 400   if (xpath->instance != NULL) {
 401     int tmp_size;
 402
 403     instance_node_obj = cx_evaluate_xpath(xpath_ctx, BAD_CAST xpath->instance);
 404     if (instance_node_obj == NULL)
 405       return (-1); /* error is logged already */
 406
 407     instance_node = instance_node_obj->nodesetval;
 408     tmp_size = (instance_node) ? instance_node->nodeNr : 0;
 409
 410     if (tmp_size <= 0) {
 411       WARNING(
 412           "curl_xml plugin: "
 413           "relative xpath expression for 'InstanceFrom' \"%s\" doesn't match "
 414           "any of the nodes. Skipping the node.",
 415           xpath->instance);
 416       xmlXPathFreeObject(instance_node_obj);
 417       return (-1);
 418     }
 419
 420     if (tmp_size > 1) {
 421       WARNING("curl_xml plugin: "
 422               "relative xpath expression for 'InstanceFrom' \"%s\" is expected "
 423               "to return only one text node. Skipping the node.",
 424               xpath->instance);
 425       xmlXPathFreeObject(instance_node_obj);
 426       return (-1);
 427     }
 428
 429     /* ignoring the element if other than textnode/attribute */
 430     if (cx_if_not_text_node(instance_node->nodeTab[0])) {
 431       WARNING("curl_xml plugin: "
 432               "relative xpath expression \"%s\" is expected to return only "
 433               "text node "
 434               "which is not the case. Skipping the node.",
 435               xpath->instance);
 436       xmlXPathFreeObject(instance_node_obj);
 437       return (-1);
 438     }
 439   } /* if (xpath->instance != NULL) */
 440
 441   if (xpath->instance_prefix != NULL) {
 442     if (instance_node != NULL) {
 443       char *node_value = (char *)xmlNodeGetContent(instance_node->nodeTab[0]);
 444       ssnprintf(vl->type_instance, sizeof(vl->type_instance), "%s%s",
 445                 xpath->instance_prefix, node_value);
 446       sfree(node_value);
 447     } else
 448       sstrncpy(vl->type_instance, xpath->instance_prefix,
 449                sizeof(vl->type_instance));
 450   } else {
 451     /* If instance_prefix and instance_node are NULL, then
 452      * don't set the type_instance */
 453     if (instance_node != NULL) {
 454       char *node_value = (char *)xmlNodeGetContent(instance_node->nodeTab[0]);
 455       sstrncpy(vl->type_instance, node_value, sizeof(vl->type_instance));
 456       sfree(node_value);
 457     }
 458   }
 459
 460   /* Free `instance_node_obj' this late, because `instance_node' points to
 461    * somewhere inside this structure. */
 462   xmlXPathFreeObject(instance_node_obj);
 463
 464   return (0);
 465 } /* }}} int cx_handle_instance_xpath */
 466
 467 static int cx_handle_base_xpath(char const *plugin_instance, /* {{{ */
 468                                 char const *host, xmlXPathContextPtr xpath_ctx,
 469                                 const data_set_t *ds, char *base_xpath,
 470                                 cx_xpath_t *xpath) {
 471   int total_nodes;
 472
 473   xmlXPathObjectPtr base_node_obj = NULL;
 474   xmlNodeSetPtr base_nodes = NULL;
 475
 476   value_list_t vl = VALUE_LIST_INIT;
 477
 478   base_node_obj = cx_evaluate_xpath(xpath_ctx, BAD_CAST base_xpath);
 479   if (base_node_obj == NULL)
 480     return -1; /* error is logged already */
 481
 482   base_nodes = base_node_obj->nodesetval;
 483   total_nodes = (base_nodes) ? base_nodes->nodeNr : 0;
 484
 485   if (total_nodes == 0) {
 486     ERROR("curl_xml plugin: "
 487           "xpath expression \"%s\" doesn't match any of the nodes. "
 488           "Skipping the xpath block...",
 489           base_xpath);
 490     xmlXPathFreeObject(base_node_obj);
 491     return -1;
 492   }
 493
 494   /* If base_xpath returned multiple results, then */
 495   /* Instance in the xpath block is required */
 496   if (total_nodes > 1 && xpath->instance == NULL) {
 497     ERROR("curl_xml plugin: "
 498           "InstanceFrom is must in xpath block since the base xpath expression "
 499           "\"%s\" "
 500           "returned multiple results. Skipping the xpath block...",
 501           base_xpath);
 502     return -1;
 503   }
 504
 505   /* set the values for the value_list */
 506   vl.values_len = ds->ds_num;
 507   sstrncpy(vl.type, xpath->type, sizeof(vl.type));
 508   sstrncpy(vl.plugin, "curl_xml", sizeof(vl.plugin));
 509   sstrncpy(vl.host, host, sizeof(vl.host));
 510   if (plugin_instance != NULL)
 511     sstrncpy(vl.plugin_instance, plugin_instance, sizeof(vl.plugin_instance));
 512
 513   for (int i = 0; i < total_nodes; i++) {
 514     int status;
 515
 516     xpath_ctx->node = base_nodes->nodeTab[i];
 517
 518     status = cx_handle_instance_xpath(xpath_ctx, xpath, &vl,
 519                                       /* is_table = */ (total_nodes > 1));
 520     if (status != 0)
 521       continue; /* An error has already been reported. */
 522
 523     status = cx_handle_all_value_xpaths(xpath_ctx, xpath, ds, &vl);
 524     if (status != 0)
 525       continue; /* An error has been logged. */
 526   }             /* for (i = 0; i < total_nodes; i++) */
 527
 528   /* free up the allocated memory */
 529   xmlXPathFreeObject(base_node_obj);
 530
 531   return (0);
 532 } /* }}} cx_handle_base_xpath */
 533
 534 static int cx_handle_parsed_xml(xmlDocPtr doc, /* {{{ */
 535                                 xmlXPathContextPtr xpath_ctx, cx_t *db) {
 536   llentry_t *le;
 537   const data_set_t *ds;
 538   cx_xpath_t *xpath;
 539   int status = -1;
 540
 541   le = llist_head(db->list);
 542   while (le != NULL) {
 543     /* get the ds */
 544     xpath = (cx_xpath_t *)le->value;
 545     ds = plugin_get_ds(xpath->type);
 546
 547     if ((cx_check_type(ds, xpath) == 0) &&
 548         (cx_handle_base_xpath(db->instance, cx_host(db), xpath_ctx, ds, le->key,
 549                               xpath) == 0))
 550       status = 0; /* we got atleast one success */
 551
 552     le = le->next;
 553   } /* while (le != NULL) */
 554
 555   return status;
 556 } /* }}} cx_handle_parsed_xml */
 557
 558 static int cx_parse_stats_xml(xmlChar *xml, cx_t *db) /* {{{ */
 559 {
 560   int status;
 561   xmlDocPtr doc;
 562   xmlXPathContextPtr xpath_ctx;
 563
 564   /* Load the XML */
 565   doc = xmlParseDoc(xml);
 566   if (doc == NULL) {
 567     ERROR("curl_xml plugin: Failed to parse the xml document  - %s", xml);
 568     return (-1);
 569   }
 570
 571   xpath_ctx = xmlXPathNewContext(doc);
 572   if (xpath_ctx == NULL) {
 573     ERROR("curl_xml plugin: Failed to create the xml context");
 574     xmlFreeDoc(doc);
 575     return (-1);
 576   }
 577
 578   for (size_t i = 0; i < db->namespaces_num; i++) {
 579     cx_namespace_t const *ns = db->namespaces + i;
 580     status =
 581         xmlXPathRegisterNs(xpath_ctx, BAD_CAST ns->prefix, BAD_CAST ns->url);
 582     if (status != 0) {
 583       ERROR("curl_xml plugin: "
 584             "unable to register NS with prefix=\"%s\" and href=\"%s\"\n",
 585             ns->prefix, ns->url);
 586       xmlXPathFreeContext(xpath_ctx);
 587       xmlFreeDoc(doc);
 588       return (status);
 589     }
 590   }
 591
 592   status = cx_handle_parsed_xml(doc, xpath_ctx, db);
 593   /* Cleanup */
 594   xmlXPathFreeContext(xpath_ctx);
 595   xmlFreeDoc(doc);
 596   return status;
 597 } /* }}} cx_parse_stats_xml */
 598
 599 static int cx_curl_perform(cx_t *db, CURL *curl) /* {{{ */
 600 {
 601   int status;
 602   long rc;
 603   char *ptr;
 604   char *url;
 605   url = db->url;
 606
 607   db->buffer_fill = 0;
 608   status = curl_easy_perform(curl);
 609   if (status != CURLE_OK) {
 610     ERROR("curl_xml plugin: curl_easy_perform failed with status %i: %s (%s)",
 611           status, db->curl_errbuf, url);
 612     return (-1);
 613   }
 614   if (db->stats != NULL)
 615     curl_stats_dispatch(db->stats, db->curl, cx_host(db), "curl_xml",
 616                         db->instance);
 617
 618   curl_easy_getinfo(curl, CURLINFO_EFFECTIVE_URL, &url);
 619   curl_easy_getinfo(curl, CURLINFO_RESPONSE_CODE, &rc);
 620
 621   /* The response code is zero if a non-HTTP transport was used. */
 622   if ((rc != 0) && (rc != 200)) {
 623     ERROR(
 624         "curl_xml plugin: curl_easy_perform failed with response code %ld (%s)",
 625         rc, url);
 626     return (-1);
 627   }
 628
 629   ptr = db->buffer;
 630
 631   status = cx_parse_stats_xml(BAD_CAST ptr, db);
 632   db->buffer_fill = 0;
 633
 634   return status;
 635 } /* }}} int cx_curl_perform */
 636
 637 static int cx_read(user_data_t *ud) /* {{{ */
 638 {
 639   cx_t *db;
 640
 641   if ((ud == NULL) || (ud->data == NULL)) {
 642     ERROR("curl_xml plugin: cx_read: Invalid user data.");
 643     return (-1);
 644   }
 645
 646   db = (cx_t *)ud->data;
 647
 648   return cx_curl_perform(db, db->curl);
 649 } /* }}} int cx_read */
 650
 651 /* Configuration handling functions {{{ */
 652
 653 static int cx_config_add_values(const char *name, cx_xpath_t *xpath, /* {{{ */
 654                                 oconfig_item_t *ci) {
 655   if (ci->values_num < 1) {
 656     WARNING("curl_xml plugin: `ValuesFrom' needs at least one argument.");
 657     return (-1);
 658   }
 659
 660   for (int i = 0; i < ci->values_num; i++)
 661     if (ci->values[i].type != OCONFIG_TYPE_STRING) {
 662       WARNING("curl_xml plugin: `ValuesFrom' needs only string argument.");
 663       return (-1);
 664     }
 665
 666   sfree(xpath->values);
 667
 668   xpath->values_len = 0;
 669   xpath->values = malloc(sizeof(cx_values_t) * ci->values_num);
 670   if (xpath->values == NULL)
 671     return (-1);
 672   xpath->values_len = (size_t)ci->values_num;
 673
 674   /* populate cx_values_t structure */
 675   for (int i = 0; i < ci->values_num; i++) {
 676     xpath->values[i].path_len = sizeof(ci->values[i].value.string);
 677     sstrncpy(xpath->values[i].path, ci->values[i].value.string,
 678              sizeof(xpath->values[i].path));
 679   }
 680
 681   return (0);
 682 } /* }}} cx_config_add_values */
 683
 684 static int cx_config_add_xpath(cx_t *db, oconfig_item_t *ci) /* {{{ */
 685 {
 686   cx_xpath_t *xpath;
 687   char *name;
 688   llentry_t *le;
 689   int status;
 690
 691   xpath = calloc(1, sizeof(*xpath));
 692   if (xpath == NULL) {
 693     ERROR("curl_xml plugin: calloc failed.");
 694     return (-1);
 695   }
 696
 697   status = cf_util_get_string(ci, &xpath->path);
 698   if (status != 0) {
 699     cx_xpath_free(xpath);
 700     return (status);
 701   }
 702
 703   /* error out if xpath->path is an empty string */
 704   if (strlen(xpath->path) == 0) {
 705     ERROR("curl_xml plugin: invalid xpath. "
 706           "xpath value can't be an empty string");
 707     cx_xpath_free(xpath);
 708     return (-1);
 709   }
 710
 711   status = 0;
 712   for (int i = 0; i < ci->children_num; i++) {
 713     oconfig_item_t *child = ci->children + i;
 714
 715     if (strcasecmp("Type", child->key) == 0)
 716       status = cf_util_get_string(child, &xpath->type);
 717     else if (strcasecmp("InstancePrefix", child->key) == 0)
 718       status = cf_util_get_string(child, &xpath->instance_prefix);
 719     else if (strcasecmp("InstanceFrom", child->key) == 0)
 720       status = cf_util_get_string(child, &xpath->instance);
 721     else if (strcasecmp("ValuesFrom", child->key) == 0)
 722       status = cx_config_add_values("ValuesFrom", xpath, child);
 723     else {
 724       WARNING("curl_xml plugin: Option `%s' not allowed here.", child->key);
 725       status = -1;
 726     }
 727
 728     if (status != 0)
 729       break;
 730   } /* for (i = 0; i < ci->children_num; i++) */
 731
 732   if (status != 0) {
 733     cx_xpath_free(xpath);
 734     return status;
 735   }
 736
 737   if (xpath->type == NULL) {
 738     WARNING("curl_xml plugin: `Type' missing in `xpath' block.");
 739     cx_xpath_free(xpath);
 740     return -1;
 741   }
 742
 743   if (db->list == NULL) {
 744     db->list = llist_create();
 745     if (db->list == NULL) {
 746       ERROR("curl_xml plugin: list creation failed.");
 747       cx_xpath_free(xpath);
 748       return (-1);
 749     }
 750   }
 751
 752   name = strdup(xpath->path);
 753   if (name == NULL) {
 754     ERROR("curl_xml plugin: strdup failed.");
 755     cx_xpath_free(xpath);
 756     return (-1);
 757   }
 758
 759   le = llentry_create(name, xpath);
 760   if (le == NULL) {
 761     ERROR("curl_xml plugin: llentry_create failed.");
 762     cx_xpath_free(xpath);
 763     sfree(name);
 764     return (-1);
 765   }
 766
 767   llist_append(db->list, le);
 768   return (0);
 769 } /* }}} int cx_config_add_xpath */
 770
 771 static int cx_config_add_namespace(cx_t *db, /* {{{ */
 772                                    oconfig_item_t *ci) {
 773   cx_namespace_t *ns;
 774
 775   if ((ci->values_num != 2) || (ci->values[0].type != OCONFIG_TYPE_STRING) ||
 776       (ci->values[1].type != OCONFIG_TYPE_STRING)) {
 777     WARNING("curl_xml plugin: The `Namespace' option "
 778             "needs exactly two string arguments.");
 779     return (EINVAL);
 780   }
 781
 782   ns = realloc(db->namespaces,
 783                sizeof(*db->namespaces) * (db->namespaces_num + 1));
 784   if (ns == NULL) {
 785     ERROR("curl_xml plugin: realloc failed.");
 786     return (ENOMEM);
 787   }
 788   db->namespaces = ns;
 789   ns = db->namespaces + db->namespaces_num;
 790   memset(ns, 0, sizeof(*ns));
 791
 792   ns->prefix = strdup(ci->values[0].value.string);
 793   ns->url = strdup(ci->values[1].value.string);
 794
 795   if ((ns->prefix == NULL) || (ns->url == NULL)) {
 796     sfree(ns->prefix);
 797     sfree(ns->url);
 798     ERROR("curl_xml plugin: strdup failed.");
 799     return (ENOMEM);
 800   }
 801
 802   db->namespaces_num++;
 803   return (0);
 804 } /* }}} int cx_config_add_namespace */
 805
 806 /* Initialize db->curl */
 807 static int cx_init_curl(cx_t *db) /* {{{ */
 808 {
 809   db->curl = curl_easy_init();
 810   if (db->curl == NULL) {
 811     ERROR("curl_xml plugin: curl_easy_init failed.");
 812     return (-1);
 813   }
 814
 815   curl_easy_setopt(db->curl, CURLOPT_NOSIGNAL, 1L);
 816   curl_easy_setopt(db->curl, CURLOPT_WRITEFUNCTION, cx_curl_callback);
 817   curl_easy_setopt(db->curl, CURLOPT_WRITEDATA, db);
 818   curl_easy_setopt(db->curl, CURLOPT_USERAGENT, COLLECTD_USERAGENT);
 819   curl_easy_setopt(db->curl, CURLOPT_ERRORBUFFER, db->curl_errbuf);
 820   curl_easy_setopt(db->curl, CURLOPT_URL, db->url);
 821   curl_easy_setopt(db->curl, CURLOPT_FOLLOWLOCATION, 1L);
 822   curl_easy_setopt(db->curl, CURLOPT_MAXREDIRS, 50L);
 823
 824   if (db->user != NULL) {
 825 #ifdef HAVE_CURLOPT_USERNAME
 826     curl_easy_setopt(db->curl, CURLOPT_USERNAME, db->user);
 827     curl_easy_setopt(db->curl, CURLOPT_PASSWORD,
 828                      (db->pass == NULL) ? "" : db->pass);
 829 #else
 830     size_t credentials_size;
 831
 832     credentials_size = strlen(db->user) + 2;
 833     if (db->pass != NULL)
 834       credentials_size += strlen(db->pass);
 835
 836     db->credentials = malloc(credentials_size);
 837     if (db->credentials == NULL) {
 838       ERROR("curl_xml plugin: malloc failed.");
 839       return (-1);
 840     }
 841
 842     ssnprintf(db->credentials, credentials_size, "%s:%s", db->user,
 843               (db->pass == NULL) ? "" : db->pass);
 844     curl_easy_setopt(db->curl, CURLOPT_USERPWD, db->credentials);
 845 #endif
 846
 847     if (db->digest)
 848       curl_easy_setopt(db->curl, CURLOPT_HTTPAUTH, CURLAUTH_DIGEST);
 849   }
 850
 851   curl_easy_setopt(db->curl, CURLOPT_SSL_VERIFYPEER, db->verify_peer ? 1L : 0L);
 852   curl_easy_setopt(db->curl, CURLOPT_SSL_VERIFYHOST, db->verify_host ? 2L : 0L);
 853   if (db->cacert != NULL)
 854     curl_easy_setopt(db->curl, CURLOPT_CAINFO, db->cacert);
 855   if (db->headers != NULL)
 856     curl_easy_setopt(db->curl, CURLOPT_HTTPHEADER, db->headers);
 857   if (db->post_body != NULL)
 858     curl_easy_setopt(db->curl, CURLOPT_POSTFIELDS, db->post_body);
 859
 860 #ifdef HAVE_CURLOPT_TIMEOUT_MS
 861   if (db->timeout >= 0)
 862     curl_easy_setopt(db->curl, CURLOPT_TIMEOUT_MS, (long)db->timeout);
 863   else
 864     curl_easy_setopt(db->curl, CURLOPT_TIMEOUT_MS,
 865                      (long)CDTIME_T_TO_MS(plugin_get_interval()));
 866 #endif
 867
 868   return (0);
 869 } /* }}} int cx_init_curl */
 870
 871 static int cx_config_add_url(oconfig_item_t *ci) /* {{{ */
 872 {
 873   cx_t *db;
 874   int status = 0;
 875
 876   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING)) {
 877     WARNING("curl_xml plugin: The `URL' block "
 878             "needs exactly one string argument.");
 879     return (-1);
 880   }
 881
 882   db = calloc(1, sizeof(*db));
 883   if (db == NULL) {
 884     ERROR("curl_xml plugin: calloc failed.");
 885     return (-1);
 886   }
 887
 888   db->timeout = -1;
 889
 890   if (strcasecmp("URL", ci->key) == 0) {
 891     status = cf_util_get_string(ci, &db->url);
 892     if (status != 0) {
 893       sfree(db);
 894       return (status);
 895     }
 896   } else {
 897     ERROR("curl_xml plugin: cx_config: "
 898           "Invalid key: %s",
 899           ci->key);
 900     cx_free(db);
 901     return (-1);
 902   }
 903
 904   /* Fill the `cx_t' structure.. */
 905   for (int i = 0; i < ci->children_num; i++) {
 906     oconfig_item_t *child = ci->children + i;
 907
 908     if (strcasecmp("Instance", child->key) == 0)
 909       status = cf_util_get_string(child, &db->instance);
 910     else if (strcasecmp("Host", child->key) == 0)
 911       status = cf_util_get_string(child, &db->host);
 912     else if (strcasecmp("User", child->key) == 0)
 913       status = cf_util_get_string(child, &db->user);
 914     else if (strcasecmp("Password", child->key) == 0)
 915       status = cf_util_get_string(child, &db->pass);
 916     else if (strcasecmp("Digest", child->key) == 0)
 917       status = cf_util_get_boolean(child, &db->digest);
 918     else if (strcasecmp("VerifyPeer", child->key) == 0)
 919       status = cf_util_get_boolean(child, &db->verify_peer);
 920     else if (strcasecmp("VerifyHost", child->key) == 0)
 921       status = cf_util_get_boolean(child, &db->verify_host);
 922     else if (strcasecmp("CACert", child->key) == 0)
 923       status = cf_util_get_string(child, &db->cacert);
 924     else if (strcasecmp("xpath", child->key) == 0)
 925       status = cx_config_add_xpath(db, child);
 926     else if (strcasecmp("Header", child->key) == 0)
 927       status = cx_config_append_string("Header", &db->headers, child);
 928     else if (strcasecmp("Post", child->key) == 0)
 929       status = cf_util_get_string(child, &db->post_body);
 930     else if (strcasecmp("Namespace", child->key) == 0)
 931       status = cx_config_add_namespace(db, child);
 932     else if (strcasecmp("Timeout", child->key) == 0)
 933       status = cf_util_get_int(child, &db->timeout);
 934     else if (strcasecmp("Statistics", child->key) == 0) {
 935       db->stats = curl_stats_from_config(child);
 936       if (db->stats == NULL)
 937         status = -1;
 938     } else {
 939       WARNING("curl_xml plugin: Option `%s' not allowed here.", child->key);
 940       status = -1;
 941     }
 942
 943     if (status != 0)
 944       break;
 945   }
 946
 947   if (status == 0) {
 948     if (db->list == NULL) {
 949       WARNING("curl_xml plugin: No (valid) `Key' block "
 950               "within `URL' block `%s'.",
 951               db->url);
 952       status = -1;
 953     }
 954     if (status == 0)
 955       status = cx_init_curl(db);
 956   }
 957
 958   /* If all went well, register this database for reading */
 959   if (status == 0) {
 960     char *cb_name;
 961
 962     if (db->instance == NULL)
 963       db->instance = strdup("default");
 964
 965     DEBUG("curl_xml plugin: Registering new read callback: %s", db->instance);
 966
 967     cb_name = ssnprintf_alloc("curl_xml-%s-%s", db->instance, db->url);
 968
 969     plugin_register_complex_read(/* group = */ "curl_xml", cb_name, cx_read,
 970                                  /* interval = */ 0,
 971                                  &(user_data_t){
 972                                      .data = db, .free_func = cx_free,
 973                                  });
 974     sfree(cb_name);
 975   } else {
 976     cx_free(db);
 977     return (-1);
 978   }
 979
 980   return (0);
 981 } /* }}} int cx_config_add_url */
 982
 983 /* }}} End of configuration handling functions */
 984
 985 static int cx_config(oconfig_item_t *ci) /* {{{ */
 986 {
 987   int success;
 988   int errors;
 989   int status;
 990
 991   success = 0;
 992   errors = 0;
 993
 994   for (int i = 0; i < ci->children_num; i++) {
 995     oconfig_item_t *child = ci->children + i;
 996
 997     if (strcasecmp("URL", child->key) == 0) {
 998       status = cx_config_add_url(child);
 999       if (status == 0)
1000         success++;
1001       else
1002         errors++;
1003     } else {
1004       WARNING("curl_xml plugin: Option `%s' not allowed here.", child->key);
1005       errors++;
1006     }
1007   }
1008
1009   if ((success == 0) && (errors > 0)) {
1010     ERROR("curl_xml plugin: All statements failed.");
1011     return (-1);
1012   }
1013
1014   return (0);
1015 } /* }}} int cx_config */
1016
1017 static int cx_init(void) /* {{{ */
1018 {
1019   /* Call this while collectd is still single-threaded to avoid
1020    * initialization issues in libgcrypt. */
1021   curl_global_init(CURL_GLOBAL_SSL);
1022   return (0);
1023 } /* }}} int cx_init */
1024
1025 void module_register(void) {
1026   plugin_register_complex_config("curl_xml", cx_config);
1027   plugin_register_init("curl_xml", cx_init);
1028 } /* void module_register */