Merge pull request #2796 from elfiesmelfie/feat_ipmi_SEL_ignore_list
[collectd.git] / src / write_mongodb.c
1 /**
2  * collectd - src/write_mongodb.c
3  * Copyright (C) 2010-2013  Florian Forster
4  * Copyright (C) 2010       Akkarit Sangpetch
5  * Copyright (C) 2012       Chris Lundquist
6  * Copyright (C) 2017       Saikrishna Arcot
7  *
8  * Permission is hereby granted, free of charge, to any person obtaining a
9  * copy of this software and associated documentation files (the "Software"),
10  * to deal in the Software without restriction, including without limitation
11  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
12  * and/or sell copies of the Software, and to permit persons to whom the
13  * Software is furnished to do so, subject to the following conditions:
14  *
15  * The above copyright notice and this permission notice shall be included in
16  * all copies or substantial portions of the Software.
17  *
18  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
19  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
20  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
21  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
22  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
23  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
24  * DEALINGS IN THE SOFTWARE.
25  *
26  * Authors:
27  *   Florian Forster <octo at collectd.org>
28  *   Akkarit Sangpetch <asangpet at andrew.cmu.edu>
29  *   Chris Lundquist <clundquist at bluebox.net>
30  *   Saikrishna Arcot <saiarcot895 at gmail.com>
31  **/
32
33 #include "collectd.h"
34
35 #include "common.h"
36 #include "plugin.h"
37 #include "utils_cache.h"
38
39 #include <mongoc.h>
40
41 struct wm_node_s {
42   char name[DATA_MAX_NAME_LEN];
43
44   char *host;
45   int port;
46   int timeout;
47
48   /* Authentication information */
49   char *db;
50   char *user;
51   char *passwd;
52
53   bool store_rates;
54   bool connected;
55
56   mongoc_client_t *client;
57   mongoc_database_t *database;
58   pthread_mutex_t lock;
59 };
60 typedef struct wm_node_s wm_node_t;
61
62 /*
63  * Functions
64  */
65 static bson_t *wm_create_bson(const data_set_t *ds, /* {{{ */
66                               const value_list_t *vl, bool store_rates) {
67   bson_t *ret;
68   bson_t subarray;
69   gauge_t *rates;
70
71   ret = bson_new();
72   if (!ret) {
73     ERROR("write_mongodb plugin: bson_new failed.");
74     return NULL;
75   }
76
77   if (store_rates) {
78     rates = uc_get_rate(ds, vl);
79     if (rates == NULL) {
80       ERROR("write_mongodb plugin: uc_get_rate() failed.");
81       bson_destroy(ret);
82       return NULL;
83     }
84   } else {
85     rates = NULL;
86   }
87
88   BSON_APPEND_DATE_TIME(ret, "timestamp", CDTIME_T_TO_MS(vl->time));
89   BSON_APPEND_UTF8(ret, "host", vl->host);
90   BSON_APPEND_UTF8(ret, "plugin", vl->plugin);
91   BSON_APPEND_UTF8(ret, "plugin_instance", vl->plugin_instance);
92   BSON_APPEND_UTF8(ret, "type", vl->type);
93   BSON_APPEND_UTF8(ret, "type_instance", vl->type_instance);
94
95   BSON_APPEND_ARRAY_BEGIN(ret, "values", &subarray); /* {{{ */
96   for (size_t i = 0; i < ds->ds_num; i++) {
97     char key[16];
98
99     snprintf(key, sizeof(key), "%" PRIsz, i);
100
101     if (ds->ds[i].type == DS_TYPE_GAUGE)
102       BSON_APPEND_DOUBLE(&subarray, key, vl->values[i].gauge);
103     else if (store_rates)
104       BSON_APPEND_DOUBLE(&subarray, key, (double)rates[i]);
105     else if (ds->ds[i].type == DS_TYPE_COUNTER)
106       BSON_APPEND_INT64(&subarray, key, vl->values[i].counter);
107     else if (ds->ds[i].type == DS_TYPE_DERIVE)
108       BSON_APPEND_INT64(&subarray, key, vl->values[i].derive);
109     else if (ds->ds[i].type == DS_TYPE_ABSOLUTE)
110       BSON_APPEND_INT64(&subarray, key, vl->values[i].absolute);
111     else {
112       ERROR("write_mongodb plugin: Unknown ds_type %d for index %" PRIsz,
113             ds->ds[i].type, i);
114       bson_destroy(ret);
115       return NULL;
116     }
117   }
118   bson_append_array_end(ret, &subarray); /* }}} values */
119
120   BSON_APPEND_ARRAY_BEGIN(ret, "dstypes", &subarray); /* {{{ */
121   for (size_t i = 0; i < ds->ds_num; i++) {
122     char key[16];
123
124     snprintf(key, sizeof(key), "%" PRIsz, i);
125
126     if (store_rates)
127       BSON_APPEND_UTF8(&subarray, key, "gauge");
128     else
129       BSON_APPEND_UTF8(&subarray, key, DS_TYPE_TO_STRING(ds->ds[i].type));
130   }
131   bson_append_array_end(ret, &subarray); /* }}} dstypes */
132
133   BSON_APPEND_ARRAY_BEGIN(ret, "dsnames", &subarray); /* {{{ */
134   for (size_t i = 0; i < ds->ds_num; i++) {
135     char key[16];
136
137     snprintf(key, sizeof(key), "%" PRIsz, i);
138     BSON_APPEND_UTF8(&subarray, key, ds->ds[i].name);
139   }
140   bson_append_array_end(ret, &subarray); /* }}} dsnames */
141
142   sfree(rates);
143
144   size_t error_location;
145   if (!bson_validate(ret, BSON_VALIDATE_UTF8, &error_location)) {
146     ERROR("write_mongodb plugin: Error in generated BSON document "
147           "at byte %" PRIsz,
148           error_location);
149     bson_destroy(ret);
150     return NULL;
151   }
152
153   return ret;
154 } /* }}} bson *wm_create_bson */
155
156 static int wm_initialize(wm_node_t *node) /* {{{ */
157 {
158   char *uri;
159
160   if (node->connected)
161     return 0;
162
163   INFO("write_mongodb plugin: Connecting to [%s]:%d", node->host, node->port);
164
165   if ((node->db != NULL) && (node->user != NULL) && (node->passwd != NULL)) {
166     uri = ssnprintf_alloc("mongodb://%s:%s@%s:%d/?authSource=%s", node->user,
167                           node->passwd, node->host, node->port, node->db);
168     if (uri == NULL) {
169       ERROR("write_mongodb plugin: Not enough memory to assemble "
170             "authentication string.");
171       mongoc_client_destroy(node->client);
172       node->client = NULL;
173       node->connected = false;
174       return -1;
175     }
176
177     node->client = mongoc_client_new(uri);
178     if (!node->client) {
179       ERROR("write_mongodb plugin: Authenticating to [%s]:%d for database "
180             "\"%s\" as user \"%s\" failed.",
181             node->host, node->port, node->db, node->user);
182       node->connected = false;
183       sfree(uri);
184       return -1;
185     }
186   } else {
187     uri = ssnprintf_alloc("mongodb://%s:%d", node->host, node->port);
188     if (uri == NULL) {
189       ERROR("write_mongodb plugin: Not enough memory to assemble "
190             "authentication string.");
191       mongoc_client_destroy(node->client);
192       node->client = NULL;
193       node->connected = false;
194       return -1;
195     }
196
197     node->client = mongoc_client_new(uri);
198     if (!node->client) {
199       ERROR("write_mongodb plugin: Connecting to [%s]:%d failed.", node->host,
200             node->port);
201       node->connected = false;
202       sfree(uri);
203       return -1;
204     }
205     sfree(uri);
206   }
207
208   node->database = mongoc_client_get_database(node->client, "collectd");
209   if (!node->database) {
210     ERROR("write_mongodb plugin: error creating/getting database");
211     mongoc_client_destroy(node->client);
212     node->client = NULL;
213     node->connected = false;
214     return -1;
215   }
216
217   node->connected = true;
218   return 0;
219 } /* }}} int wm_initialize */
220
221 static int wm_write(const data_set_t *ds, /* {{{ */
222                     const value_list_t *vl, user_data_t *ud) {
223   wm_node_t *node = ud->data;
224   mongoc_collection_t *collection = NULL;
225   bson_t *bson_record;
226   bson_error_t error;
227   int status;
228
229   bson_record = wm_create_bson(ds, vl, node->store_rates);
230   if (!bson_record) {
231     ERROR("write_mongodb plugin: error making insert bson");
232     return -1;
233   }
234
235   pthread_mutex_lock(&node->lock);
236   if (wm_initialize(node) < 0) {
237     ERROR("write_mongodb plugin: error making connection to server");
238     pthread_mutex_unlock(&node->lock);
239     bson_destroy(bson_record);
240     return -1;
241   }
242
243   collection =
244       mongoc_client_get_collection(node->client, "collectd", vl->plugin);
245   if (!collection) {
246     ERROR("write_mongodb plugin: error creating/getting collection");
247     mongoc_database_destroy(node->database);
248     mongoc_client_destroy(node->client);
249     node->database = NULL;
250     node->client = NULL;
251     node->connected = false;
252     pthread_mutex_unlock(&node->lock);
253     bson_destroy(bson_record);
254     return -1;
255   }
256
257   status = mongoc_collection_insert(collection, MONGOC_INSERT_NONE, bson_record,
258                                     NULL, &error);
259
260   if (!status) {
261     ERROR("write_mongodb plugin: error inserting record: %s", error.message);
262     mongoc_database_destroy(node->database);
263     mongoc_client_destroy(node->client);
264     node->database = NULL;
265     node->client = NULL;
266     node->connected = false;
267     pthread_mutex_unlock(&node->lock);
268     bson_destroy(bson_record);
269     mongoc_collection_destroy(collection);
270     return -1;
271   }
272
273   /* free our resource as not to leak memory */
274   mongoc_collection_destroy(collection);
275
276   pthread_mutex_unlock(&node->lock);
277
278   bson_destroy(bson_record);
279
280   return 0;
281 } /* }}} int wm_write */
282
283 static void wm_config_free(void *ptr) /* {{{ */
284 {
285   wm_node_t *node = ptr;
286
287   if (node == NULL)
288     return;
289
290   mongoc_database_destroy(node->database);
291   mongoc_client_destroy(node->client);
292   node->database = NULL;
293   node->client = NULL;
294   node->connected = false;
295
296   sfree(node->host);
297   sfree(node);
298 } /* }}} void wm_config_free */
299
300 static int wm_config_node(oconfig_item_t *ci) /* {{{ */
301 {
302   wm_node_t *node;
303   int status;
304
305   node = calloc(1, sizeof(*node));
306   if (node == NULL)
307     return ENOMEM;
308   mongoc_init();
309   node->host = strdup("localhost");
310   if (node->host == NULL) {
311     sfree(node);
312     return ENOMEM;
313   }
314   node->port = MONGOC_DEFAULT_PORT;
315   node->store_rates = true;
316   pthread_mutex_init(&node->lock, /* attr = */ NULL);
317
318   status = cf_util_get_string_buffer(ci, node->name, sizeof(node->name));
319
320   if (status != 0) {
321     sfree(node->host);
322     sfree(node);
323     return status;
324   }
325
326   for (int i = 0; i < ci->children_num; i++) {
327     oconfig_item_t *child = ci->children + i;
328
329     if (strcasecmp("Host", child->key) == 0)
330       status = cf_util_get_string(child, &node->host);
331     else if (strcasecmp("Port", child->key) == 0) {
332       status = cf_util_get_port_number(child);
333       if (status > 0) {
334         node->port = status;
335         status = 0;
336       }
337     } else if (strcasecmp("Timeout", child->key) == 0)
338       status = cf_util_get_int(child, &node->timeout);
339     else if (strcasecmp("StoreRates", child->key) == 0)
340       status = cf_util_get_boolean(child, &node->store_rates);
341     else if (strcasecmp("Database", child->key) == 0)
342       status = cf_util_get_string(child, &node->db);
343     else if (strcasecmp("User", child->key) == 0)
344       status = cf_util_get_string(child, &node->user);
345     else if (strcasecmp("Password", child->key) == 0)
346       status = cf_util_get_string(child, &node->passwd);
347     else
348       WARNING("write_mongodb plugin: Ignoring unknown config option \"%s\".",
349               child->key);
350
351     if (status != 0)
352       break;
353   } /* for (i = 0; i < ci->children_num; i++) */
354
355   if ((node->db != NULL) || (node->user != NULL) || (node->passwd != NULL)) {
356     if ((node->db == NULL) || (node->user == NULL) || (node->passwd == NULL)) {
357       WARNING(
358           "write_mongodb plugin: Authentication requires the "
359           "\"Database\", \"User\" and \"Password\" options to be specified, "
360           "but at last one of them is missing. Authentication will NOT be "
361           "used.");
362       sfree(node->db);
363       sfree(node->user);
364       sfree(node->passwd);
365     }
366   }
367
368   if (status == 0) {
369     char cb_name[sizeof("write_mongodb/") + DATA_MAX_NAME_LEN];
370
371     snprintf(cb_name, sizeof(cb_name), "write_mongodb/%s", node->name);
372
373     status =
374         plugin_register_write(cb_name, wm_write,
375                               &(user_data_t){
376                                   .data = node, .free_func = wm_config_free,
377                               });
378     INFO("write_mongodb plugin: registered write plugin %s %d", cb_name,
379          status);
380   }
381
382   if (status != 0)
383     wm_config_free(node);
384
385   return status;
386 } /* }}} int wm_config_node */
387
388 static int wm_config(oconfig_item_t *ci) /* {{{ */
389 {
390   for (int i = 0; i < ci->children_num; i++) {
391     oconfig_item_t *child = ci->children + i;
392
393     if (strcasecmp("Node", child->key) == 0)
394       wm_config_node(child);
395     else
396       WARNING("write_mongodb plugin: Ignoring unknown "
397               "configuration option \"%s\" at top level.",
398               child->key);
399   }
400
401   return 0;
402 } /* }}} int wm_config */
403
404 void module_register(void) {
405   plugin_register_complex_config("write_mongodb", wm_config);
406 }