plugins/mod_storage_sql.lua

   1
   2 --[[
   3
   4 DB Tables:
   5         Prosody - key-value, map
   6                 | host | user | store | key | type | value |
   7         ProsodyArchive - list
   8                 | host | user | store | key | time | stanzatype | jsonvalue |
   9
  10 Mapping:
  11         Roster - Prosody
  12                 | host | user | "roster" | "contactjid" | type | value |
  13                 | host | user | "roster" | NULL | "json" | roster[false] data |
  14         Account - Prosody
  15                 | host | user | "accounts" | "username" | type | value |
  16
  17         Offline - ProsodyArchive
  18                 | host | user | "offline" | "contactjid" | time | "message" | json|XML |
  19
  20 ]]
  21
  22 local type = type;
  23 local tostring = tostring;
  24 local tonumber = tonumber;
  25 local pairs = pairs;
  26 local next = next;
  27 local setmetatable = setmetatable;
  28 local xpcall = xpcall;
  29 local json = require "util.json";
  30
  31 local connection;
  32 local host,user,store = module.host;
  33 local params = module:get_option("sql");
  34
  35 local resolve_relative_path = require "core.configmanager".resolve_relative_path;
  36
  37 do -- process options to get a db connection
  38         local DBI = require "DBI";
  39
  40         params = params or { driver = "SQLite3" };
  41
  42         if params.driver == "SQLite3" then
  43                 params.database = resolve_relative_path(prosody.paths.data or ".", params.database or "prosody.sqlite");
  44         end
  45
  46         assert(params.driver and params.database, "Both the SQL driver and the database need to be specified");
  47
  48         prosody.unlock_globals();
  49         local dbh, err = DBI.Connect(
  50                 params.driver, params.database,
  51                 params.username, params.password,
  52                 params.host, params.port
  53         );
  54         prosody.lock_globals();
  55         assert(dbh, err);
  56
  57         dbh:autocommit(false); -- don't commit automatically
  58         connection = dbh;
  59
  60         -- Automatically create table, ignore failure (table probably already exists)
  61         local create_sql = "CREATE TABLE `prosody` (`host` TEXT, `user` TEXT, `store` TEXT, `key` TEXT, `type` TEXT, `value` TEXT);";
  62         if params.driver == "PostgreSQL" then
  63                 create_sql = create_sql:gsub("`", "\"");
  64         end
  65
  66         local stmt = connection:prepare(create_sql);
  67         if stmt then
  68                 local ok = stmt:execute();
  69                 local commit_ok = connection:commit();
  70                 if ok and commit_ok then
  71                         module:log("info", "Initialized new %s database with prosody table", params.driver);
  72                 end
  73         end
  74 end
  75
  76 local function serialize(value)
  77         local t = type(value);
  78         if t == "string" or t == "boolean" or t == "number" then
  79                 return t, tostring(value);
  80         elseif t == "table" then
  81                 local value,err = json.encode(value);
  82                 if value then return "json", value; end
  83                 return nil, err;
  84         end
  85         return nil, "Unhandled value type: "..t;
  86 end
  87 local function deserialize(t, value)
  88         if t == "string" then return value;
  89         elseif t == "boolean" then
  90                 if value == "true" then return true;
  91                 elseif value == "false" then return false; end
  92         elseif t == "number" then return tonumber(value);
  93         elseif t == "json" then
  94                 return json.decode(value);
  95         end
  96 end
  97
  98 local function getsql(sql, ...)
  99         if params.driver == "PostgreSQL" then
 100                 sql = sql:gsub("`", "\"");
 101         end
 102         -- do prepared statement stuff
 103         local stmt, err = connection:prepare(sql);
 104         if not stmt then module:log("error", "QUERY FAILED: %s %s", err, debug.traceback()); return nil, err; end
 105         -- run query
 106         local ok, err = stmt:execute(host or "", user or "", store or "", ...);
 107         if not ok then return nil, err; end
 108
 109         return stmt;
 110 end
 111 local function setsql(sql, ...)
 112         local stmt, err = getsql(sql, ...);
 113         if not stmt then return stmt, err; end
 114         return stmt:affected();
 115 end
 116 local function transact(...)
 117         -- ...
 118 end
 119 local function rollback(...)
 120         connection:rollback(); -- FIXME check for rollback error?
 121         return ...;
 122 end
 123 local function commit(...)
 124         if not connection:commit() then return nil, "SQL commit failed"; end
 125         return ...;
 126 end
 127
 128 local function keyval_store_get()
 129         local stmt, err = getsql("SELECT * FROM `prosody` WHERE `host`=? AND `user`=? AND `store`=?");
 130         if not stmt then return nil, err; end
 131
 132         local haveany;
 133         local result = {};
 134         for row in stmt:rows(true) do
 135                 haveany = true;
 136                 local k = row.key;
 137                 local v = deserialize(row.type, row.value);
 138                 if k and v then
 139                         if k ~= "" then result[k] = v; elseif type(v) == "table" then
 140                                 for a,b in pairs(v) do
 141                                         result[a] = b;
 142                                 end
 143                         end
 144                 end
 145         end
 146         return commit(haveany and result or nil);
 147 end
 148 local function keyval_store_set(data)
 149         local affected, err = setsql("DELETE FROM `prosody` WHERE `host`=? AND `user`=? AND `store`=?");
 150
 151         if data and next(data) ~= nil then
 152                 local extradata = {};
 153                 for key, value in pairs(data) do
 154                         if type(key) == "string" and key ~= "" then
 155                                 local t, value = serialize(value);
 156                                 if not t then return rollback(t, value); end
 157                                 local ok, err = setsql("INSERT INTO `prosody` (`host`,`user`,`store`,`key`,`type`,`value`) VALUES (?,?,?,?,?,?)", key, t, value);
 158                                 if not ok then return rollback(ok, err); end
 159                         else
 160                                 extradata[key] = value;
 161                         end
 162                 end
 163                 if next(extradata) ~= nil then
 164                         local t, extradata = serialize(extradata);
 165                         if not t then return rollback(t, extradata); end
 166                         local ok, err = setsql("INSERT INTO `prosody` (`host`,`user`,`store`,`key`,`type`,`value`) VALUES (?,?,?,?,?,?)", "", t, extradata);
 167                         if not ok then return rollback(ok, err); end
 168                 end
 169         end
 170         return commit(true);
 171 end
 172
 173 local keyval_store = {};
 174 keyval_store.__index = keyval_store;
 175 function keyval_store:get(username)
 176         user,store = username,self.store;
 177         local success, ret, err = xpcall(keyval_store_get, debug.traceback);
 178         if success then return ret, err; else return rollback(nil, ret); end
 179 end
 180 function keyval_store:set(username, data)
 181         user,store = username,self.store;
 182         local success, ret, err = xpcall(function() return keyval_store_set(data); end, debug.traceback);
 183         if success then return ret, err; else return rollback(nil, ret); end
 184 end
 185
 186 local function map_store_get(key)
 187         local stmt, err = getsql("SELECT * FROM `prosody` WHERE `host`=? AND `user`=? AND `store`=? AND `key`=?", key or "");
 188         if not stmt then return nil, err; end
 189
 190         local haveany;
 191         local result = {};
 192         for row in stmt:rows(true) do
 193                 haveany = true;
 194                 local k = row.key;
 195                 local v = deserialize(row.type, row.value);
 196                 if k and v then
 197                         if k ~= "" then result[k] = v; elseif type(v) == "table" then
 198                                 for a,b in pairs(v) do
 199                                         result[a] = b;
 200                                 end
 201                         end
 202                 end
 203         end
 204         return commit(haveany and result[key] or nil);
 205 end
 206 local function map_store_set(key, data)
 207         local affected, err = setsql("DELETE FROM `prosody` WHERE `host`=? AND `user`=? AND `store`=? AND `key`=?", key or "");
 208
 209         if data and next(data) ~= nil then
 210                 if type(key) == "string" and key ~= "" then
 211                         local t, value = serialize(data);
 212                         if not t then return rollback(t, value); end
 213                         local ok, err = setsql("INSERT INTO `prosody` (`host`,`user`,`store`,`key`,`type`,`value`) VALUES (?,?,?,?,?,?)", key, t, value);
 214                         if not ok then return rollback(ok, err); end
 215                 else
 216                         -- TODO non-string keys
 217                 end
 218         end
 219         return commit(true);
 220 end
 221
 222 local map_store = {};
 223 map_store.__index = map_store;
 224 function map_store:get(username, key)
 225         user,store = username,self.store;
 226         local success, ret, err = xpcall(function() return map_store_get(key); end, debug.traceback);
 227         if success then return ret, err; else return rollback(nil, ret); end
 228 end
 229 function map_store:set(username, key, data)
 230         user,store = username,self.store;
 231         local success, ret, err = xpcall(function() return map_store_set(key, data); end, debug.traceback);
 232         if success then return ret, err; else return rollback(nil, ret); end
 233 end
 234
 235 local list_store = {};
 236 list_store.__index = list_store;
 237 function list_store:scan(username, from, to, jid, typ)
 238         user,store = username,self.store;
 239
 240         local cols = {"from", "to", "jid", "typ"};
 241         local vals = { from ,  to ,  jid ,  typ };
 242         local stmt, err;
 243         local query = "SELECT * FROM `prosodyarchive` WHERE `host`=? AND `user`=? AND `store`=?";
 244
 245         query = query.." ORDER BY time";
 246         --local stmt, err = getsql("SELECT * FROM `prosody` WHERE `host`=? AND `user`=? AND `store`=? AND `key`=?", key or "");
 247
 248         return nil, "not-implemented"
 249 end
 250
 251 local driver = { name = "sql" };
 252
 253 function driver:open(store, typ)
 254         if not typ then -- default key-value store
 255                 return setmetatable({ store = store }, keyval_store);
 256         end
 257         return nil, "unsupported-store";
 258 end
 259
 260 module:add_item("data-driver", driver);