plugins/mod_storage_sql.lua

   1
   2 --[[
   3
   4 DB Tables:
   5         Prosody - key-value, map
   6                 | host | user | store | key | type | value |
   7         ProsodyArchive - list
   8                 | host | user | store | key | time | stanzatype | jsonvalue |
   9
  10 Mapping:
  11         Roster - Prosody
  12                 | host | user | "roster" | "contactjid" | type | value |
  13                 | host | user | "roster" | NULL | "json" | roster[false] data |
  14         Account - Prosody
  15                 | host | user | "accounts" | "username" | type | value |
  16
  17         Offline - ProsodyArchive
  18                 | host | user | "offline" | "contactjid" | time | "message" | json|XML |
  19
  20 ]]
  21
  22 local type = type;
  23 local tostring = tostring;
  24 local tonumber = tonumber;
  25 local pairs = pairs;
  26 local next = next;
  27 local setmetatable = setmetatable;
  28 local xpcall = xpcall;
  29 local json = require "util.json";
  30
  31 local connection;
  32 local host,user,store = module.host;
  33 local params = module:get_option("sql");
  34
  35 local resolve_relative_path = require "core.configmanager".resolve_relative_path;
  36
  37 do -- process options to get a db connection
  38         local DBI = require "DBI";
  39
  40         params = params or { driver = "SQLite3" };
  41
  42         if params.driver == "SQLite3" then
  43                 params.database = resolve_relative_path(prosody.paths.data or ".", params.database or "prosody.sqlite");
  44         end
  45
  46         assert(params.driver and params.database, "Both the SQL driver and the database need to be specified");
  47
  48         prosody.unlock_globals();
  49         local dbh, err = DBI.Connect(
  50                 params.driver, params.database,
  51                 params.username, params.password,
  52                 params.host, params.port
  53         );
  54         prosody.lock_globals();
  55         assert(dbh, err);
  56
  57         dbh:autocommit(false); -- don't commit automatically
  58         connection = dbh;
  59
  60         if params.driver == "SQLite3" then -- auto initialize
  61                 local stmt = assert(connection:prepare("SELECT COUNT(*) FROM `sqlite_master` WHERE `type`='table' AND `name`='Prosody';"));
  62                 local ok = assert(stmt:execute());
  63                 local count = stmt:fetch()[1];
  64                 if count == 0 then
  65                         local stmt = assert(connection:prepare("CREATE TABLE `Prosody` (`host` TEXT, `user` TEXT, `store` TEXT, `key` TEXT, `type` TEXT, `value` TEXT);"));
  66                         assert(stmt:execute());
  67                         module:log("debug", "Initialized new SQLite3 database");
  68                 end
  69                 assert(connection:commit());
  70                 --print("===", json.encode())
  71         end
  72 end
  73
  74 local function serialize(value)
  75         local t = type(value);
  76         if t == "string" or t == "boolean" or t == "number" then
  77                 return t, tostring(value);
  78         elseif t == "table" then
  79                 local value,err = json.encode(value);
  80                 if value then return "json", value; end
  81                 return nil, err;
  82         end
  83         return nil, "Unhandled value type: "..t;
  84 end
  85 local function deserialize(t, value)
  86         if t == "string" then return value;
  87         elseif t == "boolean" then
  88                 if value == "true" then return true;
  89                 elseif value == "false" then return false; end
  90         elseif t == "number" then return tonumber(value);
  91         elseif t == "json" then
  92                 return json.decode(value);
  93         end
  94 end
  95
  96 local function getsql(sql, ...)
  97         if params.driver == "PostgreSQL" then
  98                 sql = sql:gsub("`", "\"");
  99         end
 100         -- do prepared statement stuff
 101         local stmt, err = connection:prepare(sql);
 102         if not stmt then module:log("error", "QUERY FAILED: %s %s", err, debug.traceback()); return nil, err; end
 103         -- run query
 104         local ok, err = stmt:execute(host or "", user or "", store or "", ...);
 105         if not ok then return nil, err; end
 106
 107         return stmt;
 108 end
 109 local function setsql(sql, ...)
 110         local stmt, err = getsql(sql, ...);
 111         if not stmt then return stmt, err; end
 112         return stmt:affected();
 113 end
 114 local function transact(...)
 115         -- ...
 116 end
 117 local function rollback(...)
 118         connection:rollback(); -- FIXME check for rollback error?
 119         return ...;
 120 end
 121 local function commit(...)
 122         if not connection:commit() then return nil, "SQL commit failed"; end
 123         return ...;
 124 end
 125
 126 local function keyval_store_get()
 127         local stmt, err = getsql("SELECT * FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=?");
 128         if not stmt then return nil, err; end
 129
 130         local haveany;
 131         local result = {};
 132         for row in stmt:rows(true) do
 133                 haveany = true;
 134                 local k = row.key;
 135                 local v = deserialize(row.type, row.value);
 136                 if k and v then
 137                         if k ~= "" then result[k] = v; elseif type(v) == "table" then
 138                                 for a,b in pairs(v) do
 139                                         result[a] = b;
 140                                 end
 141                         end
 142                 end
 143         end
 144         return commit(haveany and result or nil);
 145 end
 146 local function keyval_store_set(data)
 147         local affected, err = setsql("DELETE FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=?");
 148
 149         if data and next(data) ~= nil then
 150                 local extradata = {};
 151                 for key, value in pairs(data) do
 152                         if type(key) == "string" and key ~= "" then
 153                                 local t, value = serialize(value);
 154                                 if not t then return rollback(t, value); end
 155                                 local ok, err = setsql("INSERT INTO `Prosody` (`host`,`user`,`store`,`key`,`type`,`value`) VALUES (?,?,?,?,?,?)", key, t, value);
 156                                 if not ok then return rollback(ok, err); end
 157                         else
 158                                 extradata[key] = value;
 159                         end
 160                 end
 161                 if next(extradata) ~= nil then
 162                         local t, extradata = serialize(extradata);
 163                         if not t then return rollback(t, extradata); end
 164                         local ok, err = setsql("INSERT INTO `Prosody` (`host`,`user`,`store`,`key`,`type`,`value`) VALUES (?,?,?,?,?,?)", "", t, extradata);
 165                         if not ok then return rollback(ok, err); end
 166                 end
 167         end
 168         return commit(true);
 169 end
 170
 171 local keyval_store = {};
 172 keyval_store.__index = keyval_store;
 173 function keyval_store:get(username)
 174         user,store = username,self.store;
 175         local success, ret, err = xpcall(keyval_store_get, debug.traceback);
 176         if success then return ret, err; else return rollback(nil, ret); end
 177 end
 178 function keyval_store:set(username, data)
 179         user,store = username,self.store;
 180         local success, ret, err = xpcall(function() return keyval_store_set(data); end, debug.traceback);
 181         if success then return ret, err; else return rollback(nil, ret); end
 182 end
 183
 184 local function map_store_get(key)
 185         local stmt, err = getsql("SELECT * FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=? AND `key`=?", key or "");
 186         if not stmt then return nil, err; end
 187
 188         local haveany;
 189         local result = {};
 190         for row in stmt:rows(true) do
 191                 haveany = true;
 192                 local k = row.key;
 193                 local v = deserialize(row.type, row.value);
 194                 if k and v then
 195                         if k ~= "" then result[k] = v; elseif type(v) == "table" then
 196                                 for a,b in pairs(v) do
 197                                         result[a] = b;
 198                                 end
 199                         end
 200                 end
 201         end
 202         return commit(haveany and result[key] or nil);
 203 end
 204 local function map_store_set(key, data)
 205         local affected, err = setsql("DELETE FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=? AND `key`=?", key or "");
 206
 207         if data and next(data) ~= nil then
 208                 if type(key) == "string" and key ~= "" then
 209                         local t, value = serialize(data);
 210                         if not t then return rollback(t, value); end
 211                         local ok, err = setsql("INSERT INTO `Prosody` (`host`,`user`,`store`,`key`,`type`,`value`) VALUES (?,?,?,?,?,?)", key, t, value);
 212                         if not ok then return rollback(ok, err); end
 213                 else
 214                         -- TODO non-string keys
 215                 end
 216         end
 217         return commit(true);
 218 end
 219
 220 local map_store = {};
 221 map_store.__index = map_store;
 222 function map_store:get(username, key)
 223         user,store = username,self.store;
 224         local success, ret, err = xpcall(function() return map_store_get(key); end, debug.traceback);
 225         if success then return ret, err; else return rollback(nil, ret); end
 226 end
 227 function map_store:set(username, key, data)
 228         user,store = username,self.store;
 229         local success, ret, err = xpcall(function() return map_store_set(key, data); end, debug.traceback);
 230         if success then return ret, err; else return rollback(nil, ret); end
 231 end
 232
 233 local list_store = {};
 234 list_store.__index = list_store;
 235 function list_store:scan(username, from, to, jid, typ)
 236         user,store = username,self.store;
 237
 238         local cols = {"from", "to", "jid", "typ"};
 239         local vals = { from ,  to ,  jid ,  typ };
 240         local stmt, err;
 241         local query = "SELECT * FROM `ProsodyArchive` WHERE `host`=? AND `user`=? AND `store`=?";
 242
 243         query = query.." ORDER BY time";
 244         --local stmt, err = getsql("SELECT * FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=? AND `key`=?", key or "");
 245
 246         return nil, "not-implemented"
 247 end
 248
 249 local driver = { name = "sql" };
 250
 251 function driver:open(store, typ)
 252         if not typ then -- default key-value store
 253                 return setmetatable({ store = store }, keyval_store);
 254         end
 255         return nil, "unsupported-store";
 256 end
 257
 258 module:add_item("data-driver", driver);