plugins/mod_storage_sql.lua

   1
   2 --[[
   3
   4 DB Tables:
   5         Prosody - key-value, map
   6                 | host | user | store | key | type | value |
   7         ProsodyArchive - list
   8                 | host | user | store | key | time | stanzatype | jsonvalue |
   9
  10 Mapping:
  11         Roster - Prosody
  12                 | host | user | "roster" | "contactjid" | type | value |
  13                 | host | user | "roster" | NULL | "json" | roster[false] data |
  14         Account - Prosody
  15                 | host | user | "accounts" | "username" | type | value |
  16
  17         Offline - ProsodyArchive
  18                 | host | user | "offline" | "contactjid" | time | "message" | json|XML |
  19
  20 ]]
  21
  22 local type = type;
  23 local tostring = tostring;
  24 local tonumber = tonumber;
  25 local pairs = pairs;
  26 local next = next;
  27 local setmetatable = setmetatable;
  28 local json = { stringify = function(s) return require"util.serialization".serialize(s) end, parse = require"util.serialization".deserialize };
  29
  30 local connection = ...;
  31 local host,user,store = module.host;
  32 local params = module:get_option("sql");
  33
  34 do -- process options to get a db connection
  35         local DBI = require "DBI";
  36
  37         params = params or { driver = "SQLite3", database = "prosody.sqlite" };
  38         assert(params.driver and params.database, "invalid params");
  39
  40         prosody.unlock_globals();
  41         local dbh, err = DBI.Connect(
  42                 params.driver, params.database,
  43                 params.username, params.password,
  44                 params.host, params.port
  45         );
  46         prosody.lock_globals();
  47         assert(dbh, err);
  48
  49         dbh:autocommit(false); -- don't commit automatically
  50         connection = dbh;
  51
  52         if params.driver == "SQLite3" then -- auto initialize
  53                 local stmt = assert(connection:prepare("SELECT COUNT(*) FROM `sqlite_master` WHERE `type`='table' AND `name`='Prosody';"));
  54                 local ok = assert(stmt:execute());
  55                 local count = stmt:fetch()[1];
  56                 if count == 0 then
  57                         local stmt = assert(connection:prepare("CREATE TABLE `Prosody` (`host` TEXT, `user` TEXT, `store` TEXT, `key` TEXT, `type` TEXT, `value` TEXT);"));
  58                         assert(stmt:execute());
  59                         module:log("debug", "Initialized new SQLite3 database");
  60                 end
  61                 assert(connection:commit());
  62                 --print("===", json.stringify())
  63         end
  64 end
  65
  66 local function serialize(value)
  67         local t = type(value);
  68         if t == "string" or t == "boolean" or t == "number" then
  69                 return t, tostring(value);
  70         elseif t == "table" then
  71                 local value,err = json.stringify(value);
  72                 if value then return "json", value; end
  73                 return nil, err;
  74         end
  75         return nil, "Unhandled value type: "..t;
  76 end
  77 local function deserialize(t, value)
  78         if t == "string" then return value;
  79         elseif t == "boolean" then
  80                 if value == "true" then return true;
  81                 elseif value == "false" then return false; end
  82         elseif t == "number" then return tonumber(value);
  83         elseif t == "json" then
  84                 return json.parse(value);
  85         end
  86 end
  87
  88 local function getsql(sql, ...)
  89         if params.driver == "PostgreSQL" then
  90                 sql = sql:gsub("`", "\"");
  91         end
  92         -- do prepared statement stuff
  93         local stmt, err = connection:prepare(sql);
  94         if not stmt then module:log("error", "QUERY FAILED: %s %s", err, debug.traceback()); return nil, err; end
  95         -- run query
  96         local ok, err = stmt:execute(host or "", user or "", store or "", ...);
  97         if not ok then return nil, err; end
  98
  99         return stmt;
 100 end
 101 local function setsql(sql, ...)
 102         local stmt, err = getsql(sql, ...);
 103         if not stmt then return stmt, err; end
 104         return stmt:affected();
 105 end
 106 local function transact(...)
 107         -- ...
 108 end
 109 local function rollback(...)
 110         connection:rollback(); -- FIXME check for rollback error?
 111         return ...;
 112 end
 113 local function commit(...)
 114         if not connection:commit() then return nil, "SQL commit failed"; end
 115         return ...;
 116 end
 117
 118 local keyval_store = {};
 119 keyval_store.__index = keyval_store;
 120 function keyval_store:get(username)
 121         user,store = username,self.store;
 122         local stmt, err = getsql("SELECT * FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=?");
 123         if not stmt then return nil, err; end
 124
 125         local haveany;
 126         local result = {};
 127         for row in stmt:rows(true) do
 128                 haveany = true;
 129                 local k = row.key;
 130                 local v = deserialize(row.type, row.value);
 131                 if k and v then
 132                         if k ~= "" then result[k] = v; elseif type(v) == "table" then
 133                                 for a,b in pairs(v) do
 134                                         result[a] = b;
 135                                 end
 136                         end
 137                 end
 138         end
 139         return commit(haveany and result or nil);
 140 end
 141 function keyval_store:set(username, data)
 142         user,store = username,self.store;
 143         -- start transaction
 144         local affected, err = setsql("DELETE FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=?");
 145
 146         if data and next(data) ~= nil then
 147                 local extradata = {};
 148                 for key, value in pairs(data) do
 149                         if type(key) == "string" and key ~= "" then
 150                                 local t, value = serialize(value);
 151                                 if not t then return rollback(t, value); end
 152                                 local ok, err = setsql("INSERT INTO `Prosody` (`host`,`user`,`store`,`key`,`type`,`value`) VALUES (?,?,?,?,?,?)", key, t, value);
 153                                 if not ok then return rollback(ok, err); end
 154                         else
 155                                 extradata[key] = value;
 156                         end
 157                 end
 158                 if next(extradata) ~= nil then
 159                         local t, extradata = serialize(extradata);
 160                         if not t then return rollback(t, extradata); end
 161                         local ok, err = setsql("INSERT INTO `Prosody` (`host`,`user`,`store`,`key`,`type`,`value`) VALUES (?,?,?,?,?,?)", "", t, extradata);
 162                         if not ok then return rollback(ok, err); end
 163                 end
 164         end
 165         return commit(true);
 166 end
 167
 168 local map_store = {};
 169 map_store.__index = map_store;
 170 function map_store:get(username, key)
 171         user,store = username,self.store;
 172         local stmt, err = getsql("SELECT * FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=? AND `key`=?", key or "");
 173         if not stmt then return nil, err; end
 174
 175         local haveany;
 176         local result = {};
 177         for row in stmt:rows(true) do
 178                 haveany = true;
 179                 local k = row.key;
 180                 local v = deserialize(row.type, row.value);
 181                 if k and v then
 182                         if k ~= "" then result[k] = v; elseif type(v) == "table" then
 183                                 for a,b in pairs(v) do
 184                                         result[a] = b;
 185                                 end
 186                         end
 187                 end
 188         end
 189         return commit(haveany and result[key] or nil);
 190 end
 191 function map_store:set(username, key, data)
 192         user,store = username,self.store;
 193         -- start transaction
 194         local affected, err = setsql("DELETE FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=? AND `key`=?", key or "");
 195
 196         if data and next(data) ~= nil then
 197                 if type(key) == "string" and key ~= "" then
 198                         local t, value = serialize(data);
 199                         if not t then return rollback(t, value); end
 200                         local ok, err = setsql("INSERT INTO `Prosody` (`host`,`user`,`store`,`key`,`type`,`value`) VALUES (?,?,?,?,?,?)", key, t, value);
 201                         if not ok then return rollback(ok, err); end
 202                 else
 203                         -- TODO non-string keys
 204                 end
 205         end
 206         return commit(true);
 207 end
 208
 209 local list_store = {};
 210 list_store.__index = list_store;
 211 function list_store:scan(username, from, to, jid, typ)
 212         user,store = username,self.store;
 213
 214         local cols = {"from", "to", "jid", "typ"};
 215         local vals = { from ,  to ,  jid ,  typ };
 216         local stmt, err;
 217         local query = "SELECT * FROM `ProsodyArchive` WHERE `host`=? AND `user`=? AND `store`=?";
 218
 219         query = query.." ORDER BY time";
 220         --local stmt, err = getsql("SELECT * FROM `Prosody` WHERE `host`=? AND `user`=? AND `store`=? AND `key`=?", key or "");
 221
 222         return nil, "not-implemented"
 223 end
 224
 225 local driver = { name = "sql" };
 226
 227 function driver:open(store, typ)
 228         if not typ then -- default key-value store
 229                 return setmetatable({ store = store }, keyval_store);
 230         end
 231         return nil, "unsupported-store";
 232 end
 233
 234 module:add_item("data-driver", driver);