plugins/mod_storage_sql.lua

   1
   2 --[[
   3
   4 DB Tables:
   5         Prosody - key-value, map
   6                 | host | user | store | key | subkey | type | value |
   7         ProsodyArchive - list
   8                 | host | user | store | key | time | stanzatype | jsonvalue |
   9
  10 Mapping:
  11         Roster - Prosody
  12                 | host | user | "roster" | "contactjid" | item-subkey | type | value |
  13                 | host | user | "roster" | NULL | NULL | "json" | roster[false] data |
  14         Account - Prosody
  15                 | host | user | "accounts" | "username" | NULL | type | value |
  16
  17         Offline - ProsodyArchive
  18                 | host | user | "offline" | "contactjid" | time | "message" | json|XML |
  19
  20 ]]
  21
  22 local type = type;
  23 local tostring = tostring;
  24 local tonumber = tonumber;
  25 local pairs = pairs;
  26 local next = next;
  27 local setmetatable = setmetatable;
  28 local json = { stringify = function(s) return require"util.serialization".serialize(s) end, parse = require"util.serialization".deserialze };
  29
  30 local connection = ...;
  31 local host,user,store = module.host;
  32
  33 do -- process options to get a db connection
  34         local DBI = require "DBI";
  35
  36         local params = module:get_option("sql") or { driver = "SQLite3", database = "prosody.sqlite" };
  37         assert(params and params.driver and params.database, "invalid params");
  38
  39         prosody.unlock_globals();
  40         local dbh, err = DBI.Connect(
  41                 params.driver, params.database,
  42                 params.username, params.password,
  43                 params.host, params.port
  44         );
  45         prosody.lock_globals();
  46         assert(dbh, err);
  47
  48         dbh:autocommit(false); -- don't commit automatically
  49         connection = dbh;
  50
  51         if params.driver == "SQLite3" then -- auto initialize
  52                 local stmt = assert(connection:prepare("SELECT COUNT(*) FROM sqlite_master WHERE type='table' AND name='Prosody';"));
  53                 local ok = assert(stmt:execute());
  54                 local count = stmt:fetch()[1];
  55                 if count == 0 then
  56                         local stmt = assert(connection:prepare("CREATE TABLE Prosody (host TEXT, user TEXT, store TEXT, key TEXT, subkey TEXT, type TEXT, value TEXT);"));
  57                         assert(stmt:execute());
  58                         assert(connection:commit());
  59                         module:log("debug", "Initialized new SQLite3 database");
  60                 end
  61                 --print("===", json.stringify())
  62         end
  63 end
  64
  65 local function serialize(value)
  66         local t = type(value);
  67         if t == "string" or t == "boolean" or t == "number" then
  68                 return t, tostring(value);
  69         elseif t == "table" then
  70                 local value,err = json.stringify(value);
  71                 if value then return "json", value; end
  72                 return nil, err;
  73         end
  74         return nil, "Unhandled value type: "..t;
  75 end
  76 local function deserialize(t, value)
  77         if t == "string" then return value;
  78         elseif t == "boolean" then
  79                 if value == "true" then return true;
  80                 elseif value == "false" then return false; end
  81         elseif t == "number" then return tonumber(value);
  82         elseif value == "json" then
  83                 return json.parse(value);
  84         end
  85 end
  86
  87 local function getsql(sql, ...)
  88         -- do prepared statement stuff
  89         local stmt, err = connection:prepare(sql);
  90         if not stmt then return nil, err; end
  91         -- run query
  92         local ok, err = stmt:execute(host, user, store, ...);
  93         if not ok then return nil, err; end
  94
  95         return stmt;
  96 end
  97 local function setsql(sql, ...)
  98         local stmt, err = getsql(sql, ...);
  99         if not stmt then return stmt, err; end
 100         return stmt:affected();
 101 end
 102 local function transact(...)
 103         -- ...
 104 end
 105 local function rollback(...)
 106         connection:rollback(); -- FIXME check for rollback error?
 107         return ...;
 108 end
 109 local function commit(...)
 110         if not connection:commit() then return nil, "SQL commit failed"; end
 111         return ...;
 112 end
 113
 114 local keyval_store = {};
 115 keyval_store.__index = keyval_store;
 116 function keyval_store:get(username)
 117         user,store = username,self.store;
 118         local stmt, err = getsql("SELECT * FROM Prosody WHERE host IS ? AND user IS ? AND store IS ? AND subkey IS NULL");
 119         if not stmt then return nil, err; end
 120
 121         local haveany;
 122         local result = {};
 123         for row in stmt:rows(true) do
 124                 haveany = true;
 125                 local k = row.key;
 126                 local v = deserialize(row.type, row.value);
 127                 if v then
 128                         if k then result[k] = v; elseif type(v) == "table" then
 129                                 for a,b in pairs(v) do
 130                                         result[a] = b;
 131                                 end
 132                         end
 133                 end
 134         end
 135         return haveany and result or nil;
 136 end
 137 function keyval_store:set(username, data)
 138         user,store = username,self.store;
 139         -- start transaction
 140         local affected, err = setsql("DELETE FROM Prosody WHERE host IS ? AND user IS ? AND store IS ? AND subkey IS NULL");
 141
 142         if data and next(data) ~= nil then
 143                 local extradata = {};
 144                 for key, value in pairs(data) do
 145                         if type(key) == "string" then
 146                                 local t, value = serialize(value);
 147                                 if not t then return rollback(t, value); end
 148                                 local ok, err = setsql("INSERT INTO Prosody (host,user,store,key,type,value) VALUES (?,?,?,?,?,?)", key, t, value);
 149                                 if not ok then return rollback(ok, err); end
 150                         else
 151                                 extradata[key] = value;
 152                         end
 153                 end
 154                 if next(extradata) ~= nil then
 155                         local t, extradata = serialize(extradata);
 156                         if not t then return rollback(t, extradata); end
 157                         local ok, err = setsql("INSERT INTO Prosody (host,user,store,key,type,value) VALUES (?,?,?,?,?,?)", nil, t, extradata);
 158                         if not ok then return rollback(ok, err); end
 159                 end
 160         end
 161         return commit(true);
 162 end
 163
 164 local map_store = {};
 165 map_store.__index = map_store;
 166 function map_store:get(username, key)
 167         user,store = username,self.store;
 168         local stmt, err = getsql("SELECT * FROM Prosody WHERE host IS ? AND user IS ? AND store IS ? AND key IS ?", key);
 169         if not stmt then return nil, err; end
 170
 171         local haveany;
 172         local result = {};
 173         for row in stmt:rows(true) do
 174                 haveany = true;
 175                 local k = row.subkey;
 176                 local v = deserialize(row.type, row.value);
 177                 if v then
 178                         if k then result[k] = v; elseif type(v) == "table" then
 179                                 for a,b in pairs(v) do
 180                                         result[a] = b;
 181                                 end
 182                         end
 183                 end
 184         end
 185         return haveany and result or nil;
 186 end
 187 function map_store:set(username, key, data)
 188         user,store = username,self.store;
 189         -- start transaction
 190         local affected, err = setsql("DELETE FROM Prosody WHERE host IS ? AND user IS ? AND store IS ? AND key IS ?", key);
 191
 192         if data and next(data) ~= nil then
 193                 local extradata = {};
 194                 for subkey, value in pairs(data) do
 195                         if type(subkey) == "string" then
 196                                 local t, value = serialize(value);
 197                                 if not t then return rollback(t, value); end
 198                                 local ok, err = setsql("INSERT INTO Prosody (host,user,store,key,subkey,type,value) VALUES (?,?,?,?,?,?)", key, subkey, t, value);
 199                                 if not ok then return rollback(ok, err); end
 200                         else
 201                                 extradata[subkey] = value;
 202                         end
 203                 end
 204                 if next(extradata) ~= nil then
 205                         local t, extradata = serialize(extradata);
 206                         if not t then return rollback(t, extradata); end
 207                         local ok, err = setsql("INSERT INTO Prosody (host,user,store,key,subkey,type,value) VALUES (?,?,?,?,?,?)", key, nil, t, extradata);
 208                         if not ok then return rollback(ok, err); end
 209                 end
 210         end
 211         return commit(true);
 212 end
 213
 214 local list_store = {};
 215 list_store.__index = list_store;
 216 function list_store:scan(username, from, to, jid, typ)
 217         user,store = username,self.store;
 218
 219         local cols = {"from", "to", "jid", "typ"};
 220         local vals = { from ,  to ,  jid ,  typ };
 221         local stmt, err;
 222         local query = "SELECT * FROM ProsodyArchive WHERE host IS ? AND user IS ? AND store IS ?";
 223
 224         query = query.." ORDER BY time";
 225         --local stmt, err = getsql("SELECT * FROM Prosody WHERE host IS ? AND user IS ? AND store IS ? AND key IS ?", key);
 226
 227         return nil, "not-implemented"
 228 end
 229
 230 local driver = { name = "sql" };
 231
 232 function driver:open(store, typ)
 233         if not typ then -- default key-value store
 234                 return setmetatable({ store = store }, keyval_store);
 235         end
 236         return nil, "unsupported-store";
 237 end
 238
 239 module:add_item("data-driver", driver);