net.httpserver: Revert commit eccd3c87d717 which has since been fixed in a better way
[prosody.git] / tools / ejabberdsql2prosody.lua
index 772f9214cbfc7cc84c02f17bdfae4faefe669911..958cf0e2d1c97ec027e7bb71ab4dcab684f6f890 100644 (file)
@@ -1,12 +1,14 @@
 #!/usr/bin/env lua
 -- Prosody IM
--- Copyright (C) 2008-2009 Matthew Wild
--- Copyright (C) 2008-2009 Waqas Hussain
+-- Copyright (C) 2008-2010 Matthew Wild
+-- Copyright (C) 2008-2010 Waqas Hussain
 -- 
 -- This project is MIT/X11 licensed. Please see the
 -- COPYING file in the source package for more information.
 --
 
+prosody = {};
+
 package.path = package.path ..";../?.lua";
 local serialize = require "util.serialization".serialize;
 local st = require "util.stanza";
@@ -36,10 +38,21 @@ local function peek()
        return last;
 end
 
+local escapes = {
+       ["\\0"] = "\0";
+       ["\\'"] = "'";
+       ["\\\""] = "\"";
+       ["\\b"] = "\b";
+       ["\\n"] = "\n";
+       ["\\r"] = "\r";
+       ["\\t"] = "\t";
+       ["\\Z"] = "\26";
+       ["\\\\"] = "\\";
+       ["\\%"] = "%";
+       ["\\_"] = "_";
+}
 local function unescape(s)
-       if s == "\\'" then return "'"; end
-       if s == "\\n" then return "\n"; end
-       error("Unknown escape sequence: "..s);
+       return escapes[s] or error("Unknown escape sequence: "..s);
 end
 local function readString()
        read("'");
@@ -125,7 +138,14 @@ local function readFile(filename)
        while true do
                local tname, tuples = readInsert();
                if tname then
-                       t[tname] = tuples;
+                       if t[tname] then
+                               local t_name = t[tname];
+                               for i=1,#tuples do
+                                       table.insert(t_name, tuples[i]);
+                               end
+                       else
+                               t[tname] = tuples;
+                       end
                elseif peek() == nil then
                        break;
                end
@@ -138,6 +158,58 @@ return readFile(filename);
 ------
 end
 
+-- XML parser
+local parse_xml = (function()
+       local entity_map = setmetatable({
+               ["amp"] = "&";
+               ["gt"] = ">";
+               ["lt"] = "<";
+               ["apos"] = "'";
+               ["quot"] = "\"";
+       }, {__index = function(_, s)
+                       if s:sub(1,1) == "#" then
+                               if s:sub(2,2) == "x" then
+                                       return string.char(tonumber(s:sub(3), 16));
+                               else
+                                       return string.char(tonumber(s:sub(2)));
+                               end
+                       end
+               end
+       });
+       local function xml_unescape(str)
+               return (str:gsub("&(.-);", entity_map));
+       end
+       local function parse_tag(s)
+               local name,sattr=(s):gmatch("([^%s]+)(.*)")();
+               local attr = {};
+               for a,b in (sattr):gmatch("([^=%s]+)=['\"]([^'\"]*)['\"]") do attr[a] = xml_unescape(b); end
+               return name, attr;
+       end
+       return function(xml)
+               local stanza = st.stanza("root");
+               local regexp = "<([^>]*)>([^<]*)";
+               for elem, text in xml:gmatch(regexp) do
+                       if elem:sub(1,1) == "!" or elem:sub(1,1) == "?" then -- neglect comments and processing-instructions
+                       elseif elem:sub(1,1) == "/" then -- end tag
+                               elem = elem:sub(2);
+                               stanza:up(); -- TODO check for start-end tag name match
+                       elseif elem:sub(-1,-1) == "/" then -- empty tag
+                               elem = elem:sub(1,-2);
+                               local name,attr = parse_tag(elem);
+                               stanza:tag(name, attr):up();
+                       else -- start tag
+                               local name,attr = parse_tag(elem);
+                               stanza:tag(name, attr);
+                       end
+                       if #text ~= 0 then -- text
+                               stanza:text(xml_unescape(text));
+                       end
+               end
+               return stanza.tags[1];
+       end
+end)();
+-- end of XML parser
+
 local arg, host = ...;
 local help = "/? -? ? /h -h /help -help --help";
 if not(arg and host) or help:find(arg, 1, true) then
@@ -167,9 +239,12 @@ local t = parseFile(arg);
 for name, data in pairs(t) do
        local m = map[name];
        if m then
+               if #data > 0 and #data[1] ~= #m then
+                       print("[warning] expected "..#m.." columns for table `"..name.."`, found "..#data[1]);
+               end
                for i=1,#data do
                        local row = data[i];
-                       for j=1,#row do
+                       for j=1,#m do
                                row[m[j]] = row[j];
                                row[j] = nil;
                        end
@@ -181,7 +256,7 @@ end
 for i, row in ipairs(t["users"] or NULL) do
        local node, password = row.username, row.password;
        local ret, err = dm.store(node, host, "accounts", {password = password});
-       print("["..(err or "success").."] accounts: "..node.."@"..host.." = "..password);
+       print("["..(err or "success").."] accounts: "..node.."@"..host);
 end
 
 function roster(node, host, jid, item)
@@ -195,15 +270,27 @@ function roster_pending(node, host, jid)
        roster.pending = roster.pending or {};
        roster.pending[jid] = true;
        local ret, err = dm.store(node, host, "roster", roster);
-       print("["..(err or "success").."] roster: " ..node.."@"..host.." - "..jid);
+       print("["..(err or "success").."] roster-pending: " ..node.."@"..host.." - "..jid);
 end
 function roster_group(node, host, jid, group)
        local roster = dm.load(node, host, "roster") or {};
        local item = roster[jid];
-       if not item then print("Warning: No roster item "..jid.." for user "..user..", can't put in group "..group); return; end
+       if not item then print("Warning: No roster item "..jid.." for user "..node..", can't put in group "..group); return; end
        item.groups[group] = true;
        local ret, err = dm.store(node, host, "roster", roster);
-       print("["..(err or "success").."] roster: " ..node.."@"..host.." - "..jid);
+       print("["..(err or "success").."] roster-group: " ..node.."@"..host.." - "..jid.." - "..group);
+end
+function private_storage(node, host, xmlns, stanza)
+       local private = dm.load(node, host, "private") or {};
+       private[stanza.name..":"..xmlns] = st.preserialize(stanza);
+       local ret, err = dm.store(node, host, "private", private);
+       print("["..(err or "success").."] private: " ..node.."@"..host.." - "..xmlns);
+end
+function offline_msg(node, host, t, stanza)
+       stanza.attr.stamp = os.date("!%Y-%m-%dT%H:%M:%SZ", t);
+       stanza.attr.stamp_legacy = os.date("!%Y%m%dT%H:%M:%S", t);
+       local ret, err = dm.list_append(node, host, "offline", st.preserialize(stanza));
+       print("["..(err or "success").."] offline: " ..node.."@"..host.." - "..os.date("!%Y-%m-%dT%H:%M:%SZ", t));
 end
 for i, row in ipairs(t["rosterusers"] or NULL) do
        local node, contact = row.username, row.jid;
@@ -226,7 +313,10 @@ for i, row in ipairs(t["rosterusers"] or NULL) do
                ask = "subscribe";
        elseif ask == "I" then
                roster_pending(node, host, contact);
-               return;
+               ask = nil;
+       elseif ask == "B" then
+               roster_pending(node, host, contact);
+               ask = "subscribe";
        else error("Unknown ask type: "..ask); end
        local item = {name = name, ask = ask, subscription = subscription, groups = {}};
        roster(node, host, contact, item);
@@ -234,3 +324,25 @@ end
 for i, row in ipairs(t["rostergroups"] or NULL) do
        roster_group(row.username, host, row.jid, row.grp);
 end
+for i, row in ipairs(t["vcard"] or NULL) do
+       local ret, err = dm.store(row.username, host, "vcard", st.preserialize(parse_xml(row.vcard)));
+       print("["..(err or "success").."] vCard: "..row.username.."@"..host);
+end
+for i, row in ipairs(t["private_storage"] or NULL) do
+       private_storage(row.username, host, row.namespace, parse_xml(row.data));
+end
+table.sort(t["spool"] or NULL, function(a,b) return a.seq < b.seq; end); -- sort by sequence number, just in case
+local time_offset = os.difftime(os.time(os.date("!*t")), os.time(os.date("*t"))) -- to deal with timezones
+local date_parse = function(s)
+       local year, month, day, hour, min, sec = s:match("(....)-?(..)-?(..)T(..):(..):(..)");
+       return os.time({year=year, month=month, day=day, hour=hour, min=min, sec=sec-time_offset});
+end
+for i, row in ipairs(t["spool"] or NULL) do
+       local stanza = parse_xml(row.xml);
+       local last_child = stanza.tags[#stanza.tags];
+       if not last_child or last_child ~= stanza[#stanza] then error("Last child of offline message is not a tag"); end
+       if last_child.name ~= "x" and last_child.attr.xmlns ~= "jabber:x:delay" then error("Last child of offline message is not a timestamp"); end
+       stanza[#stanza], stanza.tags[#stanza.tags] = nil, nil;
+       local t = date_parse(last_child.attr.stamp);
+       offline_msg(row.username, host, t, stanza);
+end