net.http.server: Properly handle persistent connections
[prosody.git] / tools / ejabberdsql2prosody.lua
index c9f8beb6141fcdd77bb58770b9a4ea42b9381d02..4372064386c37ba8d0494faf0fca6037fb3ff7b1 100644 (file)
@@ -1,15 +1,18 @@
 #!/usr/bin/env lua
 -- Prosody IM
--- Copyright (C) 2008-2009 Matthew Wild
--- Copyright (C) 2008-2009 Waqas Hussain
+-- Copyright (C) 2008-2010 Matthew Wild
+-- Copyright (C) 2008-2010 Waqas Hussain
 -- 
 -- This project is MIT/X11 licensed. Please see the
 -- COPYING file in the source package for more information.
 --
 
+prosody = {};
+
 package.path = package.path ..";../?.lua";
 local serialize = require "util.serialization".serialize;
 local st = require "util.stanza";
+local parse_xml = require "util.xml".parse;
 package.loaded["util.logger"] = {init = function() return function() end; end}
 local dm = require "util.datamanager"
 dm.set_data_path("data");
@@ -19,12 +22,16 @@ function parseFile(filename)
 
 local file = nil;
 local last = nil;
+local line = 1;
 local function read(expected)
        local ch;
        if last then
                ch = last; last = nil;
-       else ch = file:read(1); end
-       if expected and ch ~= expected then error("expected: "..expected.."; got: "..(ch or "nil")); end
+       else
+               ch = file:read(1);
+               if ch == "\n" then line = line + 1; end
+       end
+       if expected and ch ~= expected then error("expected: "..expected.."; got: "..(ch or "nil").." on line "..line); end
        return ch;
 end
 local function pushback(ch)
@@ -123,7 +130,12 @@ local function readInsert()
                end
        end
        local tname = readTableName();
-       for ch in ("` VALUES "):gmatch(".") do read(ch); end -- expect this
+       read("`"); read(" ") -- expect this
+       if peek() == "(" then -- skip column list
+               repeat until read() == ")";
+               read(" ");
+       end
+       for ch in ("VALUES "):gmatch(".") do read(ch); end -- expect this
        local tuples = readTuples();
        read(";"); read("\n");
        return tname, tuples;
@@ -136,8 +148,8 @@ local function readFile(filename)
        while true do
                local tname, tuples = readInsert();
                if tname then
-                       if t[name] then
-                               local t_name = t[name];
+                       if t[tname] then
+                               local t_name = t[tname];
                                for i=1,#tuples do
                                        table.insert(t_name, tuples[i]);
                                end
@@ -156,58 +168,6 @@ return readFile(filename);
 ------
 end
 
--- XML parser
-local parse_xml = (function()
-       local entity_map = setmetatable({
-               ["amp"] = "&";
-               ["gt"] = ">";
-               ["lt"] = "<";
-               ["apos"] = "'";
-               ["quot"] = "\"";
-       }, {__index = function(_, s)
-                       if s:sub(1,1) == "#" then
-                               if s:sub(2,2) == "x" then
-                                       return string.char(tonumber(s:sub(3), 16));
-                               else
-                                       return string.char(tonumber(s:sub(2)));
-                               end
-                       end
-               end
-       });
-       local function xml_unescape(str)
-               return (str:gsub("&(.-);", entity_map));
-       end
-       local function parse_tag(s)
-               local name,sattr=(s):gmatch("([^%s]+)(.*)")();
-               local attr = {};
-               for a,b in (sattr):gmatch("([^=%s]+)=['\"]([^'\"]*)['\"]") do attr[a] = xml_unescape(b); end
-               return name, attr;
-       end
-       return function(xml)
-               local stanza = st.stanza("root");
-               local regexp = "<([^>]*)>([^<]*)";
-               for elem, text in xml:gmatch(regexp) do
-                       if elem:sub(1,1) == "!" or elem:sub(1,1) == "?" then -- neglect comments and processing-instructions
-                       elseif elem:sub(1,1) == "/" then -- end tag
-                               elem = elem:sub(2);
-                               stanza:up(); -- TODO check for start-end tag name match
-                       elseif elem:sub(-1,-1) == "/" then -- empty tag
-                               elem = elem:sub(1,-2);
-                               local name,attr = parse_tag(elem);
-                               stanza:tag(name, attr):up();
-                       else -- start tag
-                               local name,attr = parse_tag(elem);
-                               stanza:tag(name, attr);
-                       end
-                       if #text ~= 0 then -- text
-                               stanza:text(xml_unescape(text));
-                       end
-               end
-               return stanza.tags[1];
-       end
-end)();
--- end of XML parser
-
 local arg, host = ...;
 local help = "/? -? ? /h -h /help -help --help";
 if not(arg and host) or help:find(arg, 1, true) then
@@ -254,7 +214,7 @@ end
 for i, row in ipairs(t["users"] or NULL) do
        local node, password = row.username, row.password;
        local ret, err = dm.store(node, host, "accounts", {password = password});
-       print("["..(err or "success").."] accounts: "..node.."@"..host.." = "..password);
+       print("["..(err or "success").."] accounts: "..node.."@"..host);
 end
 
 function roster(node, host, jid, item)
@@ -278,6 +238,18 @@ function roster_group(node, host, jid, group)
        local ret, err = dm.store(node, host, "roster", roster);
        print("["..(err or "success").."] roster-group: " ..node.."@"..host.." - "..jid.." - "..group);
 end
+function private_storage(node, host, xmlns, stanza)
+       local private = dm.load(node, host, "private") or {};
+       private[stanza.name..":"..xmlns] = st.preserialize(stanza);
+       local ret, err = dm.store(node, host, "private", private);
+       print("["..(err or "success").."] private: " ..node.."@"..host.." - "..xmlns);
+end
+function offline_msg(node, host, t, stanza)
+       stanza.attr.stamp = os.date("!%Y-%m-%dT%H:%M:%SZ", t);
+       stanza.attr.stamp_legacy = os.date("!%Y%m%dT%H:%M:%S", t);
+       local ret, err = dm.list_append(node, host, "offline", st.preserialize(stanza));
+       print("["..(err or "success").."] offline: " ..node.."@"..host.." - "..os.date("!%Y-%m-%dT%H:%M:%SZ", t));
+end
 for i, row in ipairs(t["rosterusers"] or NULL) do
        local node, contact = row.username, row.jid;
        local name = row.nick;
@@ -310,3 +282,25 @@ end
 for i, row in ipairs(t["rostergroups"] or NULL) do
        roster_group(row.username, host, row.jid, row.grp);
 end
+for i, row in ipairs(t["vcard"] or NULL) do
+       local ret, err = dm.store(row.username, host, "vcard", st.preserialize(parse_xml(row.vcard)));
+       print("["..(err or "success").."] vCard: "..row.username.."@"..host);
+end
+for i, row in ipairs(t["private_storage"] or NULL) do
+       private_storage(row.username, host, row.namespace, parse_xml(row.data));
+end
+table.sort(t["spool"] or NULL, function(a,b) return a.seq < b.seq; end); -- sort by sequence number, just in case
+local time_offset = os.difftime(os.time(os.date("!*t")), os.time(os.date("*t"))) -- to deal with timezones
+local date_parse = function(s)
+       local year, month, day, hour, min, sec = s:match("(....)-?(..)-?(..)T(..):(..):(..)");
+       return os.time({year=year, month=month, day=day, hour=hour, min=min, sec=sec-time_offset});
+end
+for i, row in ipairs(t["spool"] or NULL) do
+       local stanza = parse_xml(row.xml);
+       local last_child = stanza.tags[#stanza.tags];
+       if not last_child or last_child ~= stanza[#stanza] then error("Last child of offline message is not a tag"); end
+       if last_child.name ~= "x" and last_child.attr.xmlns ~= "jabber:x:delay" then error("Last child of offline message is not a timestamp"); end
+       stanza[#stanza], stanza.tags[#stanza.tags] = nil, nil;
+       local t = date_parse(last_child.attr.stamp);
+       offline_msg(row.username, host, t, stanza);
+end