]> git.netwichtig.de Git - user/henk/code/ruby/rbot.git/blobdiff - lib/rbot/ircbot.rb
fix: write override behavior
[user/henk/code/ruby/rbot.git] / lib / rbot / ircbot.rb
index f4ddc8fa6f1b933f449ff462379f3997aaee880b..564403f5d3bdfb7868708e6a874bc1cb0ae59b4e 100644 (file)
@@ -1,99 +1,68 @@
+# encoding: UTF-8
+#-- vim:sw=2:et
+#++
+#
+# :title: rbot core
+
 require 'thread'
 
 require 'etc'
+require 'date'
 require 'fileutils'
-require 'logger'
-
-$debug = false unless $debug
-$daemonize = false unless $daemonize
-
-$dateformat = "%Y/%m/%d %H:%M:%S"
-$logger = Logger.new($stderr)
-$logger.datetime_format = $dateformat
-$logger.level = $cl_loglevel if $cl_loglevel
-$logger.level = 0 if $debug
-
-def rawlog(level, message=nil, who_pos=1)
-  call_stack = caller
-  if call_stack.length > who_pos
-    who = call_stack[who_pos].sub(%r{(?:.+)/([^/]+):(\d+)(:in .*)?}) { "#{$1}:#{$2}#{$3}" }
-  else
-    who = "(unknown)"
-  end
-  # Output each line. To distinguish between separate messages and multi-line
-  # messages originating at the same time, we blank #{who} after the first message
-  # is output.
-  message.to_s.each_line { |l|
-    $logger.add(level, l.chomp, who)
-    who.gsub!(/./," ")
-  }
-end
-
-def log_session_start
-  $logger << "\n\n=== #{botclass} session started on #{Time.now.strftime($dateformat)} ===\n\n"
-end
-
-def log_session_end
-  $logger << "\n\n=== #{botclass} session ended on #{Time.now.strftime($dateformat)} ===\n\n"
-end
-
-def debug(message=nil, who_pos=1)
-  rawlog(Logger::Severity::DEBUG, message, who_pos)
-end
 
-def log(message=nil, who_pos=1)
-  rawlog(Logger::Severity::INFO, message, who_pos)
-end
+require 'pp'
 
-def warning(message=nil, who_pos=1)
-  rawlog(Logger::Severity::WARN, message, who_pos)
+unless Kernel.respond_to? :pretty_inspect
+  def pretty_inspect
+    PP.pp(self, '')
+  end
+  public :pretty_inspect
 end
 
-def error(message=nil, who_pos=1)
-  rawlog(Logger::Severity::ERROR, message, who_pos)
+class Exception
+  def pretty_print(q)
+    q.group(1, "#<%s: %s" % [self.class, self.message], ">") {
+      if self.backtrace and not self.backtrace.empty?
+        q.text "\n"
+        q.seplist(self.backtrace, lambda { q.text "\n" } ) { |l| q.text l }
+      end
+    }
+  end
 end
 
-def fatal(message=nil, who_pos=1)
-  rawlog(Logger::Severity::FATAL, message, who_pos)
+class ServerError < RuntimeError
 end
 
-debug "debug test"
-log "log test"
-warning "warning test"
-error "error test"
-fatal "fatal test"
-
 # The following global is used for the improved signal handling.
 $interrupted = 0
 
 # these first
+require 'rbot/logger'
 require 'rbot/rbotconfig'
+require 'rbot/load-gettext'
 require 'rbot/config'
-# require 'rbot/utils'
-
 require 'rbot/irc'
 require 'rbot/rfc2812'
 require 'rbot/ircsocket'
 require 'rbot/botuser'
 require 'rbot/timer'
+require 'rbot/registry'
 require 'rbot/plugins'
-# require 'rbot/channel'
 require 'rbot/message'
 require 'rbot/language'
-require 'rbot/dbhash'
-require 'rbot/registry'
-# require 'rbot/httputil'
+require 'rbot/httputil'
 
 module Irc
 
 # Main bot class, which manages the various components, receives messages,
 # handles them or passes them to plugins, and contains core functionality.
 class Bot
-  COPYRIGHT_NOTICE = "(c) Tom Gilbert and the rbot development team"
+  COPYRIGHT_NOTICE = "(c) Giuseppe Bilotta and the rbot development team"
+  SOURCE_URL = "https://ruby-rbot.org"
   # the bot's Auth data
   attr_reader :auth
 
-  # the bot's BotConfig data
+  # the bot's Config data
   attr_reader :config
 
   # the botclass for this bot (determines configdir among other things)
@@ -114,17 +83,21 @@ class Bot
   # TODO multiserver
   attr_reader :socket
 
-  # bot's object registry, plugins get an interface to this for persistant
-  # storage (hash interface tied to a bdb file, plugins use Accessors to store
-  # and restore objects in their own namespaces.)
-  attr_reader :registry
-
   # bot's plugins. This is an instance of class Plugins
   attr_reader :plugins
 
-  # bot's httputil help object, for fetching resources via http. Sets up
+  # bot's httputil helper object, for fetching resources via http. Sets up
   # proxies etc as defined by the bot configuration/environment
-  attr_reader :httputil
+  attr_accessor :httputil
+
+  # mechanize agent factory
+  attr_accessor :agent
+
+  # loads and opens new registry databases, used by the plugins
+  attr_accessor :registry_factory
+
+  # web service
+  attr_accessor :webservice
 
   # server we are connected to
   # TODO multiserver
@@ -138,69 +111,129 @@ class Bot
     @client.user
   end
 
-  # bot User in the client/server connection
+  # bot nick in the client/server connection
   def nick
     myself.nick
   end
 
+  # bot channels in the client/server connection
+  def channels
+    myself.channels
+  end
+
+  # nick wanted by the bot. This defaults to the irc.nick config value,
+  # but may be overridden by a manual !nick command
+  def wanted_nick
+    @wanted_nick || config['irc.nick']
+  end
+
+  # set the nick wanted by the bot
+  def wanted_nick=(wn)
+    if wn.nil? or wn.to_s.downcase == config['irc.nick'].downcase
+      @wanted_nick = nil
+    else
+      @wanted_nick = wn.to_s.dup
+    end
+  end
+
+
+  # bot inspection
+  # TODO multiserver
+  def inspect
+    ret = self.to_s[0..-2]
+    ret << ' version=' << $version.inspect
+    ret << ' botclass=' << botclass.inspect
+    ret << ' lang="' << lang.language
+    if defined?(GetText)
+      ret << '/' << locale
+    end
+    ret << '"'
+    ret << ' nick=' << nick.inspect
+    ret << ' server='
+    if server
+      ret << (server.to_s + (socket ?
+        ' [' << socket.server_uri.to_s << ']' : '')).inspect
+      unless server.channels.empty?
+        ret << " channels="
+        ret << server.channels.map { |c|
+          "%s%s" % [c.modes_of(nick).map { |m|
+            server.prefix_for_mode(m)
+          }, c.name]
+        }.inspect
+      end
+    else
+      ret << '(none)'
+    end
+    ret << ' plugins=' << plugins.inspect
+    ret << ">"
+  end
+
+
   # create a new Bot with botclass +botclass+
   def initialize(botclass, params = {})
-    # BotConfig for the core bot
+    # Config for the core bot
     # TODO should we split socket stuff into ircsocket, etc?
-    BotConfig.register BotConfigStringValue.new('server.name',
-      :default => "localhost", :requires_restart => true,
-      :desc => "What server should the bot connect to?",
-      :wizard => true)
-    BotConfig.register BotConfigIntegerValue.new('server.port',
-      :default => 6667, :type => :integer, :requires_restart => true,
-      :desc => "What port should the bot connect to?",
-      :validate => Proc.new {|v| v > 0}, :wizard => true)
-    BotConfig.register BotConfigBooleanValue.new('server.ssl',
+    Config.register Config::ArrayValue.new('server.list',
+      :default => ['irc://localhost'], :wizard => true,
+      :requires_restart => true,
+      :desc => "List of irc servers rbot should try to connect to. Use comma to separate values. Servers are in format 'server.doma.in:port'. If port is not specified, default value (6667) is used.")
+    Config.register Config::BooleanValue.new('server.ssl',
       :default => false, :requires_restart => true, :wizard => true,
       :desc => "Use SSL to connect to this server?")
-    BotConfig.register BotConfigStringValue.new('server.password',
+    Config.register Config::BooleanValue.new('server.ssl_verify',
+      :default => false, :requires_restart => true,
+      :desc => "Verify the SSL connection?",
+      :wizard => true)
+    Config.register Config::StringValue.new('server.ssl_ca_file',
+      :default => default_ssl_ca_file, :requires_restart => true,
+      :desc => "The CA file used to verify the SSL connection.",
+      :wizard => true)
+    Config.register Config::StringValue.new('server.ssl_ca_path',
+      :default => default_ssl_ca_path, :requires_restart => true,
+      :desc => "Alternativly a directory that includes CA PEM files used to verify the SSL connection.",
+      :wizard => true)
+    Config.register Config::StringValue.new('server.password',
       :default => false, :requires_restart => true,
       :desc => "Password for connecting to this server (if required)",
       :wizard => true)
-    BotConfig.register BotConfigStringValue.new('server.bindhost',
+    Config.register Config::StringValue.new('server.bindhost',
       :default => false, :requires_restart => true,
       :desc => "Specific local host or IP for the bot to bind to (if required)",
       :wizard => true)
-    BotConfig.register BotConfigIntegerValue.new('server.reconnect_wait',
+    Config.register Config::IntegerValue.new('server.reconnect_wait',
       :default => 5, :validate => Proc.new{|v| v >= 0},
       :desc => "Seconds to wait before attempting to reconnect, on disconnect")
-    BotConfig.register BotConfigFloatValue.new('server.sendq_delay',
-      :default => 2.0, :validate => Proc.new{|v| v >= 0},
-      :desc => "(flood prevention) the delay between sending messages to the server (in seconds)",
-      :on_change => Proc.new {|bot, v| bot.socket.sendq_delay = v })
-    BotConfig.register BotConfigIntegerValue.new('server.sendq_burst',
-      :default => 4, :validate => Proc.new{|v| v >= 0},
-      :desc => "(flood prevention) max lines to burst to the server before throttling. Most ircd's allow bursts of up 5 lines",
-      :on_change => Proc.new {|bot, v| bot.socket.sendq_burst = v })
-    BotConfig.register BotConfigIntegerValue.new('server.ping_timeout',
+    Config.register Config::IntegerValue.new('server.ping_timeout',
       :default => 30, :validate => Proc.new{|v| v >= 0},
       :desc => "reconnect if server doesn't respond to PING within this many seconds (set to 0 to disable)")
+    Config.register Config::ArrayValue.new('server.nocolor_modes',
+      :default => ['c'], :wizard => false,
+      :requires_restart => false,
+      :desc => "List of channel modes that require messages to be without colors")
 
-    BotConfig.register BotConfigStringValue.new('irc.nick', :default => "rbot",
+    Config.register Config::StringValue.new('irc.nick', :default => "rbot",
       :desc => "IRC nickname the bot should attempt to use", :wizard => true,
       :on_change => Proc.new{|bot, v| bot.sendq "NICK #{v}" })
-    BotConfig.register BotConfigStringValue.new('irc.name',
+    Config.register Config::StringValue.new('irc.name',
       :default => "Ruby bot", :requires_restart => true,
       :desc => "IRC realname the bot should use")
-    BotConfig.register BotConfigBooleanValue.new('irc.name_copyright',
+    Config.register Config::BooleanValue.new('irc.name_copyright',
       :default => true, :requires_restart => true,
       :desc => "Append copyright notice to bot realname? (please don't disable unless it's really necessary)")
-    BotConfig.register BotConfigStringValue.new('irc.user', :default => "rbot",
+    Config.register Config::StringValue.new('irc.user', :default => "rbot",
       :requires_restart => true,
       :desc => "local user the bot should appear to be", :wizard => true)
-    BotConfig.register BotConfigArrayValue.new('irc.join_channels',
+    Config.register Config::ArrayValue.new('irc.join_channels',
       :default => [], :wizard => true,
       :desc => "What channels the bot should always join at startup. List multiple channels using commas to separate. If a channel requires a password, use a space after the channel name. e.g: '#chan1, #chan2, #secretchan secritpass, #chan3'")
-    BotConfig.register BotConfigArrayValue.new('irc.ignore_users',
-      :default => [], 
+    Config.register Config::ArrayValue.new('irc.ignore_users',
+      :default => [],
       :desc => "Which users to ignore input from. This is mainly to avoid bot-wars triggered by creative people")
+    Config.register Config::ArrayValue.new('irc.ignore_channels',
+      :default => [],
+      :desc => "Which channels to ignore input in. This is mainly to turn the bot into a logbot that doesn't interact with users in any way (in the specified channels)")
 
-    BotConfig.register BotConfigIntegerValue.new('core.save_every',
+    Config.register Config::IntegerValue.new('core.save_every',
       :default => 60, :validate => Proc.new{|v| v >= 0},
       :on_change => Proc.new { |bot, v|
         if @save_timer
@@ -219,80 +252,94 @@ class Bot
       },
       :desc => "How often the bot should persist all configuration to disk (in case of a server crash, for example)")
 
-    BotConfig.register BotConfigBooleanValue.new('core.run_as_daemon',
+    Config.register Config::BooleanValue.new('core.run_as_daemon',
       :default => false, :requires_restart => true,
       :desc => "Should the bot run as a daemon?")
 
-    BotConfig.register BotConfigStringValue.new('log.file',
+    Config.register Config::StringValue.new('log.file',
       :default => false, :requires_restart => true,
       :desc => "Name of the logfile to which console messages will be redirected when the bot is run as a daemon")
-    BotConfig.register BotConfigIntegerValue.new('log.level',
+    Config.register Config::IntegerValue.new('log.level',
       :default => 1, :requires_restart => false,
       :validate => Proc.new { |v| (0..5).include?(v) },
       :on_change => Proc.new { |bot, v|
-        $logger.level = v
+        LoggerManager.instance.set_level(v)
       },
       :desc => "The minimum logging level (0=DEBUG,1=INFO,2=WARN,3=ERROR,4=FATAL) for console messages")
-    BotConfig.register BotConfigIntegerValue.new('log.keep',
+    Config.register Config::IntegerValue.new('log.keep',
       :default => 1, :requires_restart => true,
       :validate => Proc.new { |v| v >= 0 },
       :desc => "How many old console messages logfiles to keep")
-    BotConfig.register BotConfigIntegerValue.new('log.max_size',
+    Config.register Config::IntegerValue.new('log.max_size',
       :default => 10, :requires_restart => true,
       :validate => Proc.new { |v| v > 0 },
       :desc => "Maximum console messages logfile size (in megabytes)")
 
-    BotConfig.register BotConfigArrayValue.new('plugins.path',
+    Config.register Config::ArrayValue.new('plugins.path',
       :wizard => true, :default => ['(default)', '(default)/games', '(default)/contrib'],
       :requires_restart => false,
       :on_change => Proc.new { |bot, v| bot.setup_plugins_path },
-      :desc => "Where the bot should look for plugin. List multiple directories using commas to separate. Use '(default)' for default prepackaged plugins collection, '(default)/contrib' for prepackaged unsupported plugins collection")
+      :desc => "Where the bot should look for plugins. List multiple directories using commas to separate. Use '(default)' for default prepackaged plugins collection, '(default)/contrib' for prepackaged unsupported plugins collection")
 
-    BotConfig.register BotConfigEnumValue.new('send.newlines',
+    Config.register Config::EnumValue.new('send.newlines',
       :values => ['split', 'join'], :default => 'split',
       :on_change => Proc.new { |bot, v|
         bot.set_default_send_options :newlines => v.to_sym
       },
       :desc => "When set to split, messages with embedded newlines will be sent as separate lines. When set to join, newlines will be replaced by the value of join_with")
-    BotConfig.register BotConfigStringValue.new('send.join_with',
+    Config.register Config::StringValue.new('send.join_with',
       :default => ' ',
       :on_change => Proc.new { |bot, v|
         bot.set_default_send_options :join_with => v.dup
       },
       :desc => "String used to replace newlines when send.newlines is set to join")
-    BotConfig.register BotConfigIntegerValue.new('send.max_lines',
-      :default => 0,
+    Config.register Config::IntegerValue.new('send.max_lines',
+      :default => 5,
       :validate => Proc.new { |v| v >= 0 },
       :on_change => Proc.new { |bot, v|
         bot.set_default_send_options :max_lines => v
       },
       :desc => "Maximum number of IRC lines to send for each message (set to 0 for no limit)")
-    BotConfig.register BotConfigEnumValue.new('send.overlong',
+    Config.register Config::EnumValue.new('send.overlong',
       :values => ['split', 'truncate'], :default => 'split',
       :on_change => Proc.new { |bot, v|
         bot.set_default_send_options :overlong => v.to_sym
       },
       :desc => "When set to split, messages which are too long to fit in a single IRC line are split into multiple lines. When set to truncate, long messages are truncated to fit the IRC line length")
-    BotConfig.register BotConfigStringValue.new('send.split_at',
+    Config.register Config::StringValue.new('send.split_at',
       :default => '\s+',
       :on_change => Proc.new { |bot, v|
         bot.set_default_send_options :split_at => Regexp.new(v)
       },
       :desc => "A regular expression that should match the split points for overlong messages (see send.overlong)")
-    BotConfig.register BotConfigBooleanValue.new('send.purge_split',
+    Config.register Config::BooleanValue.new('send.purge_split',
       :default => true,
       :on_change => Proc.new { |bot, v|
         bot.set_default_send_options :purge_split => v
       },
       :desc => "Set to true if the splitting boundary (set in send.split_at) should be removed when splitting overlong messages (see send.overlong)")
-    BotConfig.register BotConfigStringValue.new('send.truncate_text',
+    Config.register Config::StringValue.new('send.truncate_text',
       :default => "#{Reverse}...#{Reverse}",
       :on_change => Proc.new { |bot, v|
         bot.set_default_send_options :truncate_text => v.dup
       },
       :desc => "When truncating overlong messages (see send.overlong) or when sending too many lines per message (see send.max_lines) replace the end of the last line with this text")
+    Config.register Config::IntegerValue.new('send.penalty_pct',
+      :default => 100,
+      :validate => Proc.new { |v| v >= 0 },
+      :on_change => Proc.new { |bot, v|
+        bot.socket.penalty_pct = v
+      },
+      :desc => "Percentage of IRC penalty to consider when sending messages to prevent being disconnected for excess flood. Set to 0 to disable penalty control.")
+    Config.register Config::StringValue.new('core.db',
+      :default => default_db, :store_default => true,
+      :wizard => true,
+      :validate => Proc.new { |v| Registry::formats.include? v },
+      :requires_restart => true,
+      :desc => "DB adaptor to use for storing the plugin data/registries. Options: " + Registry::formats.join(', '))
 
     @argv = params[:argv]
+    @run_dir = params[:run_dir] || Dir.pwd
 
     unless FileTest.directory? Config::coredir
       error "core directory '#{Config::coredir}' not found, did you setup.rb?"
@@ -306,9 +353,9 @@ class Bot
 
     unless botclass and not botclass.empty?
       # We want to find a sensible default.
-      #  * On POSIX systems we prefer ~/.rbot for the effective uid of the process
-      #  * On Windows (at least the NT versions) we want to put our stuff in the
-      #    Application Data folder.
+      # * On POSIX systems we prefer ~/.rbot for the effective uid of the process
+      # * On Windows (at least the NT versions) we want to put our stuff in the
+      #   Application Data folder.
       # We don't use any particular O/S detection magic, exploiting the fact that
       # Etc.getpwuid is nil on Windows
       if Etc.getpwuid(Process::Sys.geteuid)
@@ -319,23 +366,12 @@ class Bot
           botclass.gsub!("\\","/")
         end
       end
-      botclass += "/.rbot"
+      botclass = File.join(botclass, ".rbot")
     end
     botclass = File.expand_path(botclass)
     @botclass = botclass.gsub(/\/$/, "")
 
-    unless FileTest.directory? botclass
-      log "no #{botclass} directory found, creating from templates.."
-      if FileTest.exist? botclass
-        error "file #{botclass} exists but isn't a directory"
-        exit 2
-      end
-      FileUtils.cp_r Config::datadir+'/templates', botclass
-    end
-
-    Dir.mkdir("#{botclass}/logs") unless File.exist?("#{botclass}/logs")
-    Dir.mkdir("#{botclass}/registry") unless File.exist?("#{botclass}/registry")
-    Dir.mkdir("#{botclass}/safe_save") unless File.exist?("#{botclass}/safe_save")
+    repopulate_botclass_directory
 
     # Time at which the last PING was sent
     @last_ping = nil
@@ -345,12 +381,10 @@ class Bot
     @startup_time = Time.new
 
     begin
-      @config = BotConfig.configmanager
+      @config = Config.manager
       @config.bot_associate(self)
-    rescue => e
-      fatal e.inspect
-      fatal e.backtrace.join("\n")
-      log_session_end
+    rescue Exception => e
+      fatal e
       exit 2
     end
 
@@ -358,13 +392,21 @@ class Bot
       $daemonize = true
     end
 
+    @registry_factory = Registry.new @config['core.db']
+    @registry_factory.migrate_registry_folder(path)
+
     @logfile = @config['log.file']
-    if @logfile.class!=String || @logfile.empty?
-      @logfile = "#{botclass}/#{File.basename(botclass).gsub(/^\.+/,'')}.log"
+    if @logfile.class != String || @logfile.empty?
+      logfname =  File.basename(botclass).gsub(/^\.+/,'')
+      logfname << ".log"
+      @logfile = File.join(botclass, logfname)
+      debug "Using `#{@logfile}' as debug log"
     end
 
+    LoggerManager.instance.flush
+
     # See http://blog.humlab.umu.se/samuel/archives/000107.html
-    # for the backgrounding code 
+    # for the backgrounding code
     if $daemonize
       begin
         exit if fork
@@ -372,44 +414,59 @@ class Bot
         exit if fork
       rescue NotImplementedError
         warning "Could not background, fork not supported"
-      rescue => e
-        warning "Could not background. #{e.inspect}"
+      rescue SystemExit
+        exit 0
+      rescue Exception => e
+        warning "Could not background. #{e.pretty_inspect}"
       end
       Dir.chdir botclass
       # File.umask 0000                # Ensure sensible umask. Adjust as needed.
-      log "Redirecting standard input/output/error"
-      begin
-        STDIN.reopen "/dev/null"
-      rescue Errno::ENOENT
-        # On Windows, there's not such thing as /dev/null
-        STDIN.reopen "NUL"
+    end
+
+    # setup logger based on bot configuration, if not set from the command line
+    loglevel_set = $opts.has_key?('debug') or $opts.has_key?('loglevel')
+    LoggerManager.instance.set_level(@config['log.level']) unless loglevel_set
+
+    # Set the logfile
+    LoggerManager.instance.set_logfile(@logfile, @config['log.keep'], @config['log.max_size'])
+
+    if $daemonize
+      log "Redirecting standard input/output/error, console logger disabled"
+      LoggerManager.instance.flush
+      LoggerManager.instance.disable_console_logger
+
+      [$stdin, $stdout, $stderr].each do |fd|
+        begin
+          fd.reopen "/dev/null"
+        rescue Errno::ENOENT
+          # On Windows, there's not such thing as /dev/null
+          fd.reopen "NUL"
+        end
       end
-      def STDOUT.write(str=nil)
+
+      def $stdout.write(*args)
+        str = args.map { |s| s.to_s }.join("")
         log str, 2
-        return str.to_s.size
+        return str.bytesize
       end
-      def STDERR.write(str=nil)
+      def $stderr.write(*args)
+        str = args.map { |s| s.to_s }.join("")
         if str.to_s.match(/:\d+: warning:/)
           warning str, 2
         else
           error str, 2
         end
-        return str.to_s.size
+        return str.bytesize
       end
-    end
 
-    # Set the new logfile and loglevel. This must be done after the daemonizing
-    $logger = Logger.new(@logfile, @config['log.keep'], @config['log.max_size']*1024*1024)
-    $logger.datetime_format= $dateformat
-    $logger.level = @config['log.level']
-    $logger.level = $cl_loglevel if $cl_loglevel
-    $logger.level = 0 if $debug
-
-    log_session_start
+      LoggerManager.instance.log_session_start
+    end
 
-    @registry = BotRegistry.new self
+    File.open($opts['pidfile'] || File.join(@botclass, 'rbot.pid'), 'w') do |pf|
+      pf << "#{$$}\n"
+    end
 
-    @timer = Timer::Timer.new(1.0) # only need per-second granularity
+    @timer = Timer.new
     @save_mutex = Mutex.new
     if @config['core.save_every'] > 0
       @save_timer = @timer.add(@config['core.save_every']) { save }
@@ -418,56 +475,62 @@ class Bot
     end
     @quit_mutex = Mutex.new
 
-    @logs = Hash.new
-
     @plugins = nil
-    @lang = Language::Language.new(self, @config['core.language'])
+    @lang = Language.new(self, @config['core.language'])
+    @httputil = Utils::HttpUtil.new(self)
 
     begin
-      @auth = Auth::authmanager
+      @auth = Auth::manager
       @auth.bot_associate(self)
       # @auth.load("#{botclass}/botusers.yaml")
-    rescue => e
-      fatal e.inspect
-      fatal e.backtrace.join("\n")
-      log_session_end
+    rescue Exception => e
+      fatal e
       exit 2
     end
     @auth.everyone.set_default_permission("*", true)
     @auth.botowner.password= @config['auth.password']
 
-    Dir.mkdir("#{botclass}/plugins") unless File.exist?("#{botclass}/plugins")
     @plugins = Plugins::manager
     @plugins.bot_associate(self)
     setup_plugins_path()
 
-    @socket = IrcSocket.new(@config['server.name'], @config['server.port'], @config['server.bindhost'], @config['server.sendq_delay'], @config['server.sendq_burst'], :ssl => @config['server.ssl'])
+    if @config['server.name']
+        debug "upgrading configuration (server.name => server.list)"
+        srv_uri = 'irc://' + @config['server.name']
+        srv_uri += ":#{@config['server.port']}" if @config['server.port']
+        @config.items['server.list'.to_sym].set_string(srv_uri)
+        @config.delete('server.name'.to_sym)
+        @config.delete('server.port'.to_sym)
+        debug "server.list is now #{@config['server.list'].inspect}"
+    end
+
+    @socket = Irc::Socket.new(@config['server.list'], @config['server.bindhost'], 
+                              :ssl => @config['server.ssl'],
+                              :ssl_verify => @config['server.ssl_verify'],
+                              :ssl_ca_file => @config['server.ssl_ca_file'],
+                              :ssl_ca_path => @config['server.ssl_ca_path'],
+                              :penalty_pct => @config['send.penalty_pct'])
     @client = Client.new
 
     @plugins.scan
 
-    Utils.set_safe_save_dir("#{botclass}/safe_save")
-    @httputil = Utils::HttpUtil.new(self)
-
     # Channels where we are quiet
     # Array of channels names where the bot should be quiet
     # '*' means all channels
     #
-    @quiet = []
+    @quiet = Set.new
+    # but we always speak here
+    @not_quiet = Set.new
+
+    # the nick we want, if it's different from the irc.nick config value
+    # (e.g. as set by a !nick command)
+    @wanted_nick = nil
 
     @client[:welcome] = proc {|data|
-      irclog "joined server #{@client.server} as #{myself}", "server"
+      m = WelcomeMessage.new(self, server, data[:source], data[:target], data[:message])
 
+      @plugins.delegate("welcome", m)
       @plugins.delegate("connect")
-
-      @config['irc.join_channels'].each { |c|
-        debug "autojoining channel #{c}"
-        if(c =~ /^(\S+)\s+(\S+)$/i)
-          join $1, $2
-        else
-          join c if(c)
-        end
-      }
     }
 
     # TODO the next two @client should go into rfc2812.rb, probably
@@ -489,53 +552,49 @@ class Bot
     }
 
     @client[:privmsg] = proc { |data|
-      m = PrivMessage.new(self, server, data[:source], data[:target], data[:message])
+      m = PrivMessage.new(self, server, data[:source], data[:target], data[:message], :handle_id => true)
       # debug "Message source is #{data[:source].inspect}"
       # debug "Message target is #{data[:target].inspect}"
       # debug "Bot is #{myself.inspect}"
 
-      ignored = false
+      @config['irc.ignore_channels'].each { |channel|
+        if m.target.downcase == channel.downcase
+          m.ignored = true
+          break
+        end
+      }
       @config['irc.ignore_users'].each { |mask|
         if m.source.matches?(server.new_netmask(mask))
-          ignored = true
+          m.ignored = true
           break
         end
-      }
+      } unless m.ignored
 
-      irclogprivmsg(m)
-
-      unless ignored
-        @plugins.delegate "listen", m
-        @plugins.privmsg(m) if m.address?
-       if not m.replied
-          @plugins.delegate "unreplied", m
-        end
-      end
+      @plugins.irc_delegate('privmsg', m)
     }
     @client[:notice] = proc { |data|
-      message = NoticeMessage.new(self, server, data[:source], data[:target], data[:message])
+      message = NoticeMessage.new(self, server, data[:source], data[:target], data[:message], :handle_id => true)
       # pass it off to plugins that want to hear everything
-      @plugins.delegate "listen", message
+      @plugins.irc_delegate "notice", message
     }
     @client[:motd] = proc { |data|
-      data[:motd].each_line { |line|
-        irclog "MOTD: #{line}", "server"
-      }
+      m = MotdMessage.new(self, server, data[:source], data[:target], data[:motd])
+      @plugins.delegate "motd", m
     }
     @client[:nicktaken] = proc { |data|
-      new = "#{data[:nick]}_" 
+      new = "#{data[:nick]}_"
       nickchg new
       # If we're setting our nick at connection because our choice was taken,
       # we have to fix our nick manually, because there will be no NICK message
-      # yo inform us that our nick has been changed.
+      # to inform us that our nick has been changed.
       if data[:target] == '*'
         debug "setting my connection nick to #{new}"
-        nick = new
+        @client.user.nick = new
       end
       @plugins.delegate "nicktaken", data[:nick]
     }
     @client[:badnick] = proc {|data|
-      arning "bad nick (#{data[:nick]})"
+      warning "bad nick (#{data[:nick]})"
     }
     @client[:ping] = proc {|data|
       sendq "PONG #{data[:pingid]}"
@@ -550,79 +609,89 @@ class Bot
       old = data[:oldnick]
       new = data[:newnick]
       m = NickMessage.new(self, server, source, old, new)
+      m.is_on = data[:is_on]
       if source == myself
         debug "my nick is now #{new}"
       end
-      data[:is_on].each { |ch|
-        irclog "@ #{old} is now known as #{new}", ch
-      }
-      @plugins.delegate("listen", m)
-      @plugins.delegate("nick", m)
+      @plugins.irc_delegate("nick", m)
     }
     @client[:quit] = proc {|data|
       source = data[:source]
       message = data[:message]
       m = QuitMessage.new(self, server, source, source, message)
-      data[:was_on].each { |ch|
-        irclog "@ Quit: #{source}: #{message}", ch
-      }
-      @plugins.delegate("listen", m)
-      @plugins.delegate("quit", m)
+      m.was_on = data[:was_on]
+      @plugins.irc_delegate("quit", m)
     }
     @client[:mode] = proc {|data|
-      irclog "@ Mode #{data[:modestring]} by #{data[:source]}", data[:channel]
+      m = ModeChangeMessage.new(self, server, data[:source], data[:target], data[:modestring])
+      m.modes = data[:modes]
+      @plugins.delegate "modechange", m
+    }
+    @client[:whois] = proc {|data|
+      source = data[:source]
+      target = server.get_user(data[:whois][:nick])
+      m = WhoisMessage.new(self, server, source, target, data[:whois])
+      @plugins.delegate "whois", m
+    }
+    @client[:list] = proc {|data|
+      source = data[:source]
+      m = ListMessage.new(self, server, source, source, data[:list])
+      @plugins.delegate "irclist", m
     }
     @client[:join] = proc {|data|
       m = JoinMessage.new(self, server, data[:source], data[:channel], data[:message])
-      irclogjoin(m)
-
-      @plugins.delegate("listen", m)
-      @plugins.delegate("join", m)
+      sendq("MODE #{data[:channel]}", nil, 0) if m.address?
+      @plugins.irc_delegate("join", m)
+      sendq("WHO #{data[:channel]}", data[:channel], 2) if m.address?
     }
     @client[:part] = proc {|data|
       m = PartMessage.new(self, server, data[:source], data[:channel], data[:message])
-      irclogpart(m)
-
-      @plugins.delegate("listen", m)
-      @plugins.delegate("part", m)
+      @plugins.irc_delegate("part", m)
     }
     @client[:kick] = proc {|data|
       m = KickMessage.new(self, server, data[:source], data[:target], data[:channel],data[:message])
-      irclogkick(m)
-
-      @plugins.delegate("listen", m)
-      @plugins.delegate("kick", m)
+      @plugins.irc_delegate("kick", m)
     }
     @client[:invite] = proc {|data|
-      if data[:target] == myself
-        join data[:channel] if @auth.allow?("join", data[:source], data[:source].nick)
-      end
+      m = InviteMessage.new(self, server, data[:source], data[:target], data[:channel])
+      @plugins.irc_delegate("invite", m)
     }
     @client[:changetopic] = proc {|data|
       m = TopicMessage.new(self, server, data[:source], data[:channel], data[:topic])
-      irclogtopic(m)
-
-      @plugins.delegate("listen", m)
-      @plugins.delegate("topic", m)
-    }
-    @client[:topic] = proc { |data|
-      irclog "@ Topic is \"#{data[:topic]}\"", data[:channel]
+      m.info_or_set = :set
+      @plugins.irc_delegate("topic", m)
     }
+    # @client[:topic] = proc { |data|
+    #   irclog "@ Topic is \"#{data[:topic]}\"", data[:channel]
+    # }
     @client[:topicinfo] = proc { |data|
       channel = data[:channel]
       topic = channel.topic
-      irclog "@ Topic set by #{topic.set_by} on #{topic.set_on}", channel
       m = TopicMessage.new(self, server, data[:source], channel, topic)
-
-      @plugins.delegate("listen", m)
-      @plugins.delegate("topic", m)
+      m.info_or_set = :info
+      @plugins.irc_delegate("topic", m)
     }
     @client[:names] = proc { |data|
-      @plugins.delegate "names", data[:channel], data[:users]
+      m = NamesMessage.new(self, server, server, data[:channel])
+      m.users = data[:users]
+      @plugins.delegate "names", m
+    }
+    @client[:banlist] = proc { |data|
+      m = BanlistMessage.new(self, server, server, data[:channel])
+      m.bans = data[:bans]
+      @plugins.delegate "banlist", m
+    }
+    @client[:nosuchtarget] = proc { |data|
+      m = NoSuchTargetMessage.new(self, server, server, data[:target], data[:message])
+      @plugins.delegate "nosuchtarget", m
+    }
+    @client[:error] = proc { |data|
+      raise ServerError, data[:message]
     }
     @client[:unknown] = proc { |data|
       #debug "UNKNOWN: #{data[:serverstring]}"
-      irclog data[:serverstring], ".unknown"
+      m = UnknownMessage.new(self, server, server, nil, data[:serverstring])
+      @plugins.delegate "unknown_message", m
     }
 
     set_default_send_options :newlines => @config['send.newlines'].to_sym,
@@ -632,17 +701,84 @@ class Bot
       :split_at => Regexp.new(@config['send.split_at']),
       :purge_split => @config['send.purge_split'],
       :truncate_text => @config['send.truncate_text'].dup
+
+    trap_signals
+  end
+
+  # Determine (if possible) a valid path to a CA certificate bundle. 
+  def default_ssl_ca_file
+    [ '/etc/ssl/certs/ca-certificates.crt', # Ubuntu/Debian
+      '/etc/ssl/certs/ca-bundle.crt', # Amazon Linux
+      '/etc/ssl/ca-bundle.pem', # OpenSUSE
+      '/etc/pki/tls/certs/ca-bundle.crt' # Fedora/RHEL
+    ].find do |file|
+      File.readable? file
+    end
+  end
+
+  def default_ssl_ca_path
+    file = default_ssl_ca_file
+    File.dirname file if file
+  end
+
+  # Determine if tokyocabinet is installed, if it is use it as a default.
+  def default_db
+    begin
+      require 'tokyocabinet'
+      return 'tc'
+    rescue LoadError
+      return 'dbm'
+    end
+  end
+
+  def repopulate_botclass_directory
+    template_dir = File.join Config::datadir, 'templates'
+    if FileTest.directory? @botclass
+      # compare the templates dir with the current botclass dir, filling up the
+      # latter with any missing file. Sadly, FileUtils.cp_r doesn't have an
+      # :update option, so we have to do it manually.
+      # Note that we use the */** pattern because we don't want to match
+      # keywords.rbot, which gets deleted on load and would therefore be missing
+      # always
+      missing = Dir.chdir(template_dir) { Dir.glob('*/**') } - Dir.chdir(@botclass) { Dir.glob('*/**') }
+      missing.map do |f|
+        dest = File.join(@botclass, f)
+        FileUtils.mkdir_p(File.dirname(dest))
+        FileUtils.cp File.join(template_dir, f), dest
+      end
+    else
+      log "no #{@botclass} directory found, creating from templates..."
+      if FileTest.exist? @botclass
+        error "file #{@botclass} exists but isn't a directory"
+        exit 2
+      end
+      FileUtils.cp_r template_dir, @botclass
+    end
+  end
+
+  # Return a path under the current botclass by joining the mentioned
+  # components. The components are automatically converted to String
+  def path(*components)
+    File.join(@botclass, *(components.map {|c| c.to_s}))
   end
 
   def setup_plugins_path
+    plugdir_default = File.join(Config::datadir, 'plugins')
+    plugdir_local = File.join(@botclass, 'plugins')
+    Dir.mkdir(plugdir_local) unless File.exist?(plugdir_local)
+
     @plugins.clear_botmodule_dirs
-    @plugins.add_botmodule_dir(Config::coredir + "/utils")
-    @plugins.add_botmodule_dir(Config::coredir)
-    @plugins.add_botmodule_dir("#{botclass}/plugins")
+    @plugins.add_core_module_dir(File.join(Config::coredir, 'utils'))
+    @plugins.add_core_module_dir(Config::coredir)
+    if FileTest.directory? plugdir_local
+      @plugins.add_plugin_dir(plugdir_local)
+    else
+      warning "local plugin location #{plugdir_local} is not a directory"
+    end
 
     @config['plugins.path'].each do |_|
-        path = _.sub(/^\(default\)/, Config::datadir + '/plugins')
-        @plugins.add_botmodule_dir(path)
+        path = _.sub(/^\(default\)/, plugdir_default)
+        @plugins.add_plugin_dir(path)
     end
   end
 
@@ -663,82 +799,147 @@ class Bot
       }
     end
     @default_send_options.update opts unless opts.empty?
-    end
+  end
 
   # checks if we should be quiet on a channel
   def quiet_on?(channel)
-    return @quiet.include?('*') || @quiet.include?(channel.downcase)
+    ch = channel.downcase
+    return (@quiet.include?('*') && !@not_quiet.include?(ch)) || @quiet.include?(ch)
   end
 
-  def set_quiet(channel)
+  def set_quiet(channel = nil)
     if channel
       ch = channel.downcase.dup
-      @quiet << ch unless @quiet.include?(ch)
+      @not_quiet.delete(ch)
+      @quiet << ch
     else
       @quiet.clear
+      @not_quiet.clear
       @quiet << '*'
     end
   end
 
-  def reset_quiet(channel)
+  def reset_quiet(channel = nil)
     if channel
-      @quiet.delete channel.downcase
+      ch = channel.downcase.dup
+      @quiet.delete(ch)
+      @not_quiet << ch
     else
       @quiet.clear
+      @not_quiet.clear
     end
   end
 
   # things to do when we receive a signal
-  def got_sig(sig)
-    debug "received #{sig}, queueing quit"
-    $interrupted += 1
-    quit unless @quit_mutex.locked?
+  def handle_signal(sig)
+    func = case sig
+           when 'SIGHUP'
+             :restart
+           when 'SIGUSR1'
+             :reconnect
+           else
+             :quit
+           end
+    debug "received #{sig}, queueing #{func}"
+    # this is not an interruption if we just need to reconnect
+    $interrupted += 1 unless func == :reconnect
+    self.send(func) unless @quit_mutex.locked?
     debug "interrupted #{$interrupted} times"
     if $interrupted >= 3
       debug "drastic!"
-      log_session_end
       exit 2
     end
   end
 
-  # connect the bot to IRC
-  def connect
+  # trap signals
+  def trap_signals
     begin
-      trap("SIGINT") { got_sig("SIGINT") }
-      trap("SIGTERM") { got_sig("SIGTERM") }
-      trap("SIGHUP") { got_sig("SIGHUP") }
+      %w(SIGINT SIGTERM SIGHUP SIGUSR1).each do |sig|
+        trap(sig) { Thread.new { handle_signal sig } }
+      end
     rescue ArgumentError => e
-      debug "failed to trap signals (#{e.inspect}): running on Windows?"
-    rescue => e
-      debug "failed to trap signals: #{e.inspect}"
+      debug "failed to trap signals (#{e.pretty_inspect}): running on Windows?"
+    rescue Exception => e
+      debug "failed to trap signals: #{e.pretty_inspect}"
     end
+  end
+
+  # connect the bot to IRC
+  def connect
+    # make sure we don't have any spurious ping checks running
+    # (and initialize the vars if this is the first time we connect)
+    stop_server_pings
     begin
       quit if $interrupted > 0
       @socket.connect
-    rescue => e
-      raise e.class, "failed to connect to IRC server at #{@config['server.name']} #{@config['server.port']}: " + e
+      @last_rec = Time.now
+    rescue Exception => e
+      uri = @socket.server_uri || '<unknown>'
+      error "failed to connect to IRC server at #{uri}"
+      error e
+      raise
     end
     quit if $interrupted > 0
 
     realname = @config['irc.name'].clone || 'Ruby bot'
-    realname << ' ' + COPYRIGHT_NOTICE if @config['irc.name_copyright'] 
+    realname << ' ' + COPYRIGHT_NOTICE if @config['irc.name_copyright']
 
     @socket.emergency_puts "PASS " + @config['server.password'] if @config['server.password']
-    @socket.emergency_puts "NICK #{@config['irc.nick']}\nUSER #{@config['irc.user']} 4 #{@config['server.name']} :#{realname}"
+    @socket.emergency_puts "NICK #{@config['irc.nick']}\nUSER #{@config['irc.user']} 4 #{@socket.server_uri.host} :#{realname}"
     quit if $interrupted > 0
     myself.nick = @config['irc.nick']
     myself.user = @config['irc.user']
   end
 
+  # disconnect the bot from IRC, if connected, and then connect (again)
+  def reconnect(message=nil, too_fast=0)
+    # we will wait only if @last_rec was not nil, i.e. if we were connected or
+    # got disconnected by a network error
+    # if someone wants to manually call disconnect() _and_ reconnect(), they
+    # will have to take care of the waiting themselves
+    will_wait = !!@last_rec
+
+    if @socket.connected?
+      disconnect(message)
+    end
+
+    begin
+      if will_wait
+        log "\n\nDisconnected\n\n"
+
+        quit if $interrupted > 0
+
+        log "\n\nWaiting to reconnect\n\n"
+        sleep @config['server.reconnect_wait']
+        if too_fast > 0
+          tf = too_fast*@config['server.reconnect_wait']
+          tfu = Utils.secs_to_string(tf)
+          log "Will sleep for an extra #{tf}s (#{tfu})"
+          sleep tf
+        end
+      end
+
+      connect
+    rescue SystemExit
+      exit 0
+    rescue Exception => e
+      error e
+      will_wait = true
+      retry
+    end
+  end
+
   # begin event handling loop
   def mainloop
-    while true
+    @keep_looping = true
+    while @keep_looping
+      too_fast = 0
+      quit_msg = nil
+      valid_recv = false # did we receive anything (valid) from the server yet?
       begin
+        reconnect(quit_msg, too_fast)
         quit if $interrupted > 0
-        connect
-        @timer.start
-
-        quit_msg = nil
+        valid_recv = false
         while @socket.connected?
           quit if $interrupted > 0
 
@@ -750,6 +951,8 @@ class Bot
             break unless reply = @socket.gets
             @last_rec = Time.now
             @client.process reply
+            valid_recv = true
+            too_fast = 0
           else
             ping_server
           end
@@ -759,39 +962,52 @@ class Bot
       # exceptions that ARENT SocketError's. How am I supposed to handle
       # that?
       rescue SystemExit
-        log_session_end
-        exit 0
+        @keep_looping = false
+        break
       rescue Errno::ETIMEDOUT, Errno::ECONNABORTED, TimeoutError, SocketError => e
-        error "network exception: #{e.class}: #{e}"
-        debug e.backtrace.join("\n")
+        error "network exception: #{e.pretty_inspect}"
         quit_msg = e.to_s
-      rescue BDB::Fatal => e
-        fatal "fatal bdb error: #{e.class}: #{e}"
-        fatal e.backtrace.join("\n")
-        DBTree.stats
-        # Why restart? DB problems are serious stuff ...
-        # restart("Oops, we seem to have registry problems ...")
-        log_session_end
-        exit 2
+        too_fast += 10 if valid_recv
+      rescue ServerMessageParseError => e
+        # if the bot tried reconnecting too often, we can get forcefully
+        # disconnected by the server, while still receiving an empty message
+        # wait at least 10 minutes in this case
+        if e.message.empty?
+          oldtf = too_fast
+          too_fast = [too_fast, 300].max
+          too_fast*= 2
+          log "Empty message from server, extra delay multiplier #{oldtf} -> #{too_fast}"
+        end
+        quit_msg = "Unparseable Server Message: #{e.message.inspect}"
+        retry
+      rescue ServerError => e
+        quit_msg = "server ERROR: " + e.message
+        debug quit_msg
+        idx = e.message.index("connect too fast")
+        debug "'connect too fast' @ #{idx}"
+        if idx
+          oldtf = too_fast
+          too_fast += (idx+1)*2
+          log "Reconnecting too fast, extra delay multiplier #{oldtf} -> #{too_fast}"
+        end
+        idx = e.message.index(/a(uto)kill/i)
+        debug "'autokill' @ #{idx}"
+        if idx
+          # we got auto-killed. since we don't have an easy way to tell
+          # if it's permanent or temporary, we just set a rather high
+          # reconnection timeout
+          oldtf = too_fast
+          too_fast += (idx+1)*5
+          log "Killed by server, extra delay multiplier #{oldtf} -> #{too_fast}"
+        end
+        retry
       rescue Exception => e
-        error "non-net exception: #{e.class}: #{e}"
-        error e.backtrace.join("\n")
+        error "non-net exception: #{e.pretty_inspect}"
         quit_msg = e.to_s
       rescue => e
-        fatal "unexpected exception: #{e.class}: #{e}"
-        fatal e.backtrace.join("\n")
-        log_session_end
+        fatal "unexpected exception: #{e.pretty_inspect}"
         exit 2
       end
-
-      disconnect(quit_msg)
-
-      log "\n\nDisconnected\n\n"
-
-      quit if $interrupted > 0
-
-      log "\n\nWaiting to reconnect\n\n"
-      sleep @config['server.reconnect_wait']
     end
   end
 
@@ -802,8 +1018,28 @@ class Bot
   # Type can be PRIVMSG, NOTICE, etc, but those you should really use the
   # relevant say() or notice() methods. This one should be used for IRCd
   # extensions you want to use in modules.
-  def sendmsg(type, where, original_message, options={})
-    opts = @default_send_options.merge(options)
+  def sendmsg(original_type, original_where, original_message, options={})
+
+    # filter message with sendmsg filters
+    ds = DataStream.new original_message.to_s.dup,
+      :type => original_type, :dest => original_where,
+      :options => @default_send_options.merge(options)
+    filters = filter_names(:sendmsg)
+    filters.each do |fname|
+      debug "filtering #{ds[:text]} with sendmsg filter #{fname}"
+      ds.merge! filter(self.global_filter_name(fname, :sendmsg), ds)
+    end
+
+    opts = ds[:options]
+    type = ds[:type]
+    where = ds[:dest]
+    filtered = ds[:text]
+
+    if defined? WebServiceUser and where.instance_of? WebServiceUser
+      debug 'sendmsg to web service!'
+      where.response << filtered
+      return
+    end
 
     # For starters, set up appropriate queue channels and rings
     mchan = opts[:queue_channel]
@@ -824,16 +1060,22 @@ class Bot
       end
     end
 
-    message = original_message.to_s.gsub(/[\r\n]+/, "\n")
+    multi_line = filtered.gsub(/[\r\n]+/, "\n")
+
+    # if target is a channel with nocolor modes, strip colours
+    if where.kind_of?(Channel) and where.mode.any?(*config['server.nocolor_modes'])
+      multi_line.replace BasicUserMessage.strip_formatting(multi_line)
+    end
+
+    messages = Array.new
     case opts[:newlines]
     when :join
-      lines = [message.gsub("\n", opts[:join_with])]
+      messages << [multi_line.gsub("\n", opts[:join_with])]
     when :split
-      lines = Array.new
-      message.each_line { |line|
+      multi_line.each_line { |line|
         line.chomp!
         next unless(line.size > 0)
-        lines << line
+        messages << line
       }
     else
       raise "Unknown :newlines option #{opts[:newlines]} while sending #{original_message.inspect}"
@@ -862,56 +1104,47 @@ class Bot
     # And this is what's left
     left = max_len - fixed.size
 
-    case opts[:overlong]
-    when :split
-      truncate = false
-      split_at = opts[:split_at]
-    when :truncate
-      truncate = opts[:truncate_text]
-      truncate = @default_send_options[:truncate_text] if truncate.size > left
-      truncate = "" if truncate.size > left
+    truncate = opts[:truncate_text]
+    truncate = @default_send_options[:truncate_text] if truncate.size > left
+    truncate = "" if truncate.size > left
+
+    all_lines = messages.map { |line|
+      if line.size < left
+        line
+      else
+        case opts[:overlong]
+        when :split
+          msg = line.dup
+          sub_lines = Array.new
+          begin
+            sub_lines << msg.slice!(0, left)
+            break if msg.empty?
+            lastspace = sub_lines.last.rindex(opts[:split_at])
+            if lastspace
+              msg.replace sub_lines.last.slice!(lastspace, sub_lines.last.size) + msg
+              msg.gsub!(/^#{opts[:split_at]}/, "") if opts[:purge_split]
+            end
+          end until msg.empty?
+          sub_lines
+        when :truncate
+          line.slice(0, left - truncate.size) << truncate
+        else
+          raise "Unknown :overlong option #{opts[:overlong]} while sending #{original_message.inspect}"
+        end
+      end
+    }.flatten
+
+    if opts[:max_lines] > 0 and all_lines.length > opts[:max_lines]
+      lines = all_lines[0...opts[:max_lines]]
+      new_last = lines.last.slice(0, left - truncate.size) << truncate
+      lines.last.replace(new_last)
     else
-      raise "Unknown :overlong option #{opts[:overlong]} while sending #{original_message.inspect}"
+      lines = all_lines
     end
 
-    # Counter to check the number of lines sent by this command
-    cmd_lines = 0
-    max_lines = opts[:max_lines]
-    maxed = false
-    line = String.new
-    lines.each { |msg|
-      begin
-        if max_lines > 0 and cmd_lines == max_lines - 1
-          truncate = opts[:truncate_text]
-          truncate = @default_send_options[:truncate_text] if truncate.size > left
-          truncate = "" if truncate.size > left
-          maxed = true
-        end
-        if(left >= msg.size) and not maxed
-          sendq "#{fixed}#{msg}", chan, ring
-          log_sent(type, where, msg)
-          cmd_lines += 1
-          break
-        end
-        if truncate
-          line.replace msg.slice(0, left-truncate.size)
-          # line.sub!(/\s+\S*$/, truncate)
-          line << truncate
-          raise "PROGRAMMER ERROR! #{line.inspect} of size #{line.size} > #{left}" if line.size > left
-          sendq "#{fixed}#{line}", chan, ring
-          log_sent(type, where, line)
-          return
-        end
-        line.replace msg.slice!(0, left)
-        lastspace = line.rindex(opts[:split_at])
-        if(lastspace)
-          msg.replace line.slice!(lastspace, line.size) + msg
-          msg.gsub!(/^#{opts[:split_at]}/, "") if opts[:purge_split]
-        end
-        sendq "#{fixed}#{line}", chan, ring
-        log_sent(type, where, line)
-        cmd_lines += 1
-      end while(msg.size > 0)
+    lines.each { |line|
+      sendq "#{fixed}#{line}", chan, ring
+      delegate_sent(type, where, line)
     }
   end
 
@@ -933,34 +1166,19 @@ class Bot
     sendmsg "PRIVMSG", where, message, options
   end
 
+  def ctcp_notice(where, command, message, options={})
+    return if where.kind_of?(Channel) and quiet_on?(where)
+    sendmsg "NOTICE", where, "\001#{command} #{message}\001", options
+  end
+
+  def ctcp_say(where, command, message, options={})
+    return if where.kind_of?(Channel) and quiet_on?(where)
+    sendmsg "PRIVMSG", where, "\001#{command} #{message}\001", options
+  end
+
   # perform a CTCP action with message +message+ to channel/nick +where+
   def action(where, message, options={})
-    return if where.kind_of?(Channel) and quiet_on?(where)
-    mchan = options.fetch(:queue_channel, nil)
-    mring = options.fetch(:queue_ring, nil)
-    if mchan
-      chan = mchan
-    else
-      chan = where
-    end
-    if mring
-      ring = mring
-    else
-      case where
-      when User
-        ring = 1
-      else
-        ring = 2
-      end
-    end
-    # FIXME doesn't check message length. Can we make this exploit sendmsg?
-    sendq "PRIVMSG #{where} :\001ACTION #{message}\001", chan, ring
-    case where
-    when Channel
-      irclog "* #{myself} #{message}", where
-    else
-      irclog "* #{myself}[#{where}] #{message}", where
-    end
+    ctcp_say(where, 'ACTION', message, options)
   end
 
   # quick way to say "okay" (or equivalent) to +where+
@@ -968,53 +1186,43 @@ class Bot
     say where, @lang.get("okay")
   end
 
-  # log IRC-related message +message+ to a file determined by +where+.
-  # +where+ can be a channel name, or a nick for private message logging
-  def irclog(message, where="server")
-    message = message.chomp
-    stamp = Time.now.strftime("%Y/%m/%d %H:%M:%S")
-    if where.class <= Server
-      where_str = "server"
+  # set topic of channel +where+ to +topic+
+  # can also be used to retrieve the topic of channel +where+
+  # by omitting the last argument
+  def topic(where, topic=nil)
+    if topic.nil?
+      sendq "TOPIC #{where}", where, 2
     else
-      where_str = where.downcase.gsub(/[:!?$*()\/\\<>|"']/, "_")
+      sendq "TOPIC #{where} :#{topic}", where, 2
     end
-    unless(@logs.has_key?(where_str))
-      @logs[where_str] = File.new("#{@botclass}/logs/#{where_str}", "a")
-      @logs[where_str].sync = true
-    end
-    @logs[where_str].puts "[#{stamp}] #{message}"
-    #debug "[#{stamp}] <#{where}> #{message}"
-  end
-
-  # set topic of channel +where+ to +topic+
-  def topic(where, topic)
-    sendq "TOPIC #{where} :#{topic}", where, 2
   end
 
-  def disconnect(message = nil)
-    message = @lang.get("quit") if (message.nil? || message.empty?)
+  def disconnect(message=nil)
+    message = @lang.get("quit") if (!message || message.empty?)
     if @socket.connected?
-      debug "Clearing socket"
-      @socket.clearq
-      debug "Sending quit message"
-      @socket.emergency_puts "QUIT :#{message}"
-      debug "Flushing socket"
-      @socket.flush
+      begin
+        debug "Clearing socket"
+        @socket.clearq
+        debug "Sending quit message"
+        @socket.emergency_puts "QUIT :#{message}"
+        debug "Logging quits"
+        delegate_sent('QUIT', myself, message)
+        debug "Flushing socket"
+        @socket.flush
+      rescue SocketError => e
+        error "error while disconnecting socket: #{e.pretty_inspect}"
+      end
       debug "Shutting down socket"
       @socket.shutdown
     end
-    debug "Logging quits"
-    server.channels.each { |ch|
-      irclog "@ quit (#{message})", ch
-    }
     stop_server_pings
     @client.reset
   end
 
   # disconnect from the server and cleanup all plugins and modules
-  def shutdown(message = nil)
+  def shutdown(message=nil)
     @quit_mutex.synchronize do
-      debug "Shutting down ..."
+      debug "Shutting down: #{message}"
       ## No we don't restore them ... let everything run through
       # begin
       #   trap("SIGINT", "DEFAULT")
@@ -1023,17 +1231,25 @@ class Bot
       # rescue => e
       #   debug "failed to restore signals: #{e.inspect}\nProbably running on windows?"
       # end
-      disconnect
-      debug "Saving"
+      debug "\tdisconnecting..."
+      disconnect(message)
+      debug "\tstopping timer..."
+      @timer.stop
+      debug "\tsaving ..."
       save
-      debug "Cleaning up"
+      debug "\tcleaning up ..."
       @save_mutex.synchronize do
-        @plugins.cleanup
+        begin
+          @plugins.cleanup
+        rescue
+          debug "\tignoring cleanup error: #{$!}"
+        end
       end
+      @httputil.cleanup
+      # debug "\tstopping timers ..."
+      # @timer.stop
       # debug "Closing registries"
       # @registry.close
-      debug "Cleaning up the db environment"
-      DBTree.cleanup_env
       log "rbot quit (#{message})"
     end
   end
@@ -1044,34 +1260,57 @@ class Bot
     begin
       shutdown(message)
     ensure
-      exit 0
+      @keep_looping = false
     end
   end
 
   # totally shutdown and respawn the bot
-  def restart(message = false)
-    msg = message ? message : "restarting, back in #{@config['server.reconnect_wait']}..."
-    shutdown(msg)
+  def restart(message=nil)
+    message = _("restarting, back in %{wait}...") % {
+      :wait => @config['server.reconnect_wait']
+    } if (!message || message.empty?)
+    shutdown(message)
+
+    Irc::Bot::LoggerManager.instance.flush
+    Irc::Bot::LoggerManager.instance.log_session_end
+
     sleep @config['server.reconnect_wait']
-    # now we re-exec
-    # Note, this fails on Windows
-    exec($0, *@argv)
+    begin
+      # now we re-exec
+      # Note, this fails on Windows
+      debug "going to exec #{$0} #{@argv.inspect} from #{@run_dir}"
+      Dir.chdir(@run_dir)
+      exec($0, *@argv)
+    rescue Errno::ENOENT
+      exec("ruby", *(@argv.unshift $0))
+    rescue Exception => e
+      $interrupted += 1
+      raise e
+    end
   end
 
-  # call the save method for all of the botmodules
-  def save
+  # call the save method for all or the specified botmodule
+  #
+  # :botmodule ::
+  #   optional botmodule to save
+  def save(botmodule=nil)
     @save_mutex.synchronize do
-      @plugins.save
-      DBTree.cleanup_logs
+      @plugins.save(botmodule)
     end
   end
 
-  # call the rescan method for all of the botmodules
-  def rescan
+  # call the rescan method for all or just the specified botmodule
+  #
+  # :botmodule ::
+  #   instance of the botmodule to rescan
+  def rescan(botmodule=nil)
+    debug "\tstopping timer..."
+    @timer.stop
     @save_mutex.synchronize do
-      @lang.rescan
-      @plugins.rescan
+      @lang.rescan
+      @plugins.rescan(botmodule)
     end
+    @timer.start
   end
 
   # channel:: channel to join
@@ -1096,10 +1335,15 @@ class Bot
   end
 
   # changing mode
-  def mode(channel, mode, target)
+  def mode(channel, mode, target=nil)
     sendq "MODE #{channel} #{mode} #{target}", channel, 2
   end
 
+  # asking whois
+  def whois(nick, target=nil)
+    sendq "WHOIS #{target} #{nick}", nil, 0
+  end
+
   # kicking a user
   def kick(channel, user, msg)
     sendq "KICK #{channel} #{user} :#{msg}", channel, 2
@@ -1112,12 +1356,12 @@ class Bot
     topic = nil if topic == ""
     case topic
     when nil
-      helpstr = "help topics: "
+      helpstr = _("help topics: ")
       helpstr += @plugins.helptopics
-      helpstr += " (help <topic> for more info)"
+      helpstr += _(" (help <topic> for more info)")
     else
       unless(helpstr = @plugins.help(topic))
-        helpstr = "no help for topic #{topic}"
+        helpstr = _("no help for topic %{topic}") % { :topic => topic }
       end
     end
     return helpstr
@@ -1128,7 +1372,11 @@ class Bot
     secs_up = Time.new - @startup_time
     uptime = Utils.secs_to_string secs_up
     # return "Uptime #{uptime}, #{@plugins.length} plugins active, #{@registry.length} items stored in registry, #{@socket.lines_sent} lines sent, #{@socket.lines_received} received."
-    return "Uptime #{uptime}, #{@plugins.length} plugins active, #{@socket.lines_sent} lines sent, #{@socket.lines_received} received."
+    return (_("Uptime %{up}, %{plug} plugins active, %{sent} lines sent, %{recv} received.") %
+             {
+               :up => uptime, :plug => @plugins.length,
+               :sent => @socket.lines_sent, :recv => @socket.lines_received
+             })
   end
 
   # We want to respond to a hung server in a timely manner. If nothing was received
@@ -1163,75 +1411,19 @@ class Bot
 
   private
 
-  def irclogprivmsg(m)
-    if(m.action?)
-      if(m.private?)
-        irclog "* [#{m.source}(#{m.sourceaddress})] #{m.message}", m.source
-      else
-        irclog "* #{m.source} #{m.message}", m.target
-      end
-    else
-      if(m.public?)
-        irclog "<#{m.source}> #{m.message}", m.target
-      else
-        irclog "[#{m.source}(#{m.sourceaddress})] #{m.message}", m.source
-      end
-    end
-  end
-
-  # log a message. Internal use only.
-  def log_sent(type, where, message)
+  # delegate sent messages
+  def delegate_sent(type, where, message)
+    args = [self, server, myself, server.user_or_channel(where.to_s), message]
     case type
       when "NOTICE"
-        case where
-        when Channel
-          irclog "-=#{myself}=- #{message}", where
-        else
-          irclog "[-=#{where}=-] #{message}", where
-        end
+        m = NoticeMessage.new(*args)
       when "PRIVMSG"
-        case where
-        when Channel
-          irclog "<#{myself}> #{message}", where
-        else
-          irclog "[msg(#{where})] #{message}", where
-        end
-    end
-  end
-
-  def irclogjoin(m)
-    if m.address?
-      debug "joined channel #{m.channel}"
-      irclog "@ Joined channel #{m.channel}", m.channel
-    else
-      irclog "@ #{m.source} joined channel #{m.channel}", m.channel
-    end
-  end
-
-  def irclogpart(m)
-    if(m.address?)
-      debug "left channel #{m.channel}"
-      irclog "@ Left channel #{m.channel} (#{m.message})", m.channel
-    else
-      irclog "@ #{m.source} left channel #{m.channel} (#{m.message})", m.channel
-    end
-  end
-
-  def irclogkick(m)
-    if(m.address?)
-      debug "kicked from channel #{m.channel}"
-      irclog "@ You have been kicked from #{m.channel} by #{m.source} (#{m.message})", m.channel
-    else
-      irclog "@ #{m.target} has been kicked from #{m.channel} by #{m.source} (#{m.message})", m.channel
-    end
-  end
-
-  def irclogtopic(m)
-    if m.source == myself
-      irclog "@ I set topic \"#{m.topic}\"", m.channel
-    else
-      irclog "@ #{m.source} set topic \"#{m.topic}\"", m.channel
+        m = PrivMessage.new(*args)
+      when "QUIT"
+        m = QuitMessage.new(*args)
+        m.was_on = myself.channels
     end
+    @plugins.delegate('sent', m)
   end
 
 end