lib/rbot/messagemapper.rb

   1 # First of all we add a method to the Regexp class
   2 class Regexp
   3
   4   # a Regexp has captures when its source has open parenthesis which are
   5   # preceded by an even number of slashes and not followed by a question mark
   6   #
   7   def has_captures?
   8     self.source.match(/(?:^|[^\\])(?:\\\\)*\([^?]/)
   9   end
  10
  11   # We may want to remove captures
  12   def remove_captures
  13     new = self.source.gsub(/(^|[^\\])((?:\\\\)*)\(([^?])/) {
  14       "%s%s(?:%s" % [$1, $2, $3]
  15     }
  16     Regexp.new(new)
  17   end
  18 end
  19
  20 module Irc
  21 class Bot
  22
  23   # MessageMapper is a class designed to reduce the amount of regexps and
  24   # string parsing plugins and bot modules need to do, in order to process
  25   # and respond to messages.
  26   #
  27   # You add templates to the MessageMapper which are examined by the handle
  28   # method when handling a message. The templates tell the mapper which
  29   # method in its parent class (your class) to invoke for that message. The
  30   # string is split, optionally defaulted and validated before being passed
  31   # to the matched method.
  32   #
  33   # A template such as "foo :option :otheroption" will match the string "foo
  34   # bar baz" and, by default, result in method +foo+ being called, if
  35   # present, in the parent class. It will receive two parameters, the
  36   # message (derived from BasicUserMessage) and a Hash containing
  37   #   {:option => "bar", :otheroption => "baz"}
  38   # See the #map method for more details.
  39   class MessageMapper
  40     # used to set the method name used as a fallback for unmatched messages.
  41     # The default fallback is a method called "usage".
  42     attr_writer :fallback
  43
  44     # _parent_::   parent class which will receive mapped messages
  45     #
  46     # Create a new MessageMapper with parent class _parent_. This class will
  47     # receive messages from the mapper via the handle() method.
  48     def initialize(parent)
  49       @parent = parent
  50       @templates = Array.new
  51       @fallback = :usage
  52     end
  53
  54     # call-seq: map(botmodule, template, options)
  55     #
  56     # _botmodule_:: the BotModule which will handle this map
  57     # _template_::  a String describing the messages to be matched
  58     # _options_::   a Hash holding variouns options
  59     #
  60     # This method is used to register a new MessageTemplate that will map any
  61     # BasicUserMessage matching the given _template_ to a corresponding action.
  62     # A simple example:
  63     #   plugin.map 'myplugin :parameter'
  64     # (other examples follow).
  65     #
  66     # By default, the action to which the messages are mapped is a method named
  67     # like the first word of the template. The
  68     #   :action => 'method_name'
  69     # option can be used to override this default behaviour. Example:
  70     #   plugin.map 'myplugin :parameter', :action => 'mymethod'
  71     #
  72     # By default whether a handler is fired depends on an auth check. In rbot
  73     # versions up to 0.9.10, the first component of the string was used for the
  74     # auth check, unless overridden via the :auth => 'auth_name' option. Since
  75     # version 0.9.11, a new auth method has been implemented. TODO document.
  76     #
  77     # Static parameters (not prefixed with ':' or '*') must match the
  78     # respective component of the message exactly. Example:
  79     #   plugin.map 'myplugin :foo is :bar'
  80     # will only match messages of the form "myplugin something is
  81     # somethingelse"
  82     #
  83     # Dynamic parameters can be specified by a colon ':' to match a single
  84     # component (whitespace separated), or a * to suck up all following
  85     # parameters into an array. Example:
  86     #   plugin.map 'myplugin :parameter1 *rest'
  87     #
  88     # You can provide defaults for dynamic components using the :defaults
  89     # parameter. If a component has a default, then it is optional. e.g:
  90     #   plugin.map 'myplugin :foo :bar', :defaults => {:bar => 'qux'}
  91     # would match 'myplugin param param2' and also 'myplugin param'. In the
  92     # latter case, :bar would be provided from the default.
  93     #
  94     # Static and dynamic parameters can also be made optional by wrapping them
  95     # in square brackets []. For example
  96     #   plugin.map 'myplugin :foo [is] :bar'
  97     # will match both 'myplugin something is somethingelse' and 'myplugin
  98     # something somethingelse'.
  99     #
 100     # Components can be validated before being allowed to match, for
 101     # example if you need a component to be a number:
 102     #   plugin.map 'myplugin :param', :requirements => {:param => /^\d+$/}
 103     # will only match strings of the form 'myplugin 1234' or some other
 104     # number.
 105     #
 106     # Templates can be set not to match public or private messages using the
 107     # :public or :private boolean options.
 108     #
 109     # Summary of recognized options:
 110     #
 111     # action::
 112     #   method to call when the template is matched
 113     # auth_path::
 114     #   TODO document
 115     # requirements::
 116     #   a Hash whose keys are names of dynamic parameters and whose values are
 117     #   regular expressions that the parameters must match
 118     # defaults::
 119     #   a Hash whose keys are names of dynamic parameters and whose values are
 120     #   the values to be assigned to those parameters when they are missing from
 121     #   the message. Any dynamic parameter appearing in the :defaults Hash is
 122     #   therefore optional
 123     # public::
 124     #   a boolean (defaults to true) that determines whether the template should
 125     #   match public (in channel) messages.
 126     # private::
 127     #   a boolean (defaults to true) that determines whether the template should
 128     #   match private (not in channel) messages.
 129     # threaded::
 130     #   a boolean (defaults to false) that determines whether the action should be
 131     #   called in a separate thread.
 132     #
 133     #
 134     # Further examples:
 135     #
 136     #   # match 'karmastats' and call my stats() method
 137     #   plugin.map 'karmastats', :action => 'stats'
 138     #   # match 'karma' with an optional 'key' and call my karma() method
 139     #   plugin.map 'karma :key', :defaults => {:key => false}
 140     #   # match 'karma for something' and call my karma() method
 141     #   plugin.map 'karma for :key'
 142     #
 143     #   # two matches, one for public messages in a channel, one for
 144     #   # private messages which therefore require a channel argument
 145     #   plugin.map 'urls search :channel :limit :string',
 146     #             :action => 'search',
 147     #             :defaults => {:limit => 4},
 148     #             :requirements => {:limit => /^\d+$/},
 149     #             :public => false
 150     #   plugin.map 'urls search :limit :string',
 151     #             :action => 'search',
 152     #             :defaults => {:limit => 4},
 153     #             :requirements => {:limit => /^\d+$/},
 154     #             :private => false
 155     #
 156     def map(botmodule, *args)
 157       @templates << MessageTemplate.new(botmodule, *args)
 158     end
 159
 160     # Iterate over each MessageTemplate handled.
 161     def each
 162       @templates.each {|tmpl| yield tmpl}
 163     end
 164
 165     # Return the last added MessageTemplate
 166     def last
 167       @templates.last
 168     end
 169
 170     # _m_::  derived from BasicUserMessage
 171     #
 172     # Examine the message _m_, comparing it with each map()'d template to
 173     # find and process a match. Templates are examined in the order they
 174     # were map()'d - first match wins.
 175     #
 176     # Returns +true+ if a match is found including fallbacks, +false+
 177     # otherwise.
 178     def handle(m)
 179       return false if @templates.empty?
 180       failures = []
 181       @templates.each do |tmpl|
 182         options, failure = tmpl.recognize(m)
 183         if options.nil?
 184           failures << [tmpl, failure]
 185         else
 186           action = tmpl.options[:action]
 187           unless @parent.respond_to?(action)
 188             failures << [tmpl, "class does not respond to action #{action}"]
 189             next
 190           end
 191           auth = tmpl.options[:full_auth_path]
 192           debug "checking auth for #{auth}"
 193           if m.bot.auth.allow?(auth, m.source, m.replyto)
 194             debug "template match found and auth'd: #{action.inspect} #{options.inspect}"
 195             if tmpl.options[:thread] || tmpl.options[:threaded]
 196               Thread.new { @parent.send(action, m, options) }
 197             else
 198               @parent.send(action, m, options)
 199             end
 200
 201             return true
 202           end
 203           debug "auth failed for #{auth}"
 204           # if it's just an auth failure but otherwise the match is good,
 205           # don't try any more handlers
 206           return false
 207         end
 208       end
 209       failures.each {|f, r|
 210         debug "#{f.inspect} => #{r}"
 211       }
 212       debug "no handler found, trying fallback"
 213       if @fallback && @parent.respond_to?(@fallback)
 214         if m.bot.auth.allow?(@fallback, m.source, m.replyto)
 215           @parent.send(@fallback, m, {})
 216           return true
 217         end
 218       end
 219       return false
 220     end
 221
 222   end
 223
 224   # MessageParameter is a class that collects all the necessary information
 225   # about a message (dynamic) parameter (the :param or *param that can be found
 226   # in a #map).
 227   #
 228   # It has a +name+ attribute, +multi+ and +optional+ booleans that tell if the
 229   # parameter collects more than one word, and if it's optional (respectively).
 230   # In the latter case, it can also have a default value.
 231   #
 232   # It is possible to assign a collector to a MessageParameter. This can be either
 233   # a Regexp with captures or an Array or a Hash. The collector defines what the
 234   # collect() method is supposed to return.
 235   class MessageParameter
 236     attr_reader :name
 237     attr_writer :multi
 238     attr_writer :optional
 239     attr_accessor :default
 240
 241     def initialize(name)
 242       self.name = name
 243       @multi = false
 244       @optional = false
 245       @default = nil
 246       @regexp = nil
 247       @index = nil
 248     end
 249
 250     def name=(val)
 251       @name = val.to_sym
 252     end
 253
 254     def multi?
 255       @multi
 256     end
 257
 258     def optional?
 259       @optional
 260     end
 261
 262     # This method is used to turn a matched item into the actual parameter value.
 263     # It only does something when collector= set the @regexp to something. In
 264     # this case, _val_ is matched against @regexp and then the match result
 265     # specified in @index is selected. As a special case, when @index is nil
 266     # the first non-nil captured group is returned.
 267     def collect(val)
 268       return val unless @regexp
 269       mdata = @regexp.match(val)
 270       if @index
 271         return mdata[@index]
 272       else
 273         return mdata[1..-1].compact.first
 274       end
 275     end
 276
 277     # This method allow the plugin programmer to choose to only pick a subset of the
 278     # string matched by a parameter. This is done by passing the collector=()
 279     # method either a Regexp with captures or an Array or a Hash.
 280     #
 281     # When the method is passed a Regexp with captures, the collect() method will
 282     # return the first non-nil captured group.
 283     #
 284     # When the method is passed an Array, it will grab a regexp from the first
 285     # element, and possibly an index from the second element. The index can
 286     # also be nil.
 287     #
 288     # When the method is passed a Hash, it will grab a regexp from the :regexp
 289     # element, and possibly an index from the :index element. The index can
 290     # also be nil.
 291     def collector=(val)
 292       return unless val
 293       case val
 294       when Regexp
 295         return unless val.has_captures?
 296         @regexp = val
 297       when Array
 298         warning "Collector #{val.inspect} is too long, ignoring extra entries" unless val.length <= 2
 299         @regexp = val[0]
 300         @index = val[1] rescue nil
 301       when Hash
 302         raise "Collector #{val.inspect} doesn't have a :regexp key" unless val.has_key?(:regexp)
 303         @regexp = val[:regexp]
 304         @index = val.fetch(:regexp, nil)
 305       end
 306       raise "The regexp of collector #{val.inspect} isn't a Regexp" unless @regexp.kind_of?(Regexp)
 307       raise "The index of collector #{val.inspect} is present but not an integer " if @index and not @index.kind_of?(Fixnum)
 308     end
 309
 310     def inspect
 311       mul = multi? ? " multi" : " single"
 312       opt = optional? ? " optional" : " needed"
 313       if @regexp
 314         reg = " regexp=%s index=%d" % [@regexp, @index]
 315       else
 316         reg = nil
 317       end
 318       "<%s %s%s%s%s>" % [self.class, name, mul, opt, reg]
 319     end
 320   end
 321
 322   # MessageTemplate is the class that holds the actual message template map()'d
 323   # by a BotModule and handled by a MessageMapper
 324   #
 325   class MessageTemplate
 326     attr_reader :defaults  # the defaults hash
 327     attr_reader :options   # the options hash
 328     attr_reader :template  # the actual template string
 329     attr_reader :items     # the collection of dynamic and static items in the template
 330     attr_reader :regexp    # the Regexp corresponding to the template
 331     attr_reader :botmodule # the BotModule that map()'d this MessageTemplate
 332
 333     # call-seq: initialize(botmodule, template, opts={})
 334     #
 335     # Create a new MessageTemplate associated to BotModule _botmodule_, with
 336     # template _template_ and options _opts_
 337     #
 338     def initialize(botmodule, template, hash={})
 339       raise ArgumentError, "Third argument must be a hash!" unless hash.kind_of?(Hash)
 340       @defaults = hash[:defaults].kind_of?(Hash) ? hash.delete(:defaults) : {}
 341       @requirements = hash[:requirements].kind_of?(Hash) ? hash.delete(:requirements) : {}
 342       @template = template
 343       case botmodule
 344       when String
 345         @botmodule = botmodule
 346       when Plugins::BotModule
 347         @botmodule = botmodule.name
 348       else
 349         raise ArgumentError, "#{botmodule.inspect} is not a botmodule nor a botmodule name"
 350       end
 351
 352       self.items = template
 353       # @dyn_items is an array of MessageParameters, except for the first entry
 354       # which is the template
 355       @dyn_items = @items.collect { |it|
 356         if it.kind_of?(Symbol)
 357           i = it.to_s
 358           opt = MessageParameter.new(i)
 359           if i.sub!(/^\*/,"")
 360             opt.name = i
 361             opt.multi = true
 362           end
 363           opt.default = @defaults[opt.name]
 364           opt.collector = @requirements[opt.name]
 365           opt
 366         else
 367           nil
 368         end
 369       }
 370       @dyn_items.unshift(template).compact!
 371       debug "Items: #{@items.inspect}; dyn items: #{@dyn_items.inspect}"
 372
 373       self.regexp = template
 374       debug "Command #{template.inspect} in #{@botmodule} will match using #{@regexp}"
 375
 376       set_auth_path(hash)
 377
 378       unless hash.has_key?(:action)
 379         hash[:action] = items[0]
 380       end
 381
 382       @options = hash
 383
 384       # debug "Create template #{self.inspect}"
 385     end
 386
 387     def set_auth_path(hash)
 388       if hash.has_key?(:auth)
 389         warning "Command #{@template.inspect} in #{@botmodule} uses old :auth syntax, please upgrade"
 390       end
 391       if hash.has_key?(:full_auth_path)
 392         warning "Command #{@template.inspect} in #{@botmodule} sets :full_auth_path, please don't do this"
 393       else
 394         pre = @botmodule
 395         words = items.reject{ |x|
 396           x == pre || x.kind_of?(Symbol) || x =~ /\[|\]/
 397         }
 398         if words.empty?
 399           post = nil
 400         else
 401           post = words.first
 402         end
 403         if hash.has_key?(:auth_path)
 404           extra = hash[:auth_path]
 405           if extra.sub!(/^:/, "")
 406             pre += "::" + post
 407             post = nil
 408           end
 409           if extra.sub!(/:$/, "")
 410             if words.length > 1
 411               post = [post,words[1]].compact.join("::")
 412             end
 413           end
 414           pre = nil if extra.sub!(/^!/, "")
 415           post = nil if extra.sub!(/!$/, "")
 416           extra = nil if extra.empty?
 417         else
 418           extra = nil
 419         end
 420         hash[:full_auth_path] = [pre,extra,post].compact.join("::")
 421         debug "Command #{@template} in #{botmodule} will use authPath #{hash[:full_auth_path]}"
 422         # TODO check if the full_auth_path is sane
 423       end
 424     end
 425
 426     def items=(str)
 427       raise ArgumentError, "template #{str.inspect} should be a String" unless str.kind_of?(String)
 428
 429       # split and convert ':xyz' to symbols
 430       items = str.strip.split(/\]?\s+\[?|\]?$/).collect { |c|
 431         # there might be extra (non-alphanumeric) stuff (e.g. punctuation) after the symbol name
 432         if /^(:|\*)(\w+)(.*)/ =~ c
 433           sym = ($1 == ':' ) ? $2.intern : "*#{$2}".intern
 434           if $3.empty?
 435             sym
 436           else
 437             [sym, $3]
 438           end
 439         else
 440           c
 441         end
 442       }.flatten
 443       @items = items
 444
 445       raise ArgumentError, "Illegal template -- first component cannot be dynamic: #{str.inspect}" if @items.first.kind_of? Symbol
 446
 447       raise ArgumentError, "Illegal template -- first component cannot be optional: #{str.inspect}" if @items.first =~ /\[|\]/
 448
 449       # Verify uniqueness of each component.
 450       @items.inject({}) do |seen, item|
 451         if item.kind_of? Symbol
 452           # We must remove the initial * when present,
 453           # because the parameters hash will intern both :item and *item as :item
 454           it = item.to_s.sub(/^\*/,"").intern
 455           raise ArgumentError, "Illegal template -- duplicate item #{it} in #{str.inspect}" if seen.key? it
 456           seen[it] = true
 457         end
 458         seen
 459       end
 460     end
 461
 462     def regexp=(str)
 463       # debug "Original string: #{str.inspect}"
 464       rx = Regexp.escape(str)
 465       # debug "Escaped: #{rx.inspect}"
 466       rx.gsub!(/((?:\\ )*)(:|\\\*)(\w+)/) { |m|
 467         whites = $1
 468         is_single = $2 == ":"
 469         name = $3.intern
 470
 471         not_needed = @defaults.has_key?(name)
 472
 473         has_req = @requirements[name]
 474         debug "Requirements for #{name}: #{has_req.inspect}"
 475         case has_req
 476         when nil
 477           sub = is_single ? "\\S+" : ".*?"
 478         when Regexp
 479           # Remove captures and the ^ and $ that are sometimes placed in requirement regexps
 480           sub = has_req.remove_captures.source.sub(/^\^/,'').sub(/\$$/,'')
 481         when String
 482           sub = Regexp.escape(has_req)
 483         when Array
 484           sub = has_req[0].remove_captures.source.sub(/^\^/,'').sub(/\$$/,'')
 485         when Hash
 486           sub = has_req[:regexp].remove_captures.source.sub(/^\^/,'').sub(/\$$/,'')
 487         else
 488           warning "Odd requirement #{has_req.inspect} of class #{has_req.class} for parameter '#{name}'"
 489           sub = Regexp.escape(has_req.to_s) rescue "\\S+"
 490         end
 491         debug "Regexp for #{name}: #{sub.inspect}"
 492         s = "#{not_needed ? "(?:" : ""}#{whites}(#{sub})#{ not_needed ? ")?" : ""}"
 493       }
 494       # debug "Replaced dyns: #{rx.inspect}"
 495       rx.gsub!(/((?:\\ )*)\\\[/, "(?:\\1")
 496       rx.gsub!(/\\\]/, ")?")
 497       # debug "Delimited optionals: #{rx.inspect}"
 498       rx.gsub!(/(?:\\ )+/, "\\s+")
 499       # debug "Corrected spaces: #{rx.inspect}"
 500       @regexp = Regexp.new("^#{rx}$")
 501     end
 502
 503     # Recognize the provided string components, returning a hash of
 504     # recognized values, or [nil, reason] if the string isn't recognized.
 505     def recognize(m)
 506
 507       debug "Testing #{m.message.inspect} against #{self.inspect}"
 508
 509       # Early out
 510       return nil, "template #{@template} is not configured for private messages" if @options.has_key?(:private) && !@options[:private] && m.private?
 511       return nil, "template #{@template} is not configured for public messages" if @options.has_key?(:public) && !@options[:public] && !m.private?
 512
 513       options = {}
 514
 515       matching = @regexp.match(m.message)
 516       return nil, "#{m.message.inspect} doesn't match #{@template} (#{@regexp})" unless matching
 517       return nil, "#{m.message.inspect} only matches #{@template} (#{@regexp}) partially: #{matching[0].inspect}" unless matching[0] == m.message
 518
 519       debug_match = matching[1..-1].collect{ |d| d.inspect}.join(', ')
 520       debug "#{m.message.inspect} matched #{@regexp} with #{debug_match}"
 521       debug "Associating #{debug_match} with dyn items #{@dyn_items.join(', ')}"
 522
 523       @dyn_items.each_with_index { |it, i|
 524         next if i == 0
 525         item = it.name
 526         debug "dyn item #{item} (multi-word: #{it.multi?.inspect})"
 527         if it.multi?
 528           if matching[i].nil?
 529             default = it.default
 530             case default
 531             when Array
 532               value = default.clone
 533             when String
 534               value = default.strip.split
 535             when nil, false, []
 536               value = []
 537             else
 538               warning "Unmanageable default #{default} detected for :*#{item.to_s}, using []"
 539               value = []
 540             end
 541             case default
 542             when String
 543               value.instance_variable_set(:@string_value, default)
 544             else
 545               value.instance_variable_set(:@string_value, value.join(' '))
 546             end
 547           else
 548             value = matching[i].split
 549             value.instance_variable_set(:@string_value, matching[i])
 550           end
 551           def value.to_s
 552             @string_value
 553           end
 554         else
 555           if matching[i].nil?
 556             warning "No default value for option #{item.inspect} specified" unless @defaults.has_key?(item)
 557             value = it.default
 558           else
 559             value = it.collect(matching[i])
 560           end
 561         end
 562         options[item] = value
 563         debug "set #{item} to #{options[item].inspect}"
 564       }
 565
 566       options.delete_if {|k, v| v.nil?} # Remove nil values.
 567       return options, nil
 568     end
 569
 570     def inspect
 571       when_str = @requirements.empty? ? "" : " when #{@requirements.inspect}"
 572       default_str = @defaults.empty? ? "" : " || #{@defaults.inspect}"
 573       "<#{self.class.to_s} #{@items.map { |c| c.inspect }.join(' ').inspect}#{default_str}#{when_str}>"
 574     end
 575
 576     def requirements_for(name)
 577       name = name.to_s.sub(/^\*/,"").intern if (/^\*/ =~ name.inspect)
 578       presence = (@defaults.key?(name) && @defaults[name].nil?)
 579       requirement = case @requirements[name]
 580         when nil then nil
 581         when Regexp then "match #{@requirements[name].inspect}"
 582         else "be equal to #{@requirements[name].inspect}"
 583       end
 584       if presence && requirement then "#{name} must be present and #{requirement}"
 585       elsif presence || requirement then "#{name} must #{requirement || 'be present'}"
 586       else "#{name} has no requirements"
 587       end
 588     end
 589   end
 590 end
 591 end