data/rbot/plugins/imdb.rb

   1 #-- vim:sw=2:et
   2 #++
   3 #
   4 # :title: IMDB plugin for rbot
   5 #
   6 # Author:: Arnaud Cornet <arnaud.cornet@gmail.com>
   7 # Author:: Giuseppe "Oblomov" Bilotta <giuseppe.bilotta@gmail.com>
   8 #
   9 # Copyright:: (C) 2005 Arnaud Cornet
  10 # Copyright:: (C) 2007 Giuseppe Bilotta
  11 #
  12 # License:: MIT license
  13
  14 class Imdb
  15   IMDB = "http://us.imdb.com"
  16   TITLE_OR_NAME_MATCH = /<a href="(\/(?:title|name)\/(?:tt|nm)[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
  17   TITLE_MATCH = /<a href="(\/title\/tt[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
  18   NAME_MATCH = /<a href="(\/name\/nm[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
  19   CREDIT_NAME_MATCH = /#{NAME_MATCH}<\/td><td[^>]+> \.\.\. <\/td><td[^>]+>(.+?)<\/td>/
  20   FINAL_ARTICLE_MATCH = /, ([A-Z]\S{0,2})$/
  21
  22   MATCHER = {
  23     :title => TITLE_MATCH,
  24     :name => NAME_MATCH,
  25     :both => TITLE_OR_NAME_MATCH
  26   }
  27
  28   def initialize(bot)
  29     @bot = bot
  30   end
  31
  32   def search(rawstr, rawopts={})
  33     str = CGI.escape(rawstr)
  34     str << ";site=aka" if @bot.config['imdb.aka']
  35     opts = rawopts.dup
  36     opts[:type] = :both unless opts[:type]
  37     return do_search(str, opts)
  38   end
  39
  40   def do_search(str, opts={})
  41     resp = nil
  42     begin
  43       resp = @bot.httputil.get_response(IMDB + "/find?q=#{str}",
  44                                         :max_redir => -1)
  45     rescue Exception => e
  46       error e.message
  47       warning e.backtrace.join("\n")
  48       return nil
  49     end
  50
  51
  52     matcher = MATCHER[opts[:type]]
  53
  54     if resp.code == "200"
  55       m = []
  56       m << matcher.match(resp.body) if @bot.config['imdb.popular']
  57       if resp.body.match(/\(Exact Matches\)<\/b>/) and @bot.config['imdb.exact']
  58         m << matcher.match($')
  59       end
  60       m.compact!
  61       unless m.empty?
  62         return m.map { |mm|
  63           mm[1]
  64         }.uniq
  65       end
  66     elsif resp.code == "302"
  67       debug "automatic redirection"
  68       new_loc = resp['location'].gsub(IMDB, "")
  69       if new_loc.match(/\/find\?q=(.*)/)
  70         return do_search($1, opts)
  71       else
  72         return [new_loc.gsub(/\?.*/, "")]
  73       end
  74     end
  75     return nil
  76   end
  77
  78   def info(rawstr, opts={})
  79     debug opts.inspect
  80     urls = search(rawstr, opts)
  81     debug urls
  82     if urls.nil_or_empty?
  83       debug "IMDB: search returned NIL"
  84       return nil
  85     end
  86     results = []
  87     urls.each { |sr|
  88       type = sr.match(/^\/([^\/]+)\//)[1].downcase.intern rescue nil
  89       case type
  90       when :title
  91         results << info_title(sr, opts)
  92       when :name
  93         results << info_name(sr, opts)
  94       else
  95         results << "#{sr}"
  96       end
  97     }
  98     return results
  99   end
 100
 101   def grab_info(info, body)
 102     /<div class="info">\s+<h5>#{info}:<\/h5>\s+(.*?)<\/div>/mi.match(body)[1] rescue nil
 103   end
 104
 105   def fix_article(org_tit)
 106     title = org_tit.dup
 107     debug title.inspect
 108     if title.match(/^"(.*)"$/)
 109       return "\"#{fix_article($1)}\""
 110     end
 111     if @bot.config['imdb.fix_article'] and title.gsub!(FINAL_ARTICLE_MATCH, '')
 112       art = $1.dup
 113       debug art.inspect
 114       if art[-1,1].match(/[A-Za-z]/)
 115         art << " "
 116       end
 117       return art + title
 118     end
 119     return title
 120   end
 121
 122   def info_title(sr, opts={})
 123     resp = nil
 124     begin
 125       resp = @bot.httputil.get_response(IMDB + sr, :max_redir => -1)
 126     rescue Exception => e
 127       error e.message
 128       warning e.backtrace.join("\n")
 129       return nil
 130     end
 131
 132     info = []
 133
 134     if resp.code == "200"
 135       m = /<title>([^<]*)<\/title>/.match(resp.body)
 136       return nil if !m
 137       title_date = m[1]
 138       pre_title, date, extra = title_date.scan(/^(.*)\((\d\d\d\d(?:\/[IV]+)?)\)\s*(.+)?$/).first
 139       pre_title.strip!
 140       title = fix_article(pre_title.ircify_html)
 141
 142       dir = nil
 143       data = grab_info(/Directors?/, resp.body)
 144       if data
 145         dir = data.scan(NAME_MATCH).map { |url, name|
 146           name.ircify_html
 147         }.join(', ')
 148       end
 149
 150       country = nil
 151       data = grab_info(/Country/, resp.body)
 152       if data
 153         country = data.ircify_html.gsub(' / ','/')
 154       end
 155
 156       info << [title, "(#{country}, #{date})", extra, dir ? "[#{dir}]" : nil, opts[:nourl] ? nil : ": http://us.imdb.com#{sr}"].compact.join(" ")
 157
 158       return info if opts[:title_only]
 159
 160       if opts[:characters]
 161         info << resp.body.scan(CREDIT_NAME_MATCH).map { |url, name, role|
 162           "%s: %s" % [name, role.ircify_html]
 163         }.join('; ')
 164         return info
 165       end
 166
 167       ratings = "no votes"
 168       m = /<b>([0-9.]+)\/10<\/b>\n?\r?\s+<small>\(<a href="ratings">([0-9,]+) votes?<\/a>\)<\/small>/.match(resp.body)
 169       if m
 170         ratings = "#{m[1]}/10 (#{m[2]} voters)"
 171       end
 172
 173       genre = Array.new
 174       resp.body.scan(/<a href="\/Sections\/Genres\/[^\/]+\/">([^<]+)<\/a>/) do |gnr|
 175         genre << gnr
 176       end
 177
 178       plot = nil
 179       data = grab_info(/Plot (?:Outline|Summary)/, resp.body)
 180       if data
 181         plot = "Plot: " + data.ircify_html.gsub(/\s+more$/,'')
 182       end
 183
 184       info << ["Ratings: " << ratings, "Genre: " << genre.join('/') , plot].compact.join(". ")
 185
 186       return info
 187     end
 188     return nil
 189   end
 190
 191   def info_name(sr, opts={})
 192     resp = nil
 193     begin
 194       resp = @bot.httputil.get_response(IMDB + sr, :max_redir => -1)
 195     rescue Exception => e
 196       error e.message
 197       warning e.backtrace.join("\n")
 198       return nil
 199     end
 200
 201     info = []
 202
 203     if resp.code == "200"
 204       m = /<title>([^<]*)<\/title>/.match(resp.body)
 205       return nil if !m
 206       name = m[1]
 207
 208       info << "#{name}"
 209       info << " : http://us.imdb.com#{sr}" unless opts[:nourl]
 210
 211       return info if opts[:name_only]
 212
 213       if opts[:movies_by_year]
 214         filmoyear = @bot.httputil.get(IMDB + sr + "filmoyear")
 215         if filmoyear
 216           info << filmoyear.scan(/#{TITLE_MATCH} \((\d\d\d\d)\)[^\[\n]*((?:\s+\[[^\]]+\](?:\s+\([^\[<]+\))*)+)\s+</)
 217         end
 218         return info
 219       end
 220
 221       birth = nil
 222       data = grab_info("Date of Birth", resp.body)
 223       if data
 224         birth = "Birth: #{data.ircify_html.gsub(/\s+more$/,'')}"
 225       end
 226
 227       death = nil
 228       data = grab_info("Date of Death", resp.body)
 229       if data
 230         death = "Death: #{data.ircify_html.gsub(/\s+more$/,'')}"
 231       end
 232
 233       info << [birth, death].compact.join('. ') if birth or death
 234
 235       movies = {}
 236
 237       filmorate = nil
 238       begin
 239         filmorate = @bot.httputil.get(IMDB + sr + "filmorate")
 240       rescue Exception
 241       end
 242
 243       if filmorate
 244         filmorate.scan(/<div class="filmo">.*?<a href="\/title.*?<\/div>/m) { |str|
 245           what = str.match(/<a name="[^"]+">([^<]+)<\/a>/)[1] rescue nil
 246           next unless what
 247           movies[what] = str.scan(TITLE_MATCH)[0..2].map { |url, tit|
 248             fix_article(tit.ircify_html)
 249           }
 250         }
 251       end
 252
 253       preferred = ['Actor', 'Director']
 254       if resp.body.match(/Jump to filmography as:&nbsp;(.*?)<\/div>/)
 255         txt = $1
 256         preferred = txt.scan(/<a[^>]+>([^<]+)<\/a>/)[0..2].map { |pref|
 257           pref.first
 258         }
 259       end
 260
 261       unless movies.empty?
 262         all_keys = movies.keys.sort
 263         debug all_keys.inspect
 264         keys = []
 265         preferred.each { |key|
 266           keys << key if all_keys.include? key
 267         }
 268         keys = all_keys if keys.empty?
 269         ar = []
 270         keys.each { |key|
 271           ar << key.dup
 272           ar.last << ": " + movies[key].join('; ')
 273         }
 274         info << ar.join('. ')
 275       end
 276       return info
 277
 278     end
 279     return nil
 280   end
 281
 282   def year_movies(urls, years_txt_org, role_req)
 283     years_txt = years_txt_org.dup
 284     years_txt.sub!(/^'/,'')
 285     years_txt = "9#{years_txt}" if years_txt.match(/^\d\ds?$/)
 286     years_txt = "1#{years_txt}" if years_txt.match(/^\d\d\ds?$/)
 287
 288     years = []
 289     case years_txt
 290     when /^\d\d\d\d$/
 291       years << years_txt
 292     when /^(\d\d\d\d)s$/
 293       base = $1.to_i
 294       base.upto(base+9) { |year|
 295         years << year.to_s
 296       }
 297     end
 298
 299     urls.map { |url|
 300       info = info_name(url, :movies_by_year => true)
 301
 302       debug info.inspect
 303
 304       name_url = info.first
 305       data = info[1]
 306
 307       movies = []
 308       # Sort by pre-title putting movies before TV series
 309       data.sort { |a, b|
 310         aclip = a[1][0,5]
 311         bclip = b[1][0,5]
 312         quot = '&#34;'
 313         (aclip == quot ? 1 : -1) <=> (bclip == quot ? 1 : -1)
 314       }.each { |url, pre_title, year, pre_roles|
 315         next unless years.include?(year)
 316         title = fix_article(pre_title.ircify_html)
 317         if title[0] == ?" and not @bot.config['imdb.tv_series_in_movies']
 318           next
 319         end
 320         title << " (#{year})" unless years.length == 1
 321         role_array = []
 322         pre_roles.strip.scan(/\[([^\]]+)\]((?:\s+\([^\[]+\))+)?/) { |txt, comm|
 323           role = nil
 324           extra = nil
 325           if txt.match(/^(.*)\s+\.\.\.\.\s+(.*)$/)
 326             role = $1
 327             extra = "(#{$2.ircify_html})"
 328           else
 329             role = txt
 330           end
 331           next if role_req and not role.match(/^#{role_req}/i)
 332           if comm
 333             extra ||= ""
 334             extra += comm.ircify_html if comm
 335           end
 336           role_array << [role, extra]
 337         }
 338         next if role_req and role_array.empty?
 339
 340         roles = role_array.map { |ar|
 341           if role_req
 342             ar[1] # works for us both if it's nil and if it's something
 343           else
 344             ar.compact.join(" ")
 345           end
 346         }.compact.join(', ')
 347         roles = nil if roles.empty?
 348         movies << [roles, title].compact.join(": ")
 349       }
 350
 351       if movies.empty?
 352         [name_url, nil]
 353       else
 354         [name_url, movies.join(" | ")]
 355       end
 356     }
 357   end
 358
 359   def name_in_movie(name_urls, movie_urls)
 360     info = []
 361     movie_urls.each { |movie|
 362       title_info = info_title(movie, :title_only => true)
 363       valid = []
 364
 365       data = @bot.httputil.get(IMDB + movie + "fullcredits")
 366       data.scan(CREDIT_NAME_MATCH).each { |url, name, role|
 367         valid << [url, name.ircify_html, role.ircify_html] if name_urls.include?(url)
 368       }
 369       valid.each { |url, name, role|
 370         info << "%s : %s was %s in %s" % [name, IMDB + url, role, title_info]
 371       }
 372     }
 373     return info
 374   end
 375
 376
 377 end
 378
 379 class ImdbPlugin < Plugin
 380   Config.register Config::BooleanValue.new('imdb.aka',
 381     :default => true,
 382     :desc => "Look for IMDB matches also in translated titles and other 'also known as' information")
 383   Config.register Config::BooleanValue.new('imdb.popular',
 384     :default => true,
 385     :desc => "Display info on popular IMDB entries matching the request closely")
 386   Config.register Config::BooleanValue.new('imdb.exact',
 387     :default => true,
 388     :desc => "Display info on IMDB entries matching the request exactly")
 389   Config.register Config::BooleanValue.new('imdb.fix_article',
 390     :default => false,
 391     :desc => "Try to detect an article placed at the end and move it in front of the title")
 392   Config.register Config::BooleanValue.new('imdb.tv_series_in_movies',
 393     :default => false,
 394     :desc => "Whether searching movies by person/year should also return TV series")
 395
 396   def help(plugin, topic="")
 397     case plugin
 398     when "movies"
 399       "movies by <who> in <years> [as <role>] => display the movies in the <years> where which <who> was <role>; <role> can be one of actor, actress, director or anything: if it's omitted, the role is defined by the prefix: \"movies by ...\" implies director, \"movies with ...\" implies actor or actress; the years can be specified as \"in the 60s\" or as \"in 1953\""
 400     when /characters?/
 401       "character played by <who> in <movie> => show the character played by <who> in movie <movie>. characters in <movie> => show the actors and characters in movie <movie>"
 402     else
 403       "imdb <string> => search http://www.imdb.org for <string>: prefix <string> with 'name' or 'title' if you only want to search for people or films respectively, e.g.: imdb name ed wood. see also movies and characters"
 404     end
 405   end
 406
 407   attr_reader :i
 408
 409   TITLE_URL = %r{^http://(?:[^.]+\.)?imdb.com(/title/tt\d+/)}
 410   NAME_URL = %r{^http://(?:[^.]+\.)?imdb.com(/name/nm\d+/)}
 411   def imdb_filter(s)
 412     loc = Utils.check_location(s, TITLE_URL)
 413     if loc
 414       sr = loc.first.match(TITLE_URL)[1]
 415       extra = $2 # nothign for the time being, could be fullcredits or whatever
 416       res = i.info_title(sr, :nourl => true, :characters => (extra == 'fullcredits'))
 417       debug res
 418       if res
 419         return {:title => res.first, :content => res.last}
 420       else
 421         return nil
 422       end
 423     end
 424     loc = Utils.check_location(s, NAME_URL)
 425     if loc
 426       sr = loc.first.match(NAME_URL)[1]
 427       extra = $2 # nothing for the time being, could be filmoyear or whatever
 428       res = i.info_name(sr, :nourl => true, :movies_by_year => (extra == 'filmoyear'))
 429       debug res
 430       if res
 431         name = res.shift
 432         return {:title => name, :content => res.join(". ")}
 433       else
 434         return nil
 435       end
 436     end
 437     return nil
 438   end
 439
 440   def initialize
 441     super
 442     @i = Imdb.new(@bot)
 443     @bot.register_filter(:imdb, :htmlinfo) { |s| imdb_filter(s) }
 444   end
 445
 446   # Find a person or movie on IMDB. A :type (name/title, default both) can be
 447   # specified to limit the search to either.
 448   #
 449   def imdb(m, params)
 450     if params[:movie]
 451       movie = params[:movie].to_s
 452       info = i.info(movie, :type => :title, :characters => true)
 453     else
 454       what = params[:what].to_s
 455       type = params[:type].intern
 456       info = i.info(what, :type => type)
 457       if !info
 458         m.reply "nothing found for #{what}"
 459         return nil
 460       end
 461     end
 462     if info.length == 1
 463       m.reply Utils.decode_html_entities(info.first.join("\n"))
 464     else
 465       m.reply info.map { |si|
 466         Utils.decode_html_entities si.join(" | ")
 467       }.join("\n")
 468     end
 469   end
 470
 471   # Find the movies with a participation of :who in the year :year
 472   # TODO: allow year to be either a year or a decade ('[in the] 1960s')
 473   #
 474   def movies(m, params)
 475     who = params[:who].to_s
 476     years = params[:years]
 477     role = params[:role]
 478     if role and role.downcase == 'anything'
 479       role = nil
 480     elsif not role
 481       case params[:prefix].intern
 482       when :with
 483         role = /actor|actress/i
 484       when :by
 485         role = 'director'
 486       end
 487     end
 488
 489     name_urls = i.search(who, :type => :name)
 490     unless name_urls
 491       m.reply "nothing found about #{who}, sorry"
 492       return
 493     end
 494
 495     movie_urls = i.year_movies(name_urls, years, role)
 496     debug movie_urls.inspect
 497     debug movie_urls[0][1]
 498
 499     if movie_urls.length == 1 and movie_urls[0][1]
 500       m.reply movie_urls.join("\n")
 501     else
 502       m.reply movie_urls.map { |si|
 503         si[1] = "no movies in #{years}" unless si[1]
 504         Utils.decode_html_entities si.join(" | ")
 505       }.join("\n")
 506     end
 507   end
 508
 509   # Find the character played by :who in :movie
 510   #
 511   def character(m, params)
 512     who = params[:who].to_s
 513     movie = params[:movie].to_s
 514
 515     name_urls = i.search(who, :type => :name)
 516     unless name_urls
 517       m.reply "nothing found about #{who}, sorry"
 518       return
 519     end
 520
 521     movie_urls = i.search(movie, :type => :title)
 522     unless movie_urls
 523       m.reply "nothing found about #{who}, sorry"
 524       return
 525     end
 526
 527     info = i.name_in_movie(name_urls, movie_urls)
 528     if info.empty?
 529       m.reply "nothing found about #{who} in #{movie}, sorry"
 530     else
 531       m.reply info.join("\n")
 532     end
 533   end
 534
 535   # Report the characters in movie :movie
 536   #
 537   def characters(m, params)
 538     movie = params[:movie].to_s
 539
 540     urls = i.search(movie, :type => :title)
 541     unless urls
 542       m.reply "nothing found about #{movie}"
 543     end
 544
 545   end
 546
 547 end
 548
 549 plugin = ImdbPlugin.new
 550
 551 plugin.map "imdb [:type] *what", :requirements => { :type => /name|title/ }, :defaults => { :type => 'both' }
 552 plugin.map "movies :prefix *who in [the] :years [as :role]", :requirements => { :prefix => /with|by|from/, :years => /'?\d+s?/ }
 553 plugin.map "character [played] by *who in *movie"
 554 plugin.map "character of *who in *movie"
 555 plugin.map "characters in *movie", :action => :imdb
 556