]> git.netwichtig.de Git - user/henk/code/ruby/rbot.git/blobdiff - data/rbot/plugins/imdb.rb
imdb: update to latest html
[user/henk/code/ruby/rbot.git] / data / rbot / plugins / imdb.rb
index 0464ba3ae4b009d2627a5850742d68ff9f9edb43..8fae956a5ec2f2deb5e3e14514eea8bea5018881 100644 (file)
 #
 # License:: MIT license
 
-require 'uri/common'
-
 class Imdb
-  IMDB = "http://us.imdb.com"
-  TITLE_OR_NAME_MATCH = /<a href="(\/(?:title|name)\/(?:tt|nm)[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
-  TITLE_MATCH = /<a href="(\/title\/tt[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
-  NAME_MATCH = /<a href="(\/name\/nm[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
-  CREDIT_NAME_MATCH = /#{NAME_MATCH}<\/td><td[^>]+> \.\.\. <\/td><td[^>]+>(.+?)<\/td>/
+  IMDB = "http://www.imdb.com"
+  TITLE_OR_NAME_MATCH = /<a\s+href="(\/(?:title|name)\/(?:tt|nm)[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
+  TITLE_MATCH = /<a\s+href="(\/title\/tt[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
+  NAME_MATCH = /<a\s+href="(\/name\/nm[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
+  CREDIT_NAME_MATCH = /#{NAME_MATCH}\s*<\/td>\s*<td[^>]+>\s*\.\.\.\s*<\/td>\s*<td[^>]+>\s*(.+?)\s*<\/td>/m
   FINAL_ARTICLE_MATCH = /, ([A-Z]\S{0,2})$/
+  DESC_MATCH = /<meta name="description" content="(.*?)\. (.*?)\. (.*?)\."\s*\/>/
 
   MATCHER = {
     :title => TITLE_MATCH,
@@ -101,7 +100,7 @@ class Imdb
   end
 
   def grab_info(info, body)
-    /<div class="info">\s+<h5>#{info}:<\/h5>\s+(.*?)<\/div>/mi.match(body)[1] rescue nil
+    /<div (?:id="\S+-info" )?class="(?:txt-block|see-more inline canwrap)">\s*<h[45](?: class="inline")?>\s*#{info}:\s*<\/h[45]>\s*(.*?)<\/div>/mi.match(body)[1] rescue nil
   end
 
   def fix_article(org_tit)
@@ -136,13 +135,16 @@ class Imdb
     if resp.code == "200"
       m = /<title>([^<]*)<\/title>/.match(resp.body)
       return nil if !m
-      title_date = m[1]
-      pre_title, date, extra = title_date.scan(/^(.*)\((\d\d\d\d(?:\/[IV]+)?)\)\s*(.+)?$/).first
+      title_date = m[1].ircify_html
+      debug title_date
+      # note that the date dash for series is a - (ndash), not a - (minus sign)
+      pre_title, extra, date, junk = title_date.scan(/^(.*)\((.+?\s+)?(\d\d\d\d(?:–(?:\d\d\d\d)?)?(?:\/[IV]+)?)\)\s*(.+)?$/).first
+      extra.strip! if extra
       pre_title.strip!
-      title = fix_article(pre_title.ircify_html)
+      title = fix_article(pre_title)
 
       dir = nil
-      data = grab_info(/Directors?/, resp.body)
+      data = grab_info(/(?:Director|Creator)s?/, resp.body)
       if data
         dir = data.scan(NAME_MATCH).map { |url, name|
           name.ircify_html
@@ -155,33 +157,36 @@ class Imdb
         country = data.ircify_html.gsub(' / ','/')
       end
 
-      info << [title, "(#{country}, #{date})", extra, dir ? "[#{dir}]" : nil, ": http://us.imdb.com#{sr}"].compact.join(" ")
+      info << [title, "(#{country}, #{date})", extra, dir ? "[#{dir}]" : nil, opts[:nourl] ? nil : ": http://www.imdb.com#{sr}"].compact.join(" ")
 
       return info if opts[:title_only]
 
       if opts[:characters]
         info << resp.body.scan(CREDIT_NAME_MATCH).map { |url, name, role|
-          "%s: %s" % [name, role]
+          "%s: %s" % [name, role.ircify_html]
         }.join('; ')
         return info
       end
 
       ratings = "no votes"
-      m = /<b>([0-9.]+)\/10<\/b>\n?\r?\s+<small>\(<a href="ratings">([0-9,]+) votes?<\/a>\)<\/small>/.match(resp.body)
+      m = resp.body.match(/<b>([0-9.]+)<\/b><span [^>]+>\/10<\/span><\/span>\s*[^<]+<a\s+[^>]*href="ratings"[^>]+>([0-9,]+) votes?<\/a>/m)
       if m
         ratings = "#{m[1]}/10 (#{m[2]} voters)"
       end
 
       genre = Array.new
-      resp.body.scan(/<a href="\/Sections\/Genres\/[^\/]+\/">([^<]+)<\/a>/) do |gnr|
+      resp.body.scan(/<a href="\/genre\/[^"]+">([^<]+)<\/a>/) do |gnr|
         genre << gnr
       end
 
-      plot = nil
-      data = grab_info(/Plot (?:Outline|Summary)/, resp.body)
-      if data
-        plot = "Plot: " + data.ircify_html.gsub(/\s+more$/,'')
-      end
+      plot = resp.body.match(DESC_MATCH)[3] rescue nil
+      # TODO option to extract the long storyline
+      # data = resp.body.match(/<h2>Storyline<\/h2>\s+/m).post_match.match(/<\/p>/).pre_match rescue nil
+      # if data
+      #   data.sub!(/<em class="nobr">Written by.*$/m, '')
+      #   plot = data.ircify_html.gsub(/\s+more\s*$/,'').gsub(/\s+Full summary » \| Full synopsis »\s*$/,'')
+      # end
+      plot = "Plot: #{plot}" if plot
 
       info << ["Ratings: " << ratings, "Genre: " << genre.join('/') , plot].compact.join(". ")
 
@@ -205,16 +210,17 @@ class Imdb
     if resp.code == "200"
       m = /<title>([^<]*)<\/title>/.match(resp.body)
       return nil if !m
-      name = m[1]
+      name = m[1].sub(/ - IMDb/, '')
 
-      info << "#{name} : http://us.imdb.com#{sr}"
+      info << name
+      info.last << " : http://www.imdb.com#{sr}" unless opts[:nourl]
 
       return info if opts[:name_only]
 
-      if year = opts[:movies_in_year]
+      if opts[:movies_by_year]
         filmoyear = @bot.httputil.get(IMDB + sr + "filmoyear")
         if filmoyear
-          info << filmoyear.scan(/#{TITLE_MATCH} \(#{year}\)[^\[\n]*((?:\s+\[[^\]]+\](?:\s+\([^\[<]+\))*)+)\s+</)
+          info << filmoyear.scan(/#{TITLE_MATCH} \((\d\d\d\d)\)[^\[\n]*((?:\s+\[[^\]]+\](?:\s+\([^\[<]+\))*)+)\s+</)
         end
         return info
       end
@@ -280,9 +286,25 @@ class Imdb
     return nil
   end
 
-  def year_movies(urls, year)
+  def year_movies(urls, years_txt_org, role_req)
+    years_txt = years_txt_org.dup
+    years_txt.sub!(/^'/,'')
+    years_txt = "9#{years_txt}" if years_txt.match(/^\d\ds?$/)
+    years_txt = "1#{years_txt}" if years_txt.match(/^\d\d\ds?$/)
+
+    years = []
+    case years_txt
+    when /^\d\d\d\d$/
+      years << years_txt
+    when /^(\d\d\d\d)s$/
+      base = $1.to_i
+      base.upto(base+9) { |year|
+        years << year.to_s
+      }
+    end
+
     urls.map { |url|
-      info = info_name(url, :movies_in_year => year)
+      info = info_name(url, :movies_by_year => true)
 
       debug info.inspect
 
@@ -296,23 +318,41 @@ class Imdb
         bclip = b[1][0,5]
         quot = '&#34;'
         (aclip == quot ? 1 : -1) <=> (bclip == quot ? 1 : -1)
-      }.each { |url, pre_title, pre_roles|
+      }.each { |url, pre_title, year, pre_roles|
+        next unless years.include?(year)
         title = fix_article(pre_title.ircify_html)
         if title[0] == ?" and not @bot.config['imdb.tv_series_in_movies']
           next
         end
+        title << " (#{year})" unless years.length == 1
         role_array = []
         pre_roles.strip.scan(/\[([^\]]+)\]((?:\s+\([^\[]+\))+)?/) { |txt, comm|
+          role = nil
+          extra = nil
           if txt.match(/^(.*)\s+\.\.\.\.\s+(.*)$/)
-            role_array << "#{$1} (#{$2})"
+            role = $1
+            extra = "(#{$2.ircify_html})"
           else
-            role_array << txt
+            role = txt
           end
-          role_array.last << " " + comm.ircify_html if comm
+          next if role_req and not role.match(/^#{role_req}/i)
+          if comm
+            extra ||= ""
+            extra += comm.ircify_html if comm
+          end
+          role_array << [role, extra]
         }
+        next if role_req and role_array.empty?
 
-        roles = role_array.join(', ')
-        movies << [roles, title].join(": ")
+        roles = role_array.map { |ar|
+          if role_req
+            ar[1] # works for us both if it's nil and if it's something
+          else
+            ar.compact.join(" ")
+          end
+        }.compact.join(', ')
+        roles = nil if roles.empty?
+        movies << [roles, title].compact.join(": ")
       }
 
       if movies.empty?
@@ -344,31 +384,70 @@ class Imdb
 end
 
 class ImdbPlugin < Plugin
-  BotConfig.register BotConfigBooleanValue.new('imdb.aka',
+  Config.register Config::BooleanValue.new('imdb.aka',
     :default => true,
     :desc => "Look for IMDB matches also in translated titles and other 'also known as' information")
-  BotConfig.register BotConfigBooleanValue.new('imdb.popular',
+  Config.register Config::BooleanValue.new('imdb.popular',
     :default => true,
     :desc => "Display info on popular IMDB entries matching the request closely")
-  BotConfig.register BotConfigBooleanValue.new('imdb.exact',
+  Config.register Config::BooleanValue.new('imdb.exact',
     :default => true,
     :desc => "Display info on IMDB entries matching the request exactly")
-  BotConfig.register BotConfigBooleanValue.new('imdb.fix_article',
+  Config.register Config::BooleanValue.new('imdb.fix_article',
     :default => false,
     :desc => "Try to detect an article placed at the end and move it in front of the title")
-  BotConfig.register BotConfigBooleanValue.new('imdb.tv_series_in_movies',
+  Config.register Config::BooleanValue.new('imdb.tv_series_in_movies',
     :default => false,
     :desc => "Whether searching movies by person/year should also return TV series")
 
   def help(plugin, topic="")
-    "imdb <string> => search http://www.imdb.org for <string>: prefix <string> with 'name' or 'title' if you only want to search for people or films respectively, e.g.: imdb name ed wood"
+    case plugin
+    when "movies"
+      "movies by <who> in <years> [as <role>] => display the movies in the <years> where which <who> was <role>; <role> can be one of actor, actress, director or anything: if it's omitted, the role is defined by the prefix: \"movies by ...\" implies director, \"movies with ...\" implies actor or actress; the years can be specified as \"in the 60s\" or as \"in 1953\""
+    when /characters?/
+      "character played by <who> in <movie> => show the character played by <who> in movie <movie>. characters in <movie> => show the actors and characters in movie <movie>"
+    else
+      "imdb <string> => search http://www.imdb.org for <string>: prefix <string> with 'name' or 'title' if you only want to search for people or films respectively, e.g.: imdb name ed wood. see also movies and characters"
+    end
   end
 
   attr_reader :i
 
+  TITLE_URL = %r{^http://(?:[^.]+\.)?imdb.com(/title/tt\d+/)}
+  NAME_URL = %r{^http://(?:[^.]+\.)?imdb.com(/name/nm\d+/)}
+  def imdb_filter(s)
+    loc = Utils.check_location(s, TITLE_URL)
+    if loc
+      sr = loc.first.match(TITLE_URL)[1]
+      extra = $2 # nothign for the time being, could be fullcredits or whatever
+      res = i.info_title(sr, :nourl => true, :characters => (extra == 'fullcredits'))
+      debug res
+      if res
+        return {:title => res.first, :content => res.last}
+      else
+        return nil
+      end
+    end
+    loc = Utils.check_location(s, NAME_URL)
+    if loc
+      sr = loc.first.match(NAME_URL)[1]
+      extra = $2 # nothing for the time being, could be filmoyear or whatever
+      res = i.info_name(sr, :nourl => true, :movies_by_year => (extra == 'filmoyear'))
+      debug res
+      if res
+        name = res.shift
+        return {:title => name, :content => res.join(". ")}
+      else
+        return nil
+      end
+    end
+    return nil
+  end
+
   def initialize
     super
     @i = Imdb.new(@bot)
+    @bot.register_filter(:imdb, :htmlinfo) { |s| imdb_filter(s) }
   end
 
   # Find a person or movie on IMDB. A :type (name/title, default both) can be
@@ -388,7 +467,7 @@ class ImdbPlugin < Plugin
       end
     end
     if info.length == 1
-      m.reply Utils.decode_html_entities info.first.join("\n")
+      m.reply Utils.decode_html_entities(info.first.join("\n"))
     else
       m.reply info.map { |si|
         Utils.decode_html_entities si.join(" | ")
@@ -397,11 +476,22 @@ class ImdbPlugin < Plugin
   end
 
   # Find the movies with a participation of :who in the year :year
-  # TODO: allow year to be either a year or a decade ('[in the] 1960s') 
+  # TODO: allow year to be either a year or a decade ('[in the] 1960s')
   #
   def movies(m, params)
     who = params[:who].to_s
-    year = params[:year]
+    years = params[:years]
+    role = params[:role]
+    if role and role.downcase == 'anything'
+      role = nil
+    elsif not role
+      case params[:prefix].intern
+      when :with
+        role = /actor|actress/i
+      when :by
+        role = 'director'
+      end
+    end
 
     name_urls = i.search(who, :type => :name)
     unless name_urls
@@ -409,7 +499,7 @@ class ImdbPlugin < Plugin
       return
     end
 
-    movie_urls = i.year_movies(name_urls, year)
+    movie_urls = i.year_movies(name_urls, years, role)
     debug movie_urls.inspect
     debug movie_urls[0][1]
 
@@ -417,7 +507,7 @@ class ImdbPlugin < Plugin
       m.reply movie_urls.join("\n")
     else
       m.reply movie_urls.map { |si|
-        si[1] = "no movies in #{year}" unless si[1]
+        si[1] = "no movies in #{years}" unless si[1]
         Utils.decode_html_entities si.join(" | ")
       }.join("\n")
     end
@@ -466,7 +556,7 @@ end
 plugin = ImdbPlugin.new
 
 plugin.map "imdb [:type] *what", :requirements => { :type => /name|title/ }, :defaults => { :type => 'both' }
-plugin.map "movies :prefix *who in :year", :requirements => { :prefix => /with|by|from/, :year => /\d+/ }
+plugin.map "movies :prefix *who in [the] :years [as :role]", :requirements => { :prefix => /with|by|from/, :years => /'?\d+s?/ }
 plugin.map "character [played] by *who in *movie"
 plugin.map "character of *who in *movie"
 plugin.map "characters in *movie", :action => :imdb