]> git.netwichtig.de Git - user/henk/code/ruby/rbot.git/blobdiff - data/rbot/plugins/imdb.rb
plugin(imdb): changed base url
[user/henk/code/ruby/rbot.git] / data / rbot / plugins / imdb.rb
index 82afd94a0de4a89a16e62af0998d5f0ad74c4f91..0f5c6024b6306ddcd73079500208dde7a02dbf55 100644 (file)
 # License:: MIT license
 
 class Imdb
-  IMDB = "http://us.imdb.com"
-  TITLE_OR_NAME_MATCH = /<a href="(\/(?:title|name)\/(?:tt|nm)[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
-  TITLE_MATCH = /<a href="(\/title\/tt[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
-  NAME_MATCH = /<a href="(\/name\/nm[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
-  CREDIT_NAME_MATCH = /#{NAME_MATCH}<\/td><td[^>]+> \.\.\. <\/td><td[^>]+>(.+?)<\/td>/
+  IMDB = "https://www.imdb.com"
+  TITLE_OR_NAME_MATCH = /<a\s+href="(\/(?:title|name)\/(?:tt|nm)[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
+  TITLE_MATCH = /<a\s+href="(\/title\/tt[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
+  NAME_MATCH = /<a\s+onclick="[^"]+"\s+href="(\/name\/nm[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
+  CHAR_MATCH = /<a\s+href="(\/character\/ch[0-9]+\/?)[^"]*"(?:[^>]*)>([^<]*)<\/a>/
+  CREDIT_NAME_MATCH = /#{NAME_MATCH}\s*<\/td>\s*<td[^>]+>\s*\.\.\.\s*<\/td>\s*<td[^>]+>\s*(.+?)\s*<\/td>/m
   FINAL_ARTICLE_MATCH = /, ([A-Z]\S{0,2})$/
+  DESC_MATCH = /<meta name="description" content="(.*?)\. (.*?)\. (.*?)\."\s*\/>/
 
   MATCHER = {
+    :character => CHAR_MATCH,
     :title => TITLE_MATCH,
     :name => NAME_MATCH,
     :both => TITLE_OR_NAME_MATCH
@@ -30,8 +33,12 @@ class Imdb
   end
 
   def search(rawstr, rawopts={})
+    # allow the user to search directly for (movie) IDs
+    if rawstr.match /$tt\d+^/ then
+      return ["/movie/#{rawstr}/"]
+    end
     str = CGI.escape(rawstr)
-    str << ";site=aka" if @bot.config['imdb.aka']
+    str << "&site=aka" if @bot.config['imdb.aka']
     opts = rawopts.dup
     opts[:type] = :both unless opts[:type]
     return do_search(str, opts)
@@ -52,6 +59,9 @@ class Imdb
     matcher = MATCHER[opts[:type]]
 
     if resp.code == "200"
+      if opts[:all]
+        return resp.body.scan(matcher).map { |m| m.first }.compact.uniq
+      end
       m = []
       m << matcher.match(resp.body) if @bot.config['imdb.popular']
       if resp.body.match(/\(Exact Matches\)<\/b>/) and @bot.config['imdb.exact']
@@ -99,7 +109,7 @@ class Imdb
   end
 
   def grab_info(info, body)
-    /<div class="info">\s+<h5>#{info}:<\/h5>\s+(.*?)<\/div>/mi.match(body)[1] rescue nil
+    /<div (?:id="\S+-info" )?class="(?:txt-block|see-more inline canwrap)">\s*<h[45](?: class="inline")?>\s*#{info}:\s*<\/h[45]>\s*(.*?)<\/div>/mi.match(body)[1] rescue nil
   end
 
   def fix_article(org_tit)
@@ -122,6 +132,8 @@ class Imdb
   def info_title(sr, opts={})
     resp = nil
     begin
+      # movie urls without tailing / trigger a redirect
+      sr += '/' if sr[-1,1] != '/'
       resp = @bot.httputil.get_response(IMDB + sr, :max_redir => -1)
     rescue Exception => e
       error e.message
@@ -134,13 +146,17 @@ class Imdb
     if resp.code == "200"
       m = /<title>([^<]*)<\/title>/.match(resp.body)
       return nil if !m
-      title_date = m[1]
-      pre_title, date, extra = title_date.scan(/^(.*)\((\d\d\d\d(?:\/[IV]+)?)\)\s*(.+)?$/).first
+      title_date = m[1].ircify_html
+      debug title_date
+      # note that the date dash for series is a - (ndash), not a - (minus sign)
+      # also, the second date, if missing, is an no-break space
+      pre_title, extra, date, junk = title_date.scan(/^(.*)\((.+?\s+)?(\d\d\d\d(?:–(?:\d\d\d\d| )?)?(?:\/[IV]+)?)\)\s*(.+)?$/).first
+      extra.strip! if extra
       pre_title.strip!
-      title = fix_article(pre_title.ircify_html)
+      title = fix_article(pre_title)
 
       dir = nil
-      data = grab_info(/Directors?/, resp.body)
+      data = grab_info(/(?:Director|Creator)s?/, resp.body)
       if data
         dir = data.scan(NAME_MATCH).map { |url, name|
           name.ircify_html
@@ -153,7 +169,7 @@ class Imdb
         country = data.ircify_html.gsub(' / ','/')
       end
 
-      info << [title, "(#{country}, #{date})", extra, dir ? "[#{dir}]" : nil, ": http://us.imdb.com#{sr}"].compact.join(" ")
+      info << [title, "(#{country}, #{date})", extra, dir ? "[#{dir}]" : nil, opts[:nourl] ? nil : ": http://www.imdb.com#{sr}"].compact.join(" ")
 
       return info if opts[:title_only]
 
@@ -165,21 +181,28 @@ class Imdb
       end
 
       ratings = "no votes"
-      m = /<b>([0-9.]+)\/10<\/b>\n?\r?\s+<small>\(<a href="ratings">([0-9,]+) votes?<\/a>\)<\/small>/.match(resp.body)
-      if m
-        ratings = "#{m[1]}/10 (#{m[2]} voters)"
+      # parse imdb rating value:
+      if resp.body.match(/itemprop="ratingValue">([^<]+)</)
+        ratings = "#{$1}/10"
+      end
+      # parse imdb rating count:
+      if resp.body.match(/itemprop="ratingCount">([^<]+)</)
+        ratings += " (#{$1} voters)"
       end
 
       genre = Array.new
-      resp.body.scan(/<a href="\/Sections\/Genres\/[^\/]+\/">([^<]+)<\/a>/) do |gnr|
-        genre << gnr
+      resp.body.scan(/<a\s+href="\/genre\/[^\?]+\?[^"]+"\s+>([^<]+)<\/a>/) do |gnr|
+        genre << gnr.first.strip
       end
 
-      plot = nil
-      data = grab_info(/Plot (?:Outline|Summary)/, resp.body)
-      if data
-        plot = "Plot: " + data.ircify_html.gsub(/\s+more$/,'')
-      end
+      plot = resp.body.match(DESC_MATCH)[3] rescue nil
+      # TODO option to extract the long storyline
+      # data = resp.body.match(/<h2>Storyline<\/h2>\s+/m).post_match.match(/<\/p>/).pre_match rescue nil
+      # if data
+      #   data.sub!(/<em class="nobr">Written by.*$/m, '')
+      #   plot = data.ircify_html.gsub(/\s+more\s*$/,'').gsub(/\s+Full summary » \| Full synopsis »\s*$/,'')
+      # end
+      plot = "Plot: #{plot}" if plot
 
       info << ["Ratings: " << ratings, "Genre: " << genre.join('/') , plot].compact.join(". ")
 
@@ -203,9 +226,10 @@ class Imdb
     if resp.code == "200"
       m = /<title>([^<]*)<\/title>/.match(resp.body)
       return nil if !m
-      name = m[1]
+      name = m[1].sub(/ - IMDb/, '')
 
-      info << "#{name} : http://us.imdb.com#{sr}"
+      info << name
+      info.last << " : http://www.imdb.com#{sr}" unless opts[:nourl]
 
       return info if opts[:name_only]
 
@@ -295,8 +319,8 @@ class Imdb
       }
     end
 
-    urls.map { |url|
-      info = info_name(url, :movies_by_year => true)
+    urls.map { |u|
+      info = info_name(u, :movies_by_year => true)
 
       debug info.inspect
 
@@ -356,14 +380,18 @@ class Imdb
   end
 
   def name_in_movie(name_urls, movie_urls)
+    debug name_urls
     info = []
     movie_urls.each { |movie|
       title_info = info_title(movie, :title_only => true)
       valid = []
 
       data = @bot.httputil.get(IMDB + movie + "fullcredits")
-      data.scan(CREDIT_NAME_MATCH).each { |url, name, role|
-        valid << [url, name.ircify_html, role.ircify_html] if name_urls.include?(url)
+      data.scan(CREDIT_NAME_MATCH).each { |url, name, role_data|
+        ch_url, role = role_data.scan(CHAR_MATCH).first
+        debug [ch_url, role]
+        wanted = name_urls.include?(url) || name_urls.include?(ch_url)
+        valid << [url, name.ircify_html, role.ircify_html] if wanted
       }
       valid.each { |url, name, role|
         info << "%s : %s was %s in %s" % [name, IMDB + url, role, title_info]
@@ -405,9 +433,41 @@ class ImdbPlugin < Plugin
 
   attr_reader :i
 
+  TITLE_URL = %r{^http://(?:[^.]+\.)?imdb.com(/title/tt\d+/)}
+  NAME_URL = %r{^http://(?:[^.]+\.)?imdb.com(/name/nm\d+/)}
+  def imdb_filter(s)
+    loc = Utils.check_location(s, TITLE_URL)
+    if loc
+      sr = loc.first.match(TITLE_URL)[1]
+      extra = $2 # nothign for the time being, could be fullcredits or whatever
+      res = i.info_title(sr, :nourl => true, :characters => (extra == 'fullcredits'))
+      debug res
+      if res
+        return {:title => res.first, :content => res.last}
+      else
+        return nil
+      end
+    end
+    loc = Utils.check_location(s, NAME_URL)
+    if loc
+      sr = loc.first.match(NAME_URL)[1]
+      extra = $2 # nothing for the time being, could be filmoyear or whatever
+      res = i.info_name(sr, :nourl => true, :movies_by_year => (extra == 'filmoyear'))
+      debug res
+      if res
+        name = res.shift
+        return {:title => name, :content => res.join(". ")}
+      else
+        return nil
+      end
+    end
+    return nil
+  end
+
   def initialize
     super
     @i = Imdb.new(@bot)
+    @bot.register_filter(:imdb, :htmlinfo) { |s| imdb_filter(s) }
   end
 
   # Find a person or movie on IMDB. A :type (name/title, default both) can be
@@ -436,7 +496,7 @@ class ImdbPlugin < Plugin
   end
 
   # Find the movies with a participation of :who in the year :year
-  # TODO: allow year to be either a year or a decade ('[in the] 1960s') 
+  # TODO: allow year to be either a year or a decade ('[in the] 1960s')
   #
   def movies(m, params)
     who = params[:who].to_s
@@ -476,17 +536,23 @@ class ImdbPlugin < Plugin
   # Find the character played by :who in :movie
   #
   def character(m, params)
-    who = params[:who].to_s
     movie = params[:movie].to_s
-
-    name_urls = i.search(who, :type => :name)
-    unless name_urls
-      m.reply "nothing found about #{who}, sorry"
+    movie_urls = i.search(movie, :type => :title)
+    unless movie_urls
+      m.reply "movie #{who} not found, sorry"
       return
     end
 
-    movie_urls = i.search(movie, :type => :title)
-    unless movie_urls
+    if params[:actor]
+      who = params[:actor].to_s
+      type = :name
+    else
+      who = params[:character].to_s
+      type = :character
+    end
+
+    name_urls = i.search(who, :type => type, :all => true)
+    unless name_urls
       m.reply "nothing found about #{who}, sorry"
       return
     end
@@ -517,7 +583,7 @@ plugin = ImdbPlugin.new
 
 plugin.map "imdb [:type] *what", :requirements => { :type => /name|title/ }, :defaults => { :type => 'both' }
 plugin.map "movies :prefix *who in [the] :years [as :role]", :requirements => { :prefix => /with|by|from/, :years => /'?\d+s?/ }
-plugin.map "character [played] by *who in *movie"
-plugin.map "character of *who in *movie"
+plugin.map "character [played] by *actor in *movie"
+plugin.map "character of *character in *movie"
 plugin.map "characters in *movie", :action => :imdb