data/rbot/plugins/rss.rb

   1 # RSS feed plugin for RubyBot\r
   2 # (c) 2004 Stanislav Karchebny <berkus@madfire.net>\r
   3 # (c) 2005 Ian Monroe <ian@monroe.nu>\r
   4 # (c) 2005 Mark Kretschmann <markey@web.de>\r
   5 # Licensed under MIT License.\r
   6 \r
   7 require 'rss/parser'\r
   8 require 'rss/1.0'\r
   9 require 'rss/2.0'\r
  10 require 'rss/dublincore'\r
  11 # begin\r
  12 #   require 'rss/dublincore/2.0'\r
  13 # rescue\r
  14 #   warning "Unable to load RSS libraries, RSS plugin functionality crippled"\r
  15 # end\r
  16 \r
  17 class ::String\r
  18   def shorten(limit)\r
  19     if self.length > limit\r
  20       self+". " =~ /^(.{#{limit}}[^.!;?]*[.!;?])/mi\r
  21       return $1\r
  22     end\r
  23     self\r
  24   end\r
  25 \r
  26   def riphtml\r
  27     self.gsub(/<[^>]+>/, '').gsub(/&amp;/,'&').gsub(/&quot;/,'"').gsub(/&lt;/,'<').gsub(/&gt;/,'>').gsub(/&ellip;/,'...').gsub(/&apos;/, "'").gsub("\n",'')\r
  28   end\r
  29 \r
  30   def mysqlize\r
  31     self.gsub(/'/, "''")\r
  32   end\r
  33 end\r
  34 \r
  35 class ::RssBlob\r
  36   attr :url\r
  37   attr :handle\r
  38   attr :type\r
  39   attr :watchers\r
  40 \r
  41   def initialize(url,handle=nil,type=nil,watchers=[])\r
  42     @url = url\r
  43     if handle\r
  44       @handle = handle\r
  45     else\r
  46       @handle = url\r
  47     end\r
  48     @type = type\r
  49     @watchers = watchers\r
  50   end\r
  51 \r
  52   def watched?\r
  53     !@watchers.empty?\r
  54   end\r
  55 \r
  56   def watched_by?(who)\r
  57     @watchers.include?(who)\r
  58   end\r
  59 \r
  60   def add_watch(who)\r
  61     if watched_by?(who)\r
  62       return nil\r
  63     end\r
  64     @watchers << who unless watched_by?(who)\r
  65     return who\r
  66   end\r
  67 \r
  68   def rm_watch(who)\r
  69     @watchers.delete(who)\r
  70   end\r
  71 \r
  72   def to_a\r
  73     [@handle,@url,@type,@watchers]\r
  74   end\r
  75 \r
  76   def to_s(watchers=false)\r
  77     if watchers\r
  78       a = self.to_a.flatten\r
  79     else\r
  80       a = self.to_a[0,3]\r
  81     end\r
  82     a.join(" | ")\r
  83   end\r
  84 end\r
  85 \r
  86 class RSSFeedsPlugin < Plugin\r
  87   BotConfig.register BotConfigIntegerValue.new('rss.head_max',\r
  88     :default => 30, :validate => Proc.new{|v| v > 0 && v < 200},\r
  89     :desc => "How many characters to use of a RSS item header")\r
  90 \r
  91   BotConfig.register BotConfigIntegerValue.new('rss.text_max',\r
  92     :default => 90, :validate => Proc.new{|v| v > 0 && v < 400},\r
  93     :desc => "How many characters to use of a RSS item text")\r
  94 \r
  95   BotConfig.register BotConfigIntegerValue.new('rss.thread_sleep',\r
  96     :default => 300, :validate => Proc.new{|v| v > 30},\r
  97     :desc => "How many characters to use of a RSS item text")\r
  98 \r
  99   @@watchThreads = Hash.new\r
 100   @@mutex = Mutex.new\r
 101 \r
 102   def initialize\r
 103     super\r
 104     kill_threads\r
 105     if @registry.has_key?(:feeds)\r
 106       @feeds = @registry[:feeds]\r
 107     else\r
 108       @feeds = Hash.new\r
 109     end\r
 110     rewatch_rss\r
 111   end\r
 112 \r
 113   def watchlist\r
 114     @feeds.select { |h, f| f.watched? }\r
 115   end\r
 116 \r
 117   def cleanup\r
 118     kill_threads\r
 119   end\r
 120 \r
 121   def save\r
 122     @registry[:feeds] = @feeds\r
 123   end\r
 124 \r
 125   def kill_threads\r
 126     @@mutex.synchronize {\r
 127       # Abort all running threads.\r
 128       @@watchThreads.each { |url, thread|\r
 129         debug "Killing thread for #{url}"\r
 130         thread.kill\r
 131       }\r
 132       @@watchThreads = Hash.new\r
 133     }\r
 134   end\r
 135 \r
 136   def help(plugin,topic="")\r
 137     case topic\r
 138     when "show"\r
 139       "rss show #{Bold}handle#{Bold} [#{Bold}limit#{Bold}] : show #{Bold}limit#{Bold} (default: 5, max: 15) entries from rss #{Bold}handle#{Bold}"\r
 140     when "list"\r
 141       "rss list [#{Bold}handle#{Bold}] : list all rss feeds (matching #{Bold}handle#{Bold})"\r
 142     when "watched"\r
 143       "rss watched [#{Bold}handle#{Bold}] : list all watched rss feeds (matching #{Bold}handle#{Bold})"\r
 144     when "add"\r
 145       "rss add #{Bold}handle#{Bold} #{Bold}url#{Bold} [#{Bold}type#{Bold}] : add a new rss called #{Bold}handle#{Bold} from url #{Bold}url#{Bold} (of type #{Bold}type#{Bold})"\r
 146     when /^(del(ete)?|rm)$/\r
 147       "rss del(ete)|rm #{Bold}handle#{Bold} : delete rss feed #{Bold}handle#{Bold}"\r
 148     when "replace"\r
 149       "rss replace #{Bold}handle#{Bold} #{Bold}url#{Bold} [#{Bold}type#{Bold}] : try to replace the url of rss called #{Bold}handle#{Bold} with #{Bold}url#{Bold} (of type #{Bold}type#{Bold}); only works if nobody else is watching it"\r
 150     when "forcereplace"\r
 151       "rss forcereplace #{Bold}handle#{Bold} #{Bold}url#{Bold} [#{Bold}type#{Bold}] : replace the url of rss called #{Bold}handle#{Bold} with #{Bold}url#{Bold} (of type #{Bold}type#{Bold})"\r
 152     when "watch"\r
 153       "rss watch #{Bold}handle#{Bold} [#{Bold}url#{Bold} [#{Bold}type#{Bold}]] : watch rss #{Bold}handle#{Bold} for changes; when the other parameters are present, it will be created if it doesn't exist yet"\r
 154     when /(un|rm)watch/\r
 155       "rss unwatch|rmwatch #{Bold}handle#{Bold} : stop watching rss #{Bold}handle#{Bold} for changes"\r
 156     when "rewatch"\r
 157       "rss rewatch : restart threads that watch for changes in watched rss"\r
 158     else\r
 159       "manage RSS feeds: rss show|list|watched|add|del(ete)|rm|(force)replace|watch|unwatch|rmwatch|rewatch"\r
 160     end\r
 161   end\r
 162 \r
 163   def report_problem(report, e=nil, m=nil)\r
 164     if m && m.respond_to?(:reply)\r
 165       m.reply report\r
 166     else\r
 167       warning report\r
 168     end\r
 169     if e\r
 170       debug e.inspect\r
 171       debug e.backtrace.join("\n") if e.respond_to?(:backtrace)\r
 172     end\r
 173   end\r
 174 \r
 175   def show_rss(m, params)\r
 176     handle = params[:handle]\r
 177     limit = params[:limit].to_i\r
 178     limit = 15 if limit > 15\r
 179     limit = 1 if limit <= 0\r
 180     feed = @feeds.fetch(handle, nil)\r
 181     unless feed\r
 182       m.reply "I don't know any feeds named #{handle}"\r
 183       return\r
 184     end\r
 185     m.reply("Please wait, querying...")\r
 186     title = items = nil\r
 187     @@mutex.synchronize {\r
 188       title, items = fetchRss(feed, m)\r
 189     }\r
 190     return unless items\r
 191     m.reply("Channel : #{title}")\r
 192     # TODO: optional by-date sorting if dates present\r
 193     items[0...limit].reverse.each do |item|\r
 194       printFormattedRss(feed, item, {:places=>[m.replyto],:handle=>nil,:date=>true})\r
 195     end\r
 196   end\r
 197 \r
 198   def list_rss(m, params)\r
 199     wanted = params[:handle]\r
 200     reply = String.new\r
 201     @@mutex.synchronize {\r
 202       @feeds.each { |handle, feed|\r
 203         next if wanted and !handle.match(wanted)\r
 204         reply << "#{feed.handle}: #{feed.url} (in format: #{feed.type ? feed.type : 'default'})"\r
 205         (reply << " (watched)") if feed.watched_by?(m.replyto)\r
 206         reply << "\n"\r
 207       }\r
 208     }\r
 209     if reply.empty?\r
 210       reply = "no feeds found"\r
 211       reply << " matching #{wanted}" if wanted\r
 212     end\r
 213     m.reply reply\r
 214   end\r
 215 \r
 216   def watched_rss(m, params)\r
 217     wanted = params[:handle]\r
 218     reply = String.new\r
 219     @@mutex.synchronize {\r
 220       watchlist.each { |handle, feed|\r
 221         next if wanted and !handle.match(wanted)\r
 222         next unless feed.watched_by?(m.replyto)\r
 223         reply << "#{feed.handle}: #{feed.url} (in format: #{feed.type ? feed.type : 'default'})\n"\r
 224       }\r
 225     }\r
 226     if reply.empty?\r
 227       reply = "no watched feeds"\r
 228       reply << " matching #{wanted}" if wanted\r
 229     end\r
 230     m.reply reply\r
 231   end\r
 232 \r
 233   def add_rss(m, params, force=false)\r
 234     handle = params[:handle]\r
 235     url = params[:url]\r
 236     unless url.match(/https?/)\r
 237       m.reply "I only deal with feeds from HTTP sources, so I can't use #{url} (maybe you forgot the handle?)"\r
 238       return\r
 239     end\r
 240     type = params[:type]\r
 241     if @feeds.fetch(handle, nil) && !force\r
 242       m.reply "There is already a feed named #{handle} (URL: #{@feeds[handle].url})"\r
 243       return\r
 244     end\r
 245     unless url\r
 246       m.reply "You must specify both a handle and an url to add an RSS feed"\r
 247       return\r
 248     end\r
 249     @@mutex.synchronize {\r
 250       @feeds[handle] = RssBlob.new(url,handle,type)\r
 251     }\r
 252     reply = "Added RSS #{url} named #{handle}"\r
 253     if type\r
 254       reply << " (format: #{type})"\r
 255     end\r
 256     m.reply reply\r
 257     return handle\r
 258   end\r
 259 \r
 260   def del_rss(m, params, pass=false)\r
 261     feed = unwatch_rss(m, params, true)\r
 262     if feed.watched?\r
 263       m.reply "someone else is watching #{feed.handle}, I won't remove it from my list"\r
 264       return\r
 265     end\r
 266     @@mutex.synchronize {\r
 267       @feeds.delete(feed.handle)\r
 268     }\r
 269     m.okay unless pass\r
 270     return\r
 271   end\r
 272 \r
 273   def replace_rss(m, params)\r
 274     handle = params[:handle]\r
 275     if @feeds.key?(handle)\r
 276       del_rss(m, {:handle => handle}, true)\r
 277     end\r
 278     if @feeds.key?(handle)\r
 279       m.reply "can't replace #{feed.handle}"\r
 280     else\r
 281       add_rss(m, params, true)\r
 282     end\r
 283   end\r
 284 \r
 285   def forcereplace_rss(m, params)\r
 286     add_rss(m, params, true)\r
 287   end\r
 288 \r
 289   def watch_rss(m, params)\r
 290     handle = params[:handle]\r
 291     url = params[:url]\r
 292     type = params[:type]\r
 293     if url\r
 294       add_rss(m, params)\r
 295     end\r
 296     feed = nil\r
 297     @@mutex.synchronize {\r
 298       feed = @feeds.fetch(handle, nil)\r
 299     }\r
 300     if feed\r
 301       @@mutex.synchronize {\r
 302         if feed.add_watch(m.replyto)\r
 303           watchRss(feed, m)\r
 304           m.okay\r
 305         else\r
 306           m.reply "Already watching #{feed.handle}"\r
 307         end\r
 308       }\r
 309     else\r
 310       m.reply "Couldn't watch feed #{handle} (no such feed found)"\r
 311     end\r
 312   end\r
 313 \r
 314   def unwatch_rss(m, params, pass=false)\r
 315     handle = params[:handle]\r
 316     unless @feeds.has_key?(handle)\r
 317       m.reply("dunno that feed")\r
 318       return\r
 319     end\r
 320     feed = @feeds[handle]\r
 321     if feed.rm_watch(m.replyto)\r
 322       m.reply "#{m.replyto} has been removed from the watchlist for #{feed.handle}"\r
 323     else\r
 324       m.reply("#{m.replyto} wasn't watching #{feed.handle}") unless pass\r
 325     end\r
 326     if !feed.watched?\r
 327       @@mutex.synchronize {\r
 328         if @@watchThreads[handle].kind_of? Thread\r
 329           @@watchThreads[handle].kill\r
 330           debug "rmwatch: Killed thread for #{handle}"\r
 331           @@watchThreads.delete(handle)\r
 332         end\r
 333       }\r
 334     end\r
 335     return feed\r
 336   end\r
 337 \r
 338   def rewatch_rss(m=nil)\r
 339     kill_threads\r
 340 \r
 341     # Read watches from list.\r
 342     watchlist.each{ |handle, feed|\r
 343       watchRss(feed, m)\r
 344     }\r
 345     m.okay if m\r
 346   end\r
 347 \r
 348   private\r
 349   def watchRss(feed, m=nil)\r
 350     if @@watchThreads.has_key?(feed.handle)\r
 351       report_problem("watcher thread for #{feed.handle} is already running", nil, m)\r
 352       return\r
 353     end\r
 354     @@watchThreads[feed.handle] = Thread.new do\r
 355       debug "watcher for #{feed} started"\r
 356       oldItems = []\r
 357       firstRun = true\r
 358       failures = 0\r
 359       loop do\r
 360         begin\r
 361           debug "fetching #{feed}"\r
 362           title = newItems = nil\r
 363           @@mutex.synchronize {\r
 364             title, newItems = fetchRss(feed)\r
 365           }\r
 366           unless newItems\r
 367             debug "no items in feed #{feed}"\r
 368             failures +=1\r
 369           else\r
 370             debug "Checking if new items are available for #{feed}"\r
 371             if firstRun\r
 372               debug "First run, we'll see next time"\r
 373               firstRun = false\r
 374             else\r
 375               otxt = oldItems.map { |item| item.to_s }\r
 376               dispItems = newItems.reject { |item|\r
 377                 otxt.include?(item.to_s)\r
 378               }\r
 379               if dispItems.length > 0\r
 380                 debug "Found #{dispItems.length} new items in #{feed}"\r
 381                 dispItems.each { |item|\r
 382                   @@mutex.synchronize {\r
 383                     printFormattedRss(feed, item)\r
 384                   }\r
 385                 }\r
 386               else\r
 387                 debug "No new items found in #{feed}"\r
 388               end\r
 389             end\r
 390             oldItems = newItems.dup\r
 391           end\r
 392         rescue Exception => e\r
 393           error "Error watching #{feed}: #{e.inspect}"\r
 394           debug e.backtrace.join("\n")\r
 395           failures += 1\r
 396         end\r
 397 \r
 398         seconds = @bot.config['rss.thread_sleep'] * (failures + 1)\r
 399         seconds += seconds * (rand(100)-50)/100\r
 400         debug "watcher for #{feed} going to sleep #{seconds} seconds.."\r
 401         sleep seconds\r
 402       end\r
 403     end\r
 404   end\r
 405 \r
 406   def printFormattedRss(feed, item, opts=nil)\r
 407     places = feed.watchers\r
 408     handle = "::#{feed.handle}:: "\r
 409     date = String.new\r
 410     if opts\r
 411       places = opts[:places] if opts.key?(:places)\r
 412       handle = opts[:handle].to_s if opts.key?(:handle)\r
 413       date = item.pubDate.strftime("%Y/%m/%d %H.%M.%S") + " :: " if (opts.key?(:date) && opts[:date] && item.pubDate)\r
 414     end\r
 415     title = "#{Bold}#{item.title.chomp.riphtml}#{Bold}" if item.title\r
 416     desc = item.description.gsub(/\s+/,' ').strip.riphtml.shorten(@bot.config['rss.text_max']) if item.description\r
 417     link = item.link.chomp if item.link\r
 418     places.each { |loc|\r
 419       case feed.type\r
 420       when 'blog'\r
 421         @bot.say loc, "#{handle}#{date}#{item.category.content} blogged at #{link}"\r
 422         @bot.say loc, "#{handle}#{title} - #{desc}"\r
 423       when 'forum'\r
 424         @bot.say loc, "#{handle}#{date}#{title}#{' @ ' if item.title && item.link}#{link}"\r
 425       when 'wiki'\r
 426         @bot.say loc, "#{handle}#{date}#{item.title} has been edited by #{item.dc_creator}. #{desc} #{link}"\r
 427       when 'gmame'\r
 428         @bot.say loc, "#{handle}#{date}Message #{title} sent by #{item.dc_creator}. #{desc}"\r
 429       when 'trac'\r
 430         @bot.say loc, "#{handle}#{date}#{title} @ #{link}"\r
 431         unless item.title =~ /^Changeset \[(\d+)\]/\r
 432           @bot.say loc, "#{handle}#{date}#{desc}"\r
 433         end\r
 434       else\r
 435         @bot.say loc, "#{handle}#{date}#{title}#{' @ ' if item.title && item.link}#{link}"\r
 436       end\r
 437     }\r
 438   end\r
 439 \r
 440   def fetchRss(feed, m=nil)\r
 441     begin\r
 442       # Use 60 sec timeout, cause the default is too low\r
 443       xml = @bot.httputil.get_cached(feed.url,60,60)\r
 444     rescue URI::InvalidURIError, URI::BadURIError => e\r
 445       report_problem("invalid rss feed #{feed.url}", e, m)\r
 446       return\r
 447     rescue => e\r
 448       report_problem("error getting #{feed.url}", e, m)\r
 449       return\r
 450     end\r
 451     debug "fetched #{feed}"\r
 452     unless xml\r
 453       report_problem("reading feed #{feed} failed", nil, m)\r
 454       return\r
 455     end\r
 456 \r
 457     begin\r
 458       ## do validate parse\r
 459       rss = RSS::Parser.parse(xml)\r
 460       debug "parsed #{feed}"\r
 461     rescue RSS::InvalidRSSError\r
 462       ## do non validate parse for invalid RSS 1.0\r
 463       begin\r
 464         rss = RSS::Parser.parse(xml, false)\r
 465       rescue RSS::Error => e\r
 466         report_problem("parsing rss stream failed, whoops =(", e, m)\r
 467         return\r
 468       end\r
 469     rescue RSS::Error => e\r
 470       report_problem("parsing rss stream failed, oioi", e, m)\r
 471       return\r
 472     rescue => e\r
 473       report_problem("processing error occured, sorry =(", e, m)\r
 474       return\r
 475     end\r
 476     items = []\r
 477     if rss.nil?\r
 478       report_problem("#{feed} does not include RSS 1.0 or 0.9x/2.0", nil, m)\r
 479     else\r
 480       begin\r
 481         rss.output_encoding = 'UTF-8'\r
 482       rescue RSS::UnknownConvertMethod => e\r
 483         report_problem("bah! something went wrong =(", e, m)\r
 484         return\r
 485       end\r
 486       rss.channel.title ||= "Unknown"\r
 487       title = rss.channel.title\r
 488       rss.items.each do |item|\r
 489         item.title ||= "Unknown"\r
 490         items << item\r
 491       end\r
 492     end\r
 493 \r
 494     if items.empty?\r
 495       report_problem("no items found in the feed, maybe try weed?", e, m)\r
 496       return\r
 497     end\r
 498     return [title, items]\r
 499   end\r
 500 end\r
 501 \r
 502 plugin = RSSFeedsPlugin.new\r
 503 \r
 504 plugin.map 'rss show :handle :limit',\r
 505   :action => 'show_rss',\r
 506   :requirements => {:limit => /^\d+$/},\r
 507   :defaults => {:limit => 5}\r
 508 plugin.map 'rss list :handle',\r
 509   :action => 'list_rss',\r
 510   :defaults =>  {:handle => nil}\r
 511 plugin.map 'rss watched :handle',\r
 512   :action => 'watched_rss',\r
 513   :defaults =>  {:handle => nil}\r
 514 plugin.map 'rss add :handle :url :type',\r
 515   :action => 'add_rss',\r
 516   :defaults => {:type => nil}\r
 517 plugin.map 'rss del :handle',\r
 518   :action => 'del_rss'\r
 519 plugin.map 'rss delete :handle',\r
 520   :action => 'del_rss'\r
 521 plugin.map 'rss rm :handle',\r
 522   :action => 'del_rss'\r
 523 plugin.map 'rss replace :handle :url :type',\r
 524   :action => 'replace_rss',\r
 525   :defaults => {:type => nil}\r
 526 plugin.map 'rss forcereplace :handle :url :type',\r
 527   :action => 'forcereplace_rss',\r
 528   :defaults => {:type => nil}\r
 529 plugin.map 'rss watch :handle :url :type',\r
 530   :action => 'watch_rss',\r
 531   :defaults => {:url => nil, :type => nil}\r
 532 plugin.map 'rss unwatch :handle',\r
 533   :action => 'unwatch_rss'\r
 534 plugin.map 'rss rmwatch :handle',\r
 535   :action => 'unwatch_rss'\r
 536 plugin.map 'rss rewatch :handle',\r
 537   :action => 'rewatch_rss'\r