src/src/queue.c

   1 /* $Cambridge: exim/src/src/queue.c,v 1.3 2004/11/24 16:14:50 ph10 Exp $ */
   2
   3 /*************************************************
   4 *     Exim - an Internet mail transport agent    *
   5 *************************************************/
   6
   7 /* Copyright (c) University of Cambridge 1995 - 2004 */
   8 /* See the file NOTICE for conditions of use and distribution. */
   9
  10 /* Functions that operate on the input queue. */
  11
  12
  13 #include "exim.h"
  14
  15
  16
  17 /* The number of nodes to use for the bottom-up merge sort when a list of queue
  18 items is to be ordered. The code for this sort was contributed as a patch by
  19 Michael Haardt. */
  20
  21 #define LOG2_MAXNODES 32
  22
  23
  24
  25 /*************************************************
  26 *  Helper sort function for queue_get_spool_list *
  27 *************************************************/
  28
  29 /* This function is used when sorting the queue list in the function
  30 queue_get_spool_list() below.
  31
  32 Arguments:
  33   a            points to an ordered list of queue_filename items
  34   b            points to another ordered list
  35
  36 Returns:       a pointer to a merged ordered list
  37 */
  38
  39 static queue_filename *
  40 merge_queue_lists(queue_filename *a, queue_filename *b)
  41 {
  42 queue_filename *first = NULL;
  43 queue_filename **append = &first;
  44
  45 while (a != NULL && b != NULL)
  46   {
  47   if (Ustrcmp(a->text, b->text) < 0)
  48     {
  49     *append = a;
  50     append= &a->next;
  51     a = a->next;
  52     }
  53   else
  54     {
  55     *append = b;
  56     append= &b->next;
  57     b = b->next;
  58     }
  59   }
  60
  61 *append=((a != NULL)? a : b);
  62 return first;
  63 }
  64
  65
  66
  67
  68
  69 /*************************************************
  70 *             Get list of spool files            *
  71 *************************************************/
  72
  73 /* Scan the spool directory and return a list of the relevant file names
  74 therein. Single-character sub-directories are handled as follows:
  75
  76   If the first argument is > 0, a sub-directory is scanned; the letter is
  77   taken from the nth entry in subdirs.
  78
  79   If the first argument is 0, sub-directories are not scanned. However, a
  80   list of them is returned.
  81
  82   If the first argument is < 0, sub-directories are scanned for messages,
  83   and a single, unified list is created. The returned data blocks contain the
  84   identifying character of the subdirectory, if any. The subdirs vector is
  85   still required as an argument.
  86
  87 If the randomize argument is TRUE, messages are returned in "randomized" order.
  88 Actually, the order is anything but random, but the algorithm is cheap, and the
  89 point is simply to ensure that the same order doesn't occur every time, in case
  90 a particular message is causing a remote MTA to barf - we would like to try
  91 other messages to that MTA first.
  92
  93 If the randomize argument is FALSE, sort the list according to the file name.
  94 This should give the order in which the messages arrived. It is normally used
  95 only for presentation to humans, in which case the (possibly expensive) sort
  96 that it does is not part of the normal operational code. However, if
  97 queue_run_in_order is set, sorting has to take place for queue runs as well.
  98 When randomize is FALSE, the first argument is normally -1, so all messages are
  99 included.
 100
 101 Arguments:
 102   subdiroffset   sub-directory character offset, or 0 or -1 (see above)
 103   subdirs        vector to store list of subdirchars
 104   subcount       pointer to int in which to store count of subdirs
 105   randomize      TRUE if the order of the list is to be unpredictable
 106
 107 Returns:         pointer to a chain of queue name items
 108 */
 109
 110 static queue_filename *
 111 queue_get_spool_list(int subdiroffset, uschar *subdirs, int *subcount,
 112   BOOL randomize)
 113 {
 114 int i;
 115 int flags = 0;
 116 int resetflags = -1;
 117 int subptr;
 118 queue_filename *yield = NULL;
 119 queue_filename *last = NULL;
 120 struct dirent *ent;
 121 DIR *dd;
 122 uschar buffer[256];
 123 queue_filename *root[LOG2_MAXNODES];
 124
 125 /* When randomizing, the file names are added to the start or end of the list
 126 according to the bits of the flags variable. Get a collection of bits from the
 127 current time. Use the bottom 16 and just keep re-using them if necessary. When
 128 not randomizing, initialize the sublists for the bottom-up merge sort. */
 129
 130 if (randomize) resetflags = time(NULL) & 0xFFFF;
 131   else for (i = 0; i < LOG2_MAXNODES; i++) root[i] = NULL;
 132
 133 /* If processing the full queue, or just the top-level, start at the base
 134 directory, and initialize the first subdirectory name (as none). Otherwise,
 135 start at the sub-directory offset. */
 136
 137 if (subdiroffset <= 0)
 138   {
 139   i = 0;
 140   subdirs[0] = 0;
 141   *subcount = 0;
 142   }
 143 else i = subdiroffset;
 144
 145 /* Set up prototype for the directory name. */
 146
 147 sprintf(CS buffer, "%s/input", spool_directory);
 148 subptr = Ustrlen(buffer);
 149 buffer[subptr+2] = 0;               /* terminator for lengthened name */
 150
 151 /* This loop runs at least once, for the main or given directory, and then as
 152 many times as necessary to scan any subdirectories encountered in the main
 153 directory, if they are to be scanned at this time. */
 154
 155 for (; i <= *subcount; i++)
 156   {
 157   int count = 0;
 158   int subdirchar = subdirs[i];      /* 0 for main directory */
 159
 160   if (subdirchar != 0)
 161     {
 162     buffer[subptr] = '/';
 163     buffer[subptr+1] = subdirchar;
 164     }
 165
 166   dd = opendir(CS buffer);
 167   if (dd == NULL) continue;
 168
 169   /* Now scan the directory. */
 170
 171   while ((ent = readdir(dd)) != NULL)
 172     {
 173     uschar *name = US ent->d_name;
 174     int len = Ustrlen(name);
 175
 176     /* Count entries */
 177
 178     count++;
 179
 180     /* If we find a single alphameric sub-directory in the base directory,
 181     add it to the list for subsequent scans. */
 182
 183     if (i == 0 && len == 1 && isalnum(*name))
 184       {
 185       *subcount = *subcount + 1;
 186       subdirs[*subcount] = *name;
 187       continue;
 188       }
 189
 190     /* Otherwise, if it is a header spool file, add it to the list */
 191
 192     if (len == SPOOL_NAME_LENGTH &&
 193         Ustrcmp(name + SPOOL_NAME_LENGTH - 2, "-H") == 0)
 194       {
 195       queue_filename *next =
 196         store_get(sizeof(queue_filename) + Ustrlen(name));
 197       Ustrcpy(next->text, name);
 198       next->dir_uschar = subdirchar;
 199
 200       /* Handle the creation of a randomized list. The first item becomes both
 201       the top and bottom of the list. Subsequent items are inserted either at
 202       the top or the bottom, randomly. This is, I argue, faster than doing a
 203       sort by allocating a random number to each item, and it also saves having
 204       to store the number with each item. */
 205
 206       if (randomize)
 207         {
 208         if (yield == NULL)
 209           {
 210           next->next = NULL;
 211           yield = last = next;
 212           }
 213         else
 214           {
 215           if (flags == 0) flags = resetflags;
 216           if ((flags & 1) == 0)
 217             {
 218             next->next = yield;
 219             yield = next;
 220             }
 221           else
 222             {
 223             next->next = NULL;
 224             last->next = next;
 225             last = next;
 226             }
 227           flags = flags >> 1;
 228           }
 229         }
 230
 231       /* Otherwise do a bottom-up merge sort based on the name. */
 232
 233       else
 234         {
 235         int j;
 236         next->next = NULL;
 237         for (j = 0; j < LOG2_MAXNODES; j++)
 238           {
 239           if (root[j] != NULL)
 240             {
 241             next = merge_queue_lists(next, root[j]);
 242             root[j] = (j == LOG2_MAXNODES - 1)? next : NULL;
 243             }
 244           else
 245             {
 246             root[j] = next;
 247             break;
 248             }
 249           }
 250         }
 251       }
 252     }
 253
 254   /* Finished with this directory */
 255
 256   closedir(dd);
 257
 258   /* If we have just scanned a sub-directory, and it was empty (count == 2
 259   implies just "." and ".." entries), and Exim is no longer configured to
 260   use sub-directories, attempt to get rid of it. At the same time, try to
 261   get rid of any corresponding msglog subdirectory. These are just cosmetic
 262   tidying actions, so just ignore failures. If we are scanning just a single
 263   sub-directory, break the loop. */
 264
 265   if (i != 0)
 266     {
 267     if (!split_spool_directory && count <= 2)
 268       {
 269       rmdir(CS buffer);
 270       sprintf(CS big_buffer, "%s/msglog/%c", spool_directory, subdirchar);
 271       rmdir(CS big_buffer);
 272       }
 273     if (subdiroffset > 0) break;    /* Single sub-directory */
 274     }
 275
 276   /* If we have just scanned the base directory, and subdiroffset is 0,
 277   we do not want to continue scanning the sub-directories. */
 278
 279   else
 280     {
 281     if (subdiroffset == 0) break;
 282     }
 283   }    /* Loop for multiple subdirectories */
 284
 285 /* When using a bottom-up merge sort, do the final merging of the sublists.
 286 Then pass back the final list of file items. */
 287
 288 if (!randomize)
 289   for (i = 0; i < LOG2_MAXNODES; ++i)
 290     yield = merge_queue_lists(yield, root[i]);
 291
 292 return yield;
 293 }
 294
 295
 296
 297
 298 /*************************************************
 299 *              Perform a queue run               *
 300 *************************************************/
 301
 302 /* The arguments give the messages to start and stop at; NULL means start at
 303 the beginning or stop at the end. If the given start message doesn't exist, we
 304 start at the next lexically greater one, and likewise we stop at the after the
 305 previous lexically lesser one if the given stop message doesn't exist. Because
 306 a queue run can take some time, stat each file before forking, in case it has
 307 been delivered in the meantime by some other means.
 308
 309 The global variables queue_run_force and queue_run_local may be set to cause
 310 forced deliveries or local-only deliveries, respectively.
 311
 312 If deliver_selectstring[_sender] is not NULL, skip messages whose recipients do
 313 not contain the string. As this option is typically used when a machine comes
 314 back online, we want to ensure that at least one delivery attempt takes place,
 315 so force the first one. The selecting string can optionally be a regex, or
 316 refer to the sender instead of recipients.
 317
 318 If queue_2stage is set, the queue is scanned twice. The first time, queue_smtp
 319 is set so that routing is done for all messages. Thus in the second run those
 320 that are routed to the same host should go down the same SMTP connection.
 321
 322 Arguments:
 323   start_id   message id to start at, or NULL for all
 324   stop_id    message id to end at, or NULL for all
 325   recurse    TRUE if recursing for 2-stage run
 326
 327 Returns:     nothing
 328 */
 329
 330 void
 331 queue_run(uschar *start_id, uschar *stop_id, BOOL recurse)
 332 {
 333 BOOL force_delivery = queue_run_force || deliver_selectstring != NULL ||
 334   deliver_selectstring_sender != NULL;
 335 const pcre *selectstring_regex = NULL;
 336 const pcre *selectstring_regex_sender = NULL;
 337 uschar *log_detail = NULL;
 338 int subcount = 0;
 339 int i;
 340 uschar subdirs[64];
 341
 342 /* Cancel any specific queue domains. Turn off the flag that causes SMTP
 343 deliveries not to happen, unless doing a 2-stage queue run, when the SMTP flag
 344 gets set. Save the queue_runner's pid and the flag that indicates any
 345 deliveries run directly from this process. Deliveries that are run by handing
 346 on TCP/IP channels have queue_run_pid set, but not queue_running. */
 347
 348 queue_domains = NULL;
 349 queue_smtp_domains = NULL;
 350 queue_smtp = queue_2stage;
 351
 352 queue_run_pid = getpid();
 353 queue_running = TRUE;
 354
 355 /* Log the true start of a queue run, and fancy options */
 356
 357 if (!recurse)
 358   {
 359   uschar extras[8];
 360   uschar *p = extras;
 361
 362   if (queue_2stage) *p++ = 'q';
 363   if (queue_run_first_delivery) *p++ = 'i';
 364   if (queue_run_force) *p++ = 'f';
 365   if (deliver_force_thaw) *p++ = 'f';
 366   if (queue_run_local) *p++ = 'l';
 367   *p = 0;
 368
 369   p = big_buffer;
 370   sprintf(CS p, "pid=%d", (int)queue_run_pid);
 371   while (*p != 0) p++;
 372
 373   if (extras[0] != 0)
 374     {
 375     sprintf(CS p, " -q%s", extras);
 376     while (*p != 0) p++;
 377     }
 378
 379   if (deliver_selectstring != NULL)
 380     {
 381     sprintf(CS p, " -R%s %s", deliver_selectstring_regex? "r" : "",
 382       deliver_selectstring);
 383     while (*p != 0) p++;
 384     }
 385
 386   if (deliver_selectstring_sender != NULL)
 387     {
 388     sprintf(CS p, " -S%s %s", deliver_selectstring_sender_regex? "r" : "",
 389       deliver_selectstring_sender);
 390     while (*p != 0) p++;
 391     }
 392
 393   log_detail = string_copy(big_buffer);
 394   log_write(L_queue_run, LOG_MAIN, "Start queue run: %s", log_detail);
 395   }
 396
 397 /* If deliver_selectstring is a regex, compile it. */
 398
 399 if (deliver_selectstring != NULL && deliver_selectstring_regex)
 400   selectstring_regex = regex_must_compile(deliver_selectstring, TRUE, FALSE);
 401
 402 if (deliver_selectstring_sender != NULL && deliver_selectstring_sender_regex)
 403   selectstring_regex_sender =
 404     regex_must_compile(deliver_selectstring_sender, TRUE, FALSE);
 405
 406 /* If the spool is split into subdirectories, we want to process it one
 407 directory at a time, so as to spread out the directory scanning and the
 408 delivering when there are lots of messages involved, except when
 409 queue_run_in_order is set.
 410
 411 In the random order case, this loop runs once for the main directory (handling
 412 any messages therein), and then repeats for any subdirectories that were found.
 413 When the first argument of queue_get_spool_list() is 0, it scans the top
 414 directory, fills in subdirs, and sets subcount. The order of the directories is
 415 then randomized after the first time through, before they are scanned in
 416 subsqeuent iterations.
 417
 418 When the first argument of queue_get_spool_list() is -1 (for queue_run_in_
 419 order), it scans all directories and makes a single message list. */
 420
 421 for (i  = (queue_run_in_order? -1 : 0);
 422      i <= (queue_run_in_order? -1 : subcount);
 423      i++)
 424   {
 425   queue_filename *f;
 426   void *reset_point1 = store_get(0);
 427
 428   DEBUG(D_queue_run)
 429     {
 430     if (i == 0)
 431       debug_printf("queue running main directory\n");
 432     else if (i == -1)
 433       debug_printf("queue running combined directories\n");
 434     else
 435       debug_printf("queue running subdirectory '%c'\n", subdirs[i]);
 436     }
 437
 438   for (f = queue_get_spool_list(i, subdirs, &subcount, !queue_run_in_order);
 439        f != NULL;
 440        f = f->next)
 441     {
 442     pid_t pid;
 443     int status;
 444     int pfd[2];
 445     struct stat statbuf;
 446     uschar buffer[256];
 447
 448     /* Unless deliveries are forced, if deliver_queue_load_max is non-negative,
 449     check that the load average is low enough to permit deliveries. */
 450
 451     if (!queue_run_force && deliver_queue_load_max >= 0)
 452       {
 453       load_average = os_getloadavg();
 454       if (load_average > deliver_queue_load_max)
 455         {
 456         log_write(0, LOG_MAIN, "abandon queue run (load %.2f, max %.2f)",
 457           (double)load_average/1000.0,
 458           (double)deliver_queue_load_max/1000.0);
 459         i = subcount;                 /* Don't process other directories */
 460         break;
 461         }
 462       else
 463         {
 464         DEBUG(D_load) debug_printf("load average = %.2f max = %.2f\n",
 465           (double)load_average/1000.0,
 466           (double)deliver_queue_load_max/1000.0);
 467         }
 468       }
 469
 470     /* Skip this message unless it's within the ID limits */
 471
 472     if (stop_id != NULL && Ustrncmp(f->text, stop_id, MESSAGE_ID_LENGTH) > 0)
 473       continue;
 474     if (start_id != NULL && Ustrncmp(f->text, start_id, MESSAGE_ID_LENGTH) < 0)
 475       continue;
 476
 477     /* Check that the message still exists */
 478
 479     message_subdir[0] = f->dir_uschar;
 480     sprintf(CS buffer, "%s/input/%s/%s", spool_directory, message_subdir,
 481       f->text);
 482     if (Ustat(buffer, &statbuf) < 0) continue;
 483
 484     /* There are some tests that require the reading of the header file. Ensure
 485     the store used is scavenged afterwards so that this process doesn't keep
 486     growing its store. We have to read the header file again when actually
 487     delivering, but it's cheaper than forking a delivery process for each
 488     message when many are not going to be delivered. */
 489
 490     if (deliver_selectstring != NULL || deliver_selectstring_sender != NULL ||
 491         queue_run_first_delivery)
 492       {
 493       BOOL wanted = TRUE;
 494       BOOL orig_dont_deliver = dont_deliver;
 495       void *reset_point2 = store_get(0);
 496
 497       /* Restore the original setting of dont_deliver after reading the header,
 498       so that a setting for a particular message doesn't force it for any that
 499       follow. If the message is chosen for delivery, the header is read again
 500       in the deliver_message() function, in a subprocess. */
 501
 502       if (spool_read_header(f->text, FALSE, TRUE) != spool_read_OK) continue;
 503       dont_deliver = orig_dont_deliver;
 504
 505       /* Now decide if we want to deliver this message. As we have read the
 506       header file, we might as well do the freeze test now, and save forking
 507       another process. */
 508
 509       if (deliver_freeze && !deliver_force_thaw)
 510         {
 511         log_write(L_skip_delivery, LOG_MAIN, "Message is frozen");
 512         wanted = FALSE;
 513         }
 514
 515       /* Check first_delivery in the case when there are no message logs. */
 516
 517       else if (queue_run_first_delivery && !deliver_firsttime)
 518         {
 519         DEBUG(D_queue_run) debug_printf("%s: not first delivery\n", f->text);
 520         wanted = FALSE;
 521         }
 522
 523       /* Check for a matching address if deliver_selectstring[_sender} is set.
 524       If so, we do a fully delivery - don't want to omit other addresses since
 525       their routing might trigger re-writing etc. */
 526
 527       /* Sender matching */
 528
 529       else if (deliver_selectstring_sender != NULL &&
 530               !(deliver_selectstring_sender_regex?
 531                 (pcre_exec(selectstring_regex_sender, NULL, CS sender_address,
 532                   Ustrlen(sender_address), 0, PCRE_EOPT, NULL, 0) >= 0)
 533                 :
 534                 (strstric(sender_address, deliver_selectstring_sender, FALSE)
 535                   != NULL)))
 536         {
 537         DEBUG(D_queue_run) debug_printf("%s: sender address did not match %s\n",
 538           f->text, deliver_selectstring_sender);
 539         wanted = FALSE;
 540         }
 541
 542       /* Recipient matching */
 543
 544       else if (deliver_selectstring != NULL)
 545         {
 546         int i;
 547         for (i = 0; i < recipients_count; i++)
 548           {
 549           uschar *address = recipients_list[i].address;
 550           if ((deliver_selectstring_regex?
 551                (pcre_exec(selectstring_regex, NULL, CS address,
 552                  Ustrlen(address), 0, PCRE_EOPT, NULL, 0) >= 0)
 553                :
 554                (strstric(address, deliver_selectstring, FALSE) != NULL))
 555               &&
 556               tree_search(tree_nonrecipients, address) == NULL)
 557             break;
 558           }
 559
 560         if (i >= recipients_count)
 561           {
 562           DEBUG(D_queue_run)
 563             debug_printf("%s: no recipient address matched %s\n",
 564               f->text, deliver_selectstring);
 565           wanted = FALSE;
 566           }
 567         }
 568
 569       /* Recover store used when reading the header */
 570
 571       store_reset(reset_point2);
 572       if (!wanted) continue;      /* With next message */
 573       }
 574
 575     /* OK, got a message we want to deliver. Create a pipe which will
 576     serve as a means of detecting when all the processes created by the
 577     delivery process are finished. This is relevant when the delivery
 578     process passes one or more SMTP channels on to its own children. The
 579     pipe gets passed down; by reading on it here we detect when the last
 580     descendent dies by the unblocking of the read. It's a pity that for
 581     most of the time the pipe isn't used, but creating a pipe should be
 582     pretty cheap. */
 583
 584     if (pipe(pfd) < 0)
 585       {
 586       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "failed to create pipe in queue "
 587         "runner process %d: %s", queue_run_pid, strerror(errno));
 588       }
 589     queue_run_pipe = pfd[pipe_write];  /* To ensure it gets passed on. */
 590
 591     /* Make sure it isn't stdin. This seems unlikely, but just to be on the
 592     safe side... */
 593
 594     if (queue_run_pipe == 0)
 595       {
 596       queue_run_pipe = dup(queue_run_pipe);
 597       close(0);
 598       }
 599
 600     /* Before forking to deliver the message, ensure any open and cached
 601     lookup files or databases are closed. Otherwise, closing in the subprocess
 602     can make the next subprocess have problems. There won't often be anything
 603     open here, but it is possible (e.g. if spool_directory is an expanded
 604     string). A single call before this loop would probably suffice, but just in
 605     case expansions get inserted at some point, I've taken the heavy-handed
 606     approach. When nothing is open, the call should be cheap. */
 607
 608     search_tidyup();
 609
 610     /* Now deliver the message; get the id by cutting the -H off the file
 611     name. The return of the process is zero if a delivery was attempted. */
 612
 613     set_process_info("running queue: %s", f->text);
 614     f->text[SPOOL_NAME_LENGTH-2] = 0;
 615     if ((pid = fork()) == 0)
 616       {
 617       int rc;
 618       if (running_in_test_harness) millisleep(100);
 619       (void)close(pfd[pipe_read]);
 620       rc = deliver_message(f->text, force_delivery, FALSE);
 621       _exit(rc == DELIVER_NOT_ATTEMPTED);
 622       }
 623     if (pid < 0)
 624       log_write(0, LOG_MAIN|LOG_PANIC_DIE, "fork of delivery process from "
 625         "queue runner %d failed\n", queue_run_pid);
 626
 627     /* Close the writing end of the synchronizing pipe in this process,
 628     then wait for the first level process to terminate. */
 629
 630     close(pfd[pipe_write]);
 631     set_process_info("running queue: waiting for %s (%d)", f->text, pid);
 632     while (wait(&status) != pid);
 633
 634     /* A zero return means a delivery was attempted; turn off the force flag
 635     for any subsequent calls unless queue_force is set. */
 636
 637     if ((status & 0xffff) == 0) force_delivery = queue_run_force;
 638
 639     /* If the process crashed, tell somebody */
 640
 641     else if ((status & 0x00ff) != 0)
 642       {
 643       log_write(0, LOG_MAIN|LOG_PANIC,
 644         "queue run: process %d crashed with signal %d while delivering %s",
 645         (int)pid, status & 0x00ff, f->text);
 646       }
 647
 648     /* Before continuing, wait till the pipe gets closed at the far end. This
 649     tells us that any children created by the delivery to re-use any SMTP
 650     channels have all finished. Since no process actually writes to the pipe,
 651     the mere fact that read() unblocks is enough. */
 652
 653     set_process_info("running queue: waiting for children of %d", pid);
 654     (void)read(pfd[pipe_read], buffer, sizeof(buffer));
 655     (void)close(pfd[pipe_read]);
 656     set_process_info("running queue");
 657
 658     /* If we are in the test harness, and this is not the first of a 2-stage
 659     queue run, update fudged queue times. */
 660
 661     if (running_in_test_harness && !queue_2stage)
 662       {
 663       uschar *fqtnext = Ustrchr(fudged_queue_times, '/');
 664       if (fqtnext != NULL) fudged_queue_times = fqtnext + 1;
 665       }
 666     }                                  /* End loop for list of messages */
 667
 668   store_reset(reset_point1);           /* Scavenge list of messages */
 669
 670   /* If this was the first time through for random order processing, and
 671   sub-directories have been found, randomize their order if necessary. */
 672
 673   if (i == 0 && subcount > 1 && !queue_run_in_order)
 674     {
 675     int j;
 676     for (j = 1; j <= subcount; j++)
 677       {
 678       int r = random_number(100);
 679       if (r >= 50)
 680         {
 681         int k = (r % subcount) + 1;
 682         int x = subdirs[j];
 683         subdirs[j] = subdirs[k];
 684         subdirs[k] = x;
 685         }
 686       }
 687     }
 688   }                                    /* End loop for multiple directories */
 689
 690 /* If queue_2stage is true, we do it all again, with the 2stage flag
 691 turned off. */
 692
 693 if (queue_2stage)
 694   {
 695   queue_2stage = FALSE;
 696   queue_run(start_id, stop_id, TRUE);
 697   }
 698
 699 /* At top level, log the end of the run. */
 700
 701 if (!recurse) log_write(L_queue_run, LOG_MAIN, "End queue run: %s", log_detail);
 702 }
 703
 704
 705
 706
 707 /************************************************
 708 *         Count messages on the queue           *
 709 ************************************************/
 710
 711 /* Called as a result of -bpc
 712
 713 Arguments:  none
 714 Returns:    nothing
 715 */
 716
 717 void
 718 queue_count(void)
 719 {
 720 int subcount;
 721 int count = 0;
 722 queue_filename *f = NULL;
 723 uschar subdirs[64];
 724 f = queue_get_spool_list(
 725         -1,             /* entire queue */
 726         subdirs,        /* for holding sub list */
 727         &subcount,      /* for subcount */
 728         FALSE);         /* not random */
 729 for (; f != NULL; f = f->next) count++;
 730 fprintf(stdout, "%d\n", count);
 731 }
 732
 733
 734
 735 /************************************************
 736 *          List extra deliveries                *
 737 ************************************************/
 738
 739 /* This is called from queue_list below to print out all addresses that
 740 have received a message but which were not primary addresses. That is, all
 741 the addresses in the tree of non-recipients that are not primary addresses.
 742 The tree has been scanned and the data field filled in for those that are
 743 primary addresses.
 744
 745 Argument:    points to the tree node
 746 Returns:     nothing
 747 */
 748
 749 static void queue_list_extras(tree_node *p)
 750 {
 751 if (p->left != NULL) queue_list_extras(p->left);
 752 if (!p->data.val) printf("       +D %s\n", p->name);
 753 if (p->right != NULL) queue_list_extras(p->right);
 754 }
 755
 756
 757
 758 /************************************************
 759 *          List messages on the queue           *
 760 ************************************************/
 761
 762 /* Or a given list of messages. In the "all" case, we get a list of file names
 763 as quickly as possible, then scan each one for information to output. If any
 764 disappear while we are processing, just leave them out, but give an error if an
 765 explicit list was given. This function is a top-level function that is obeyed
 766 as a result of the -bp argument. As there may be a lot of messages on the
 767 queue, we must tidy up the store after reading the headers for each one.
 768
 769 Arguments:
 770    option     0 => list top-level recipients, with "D" for those delivered
 771               1 => list only undelivered top-level recipients
 772               2 => as 0, plus any generated delivered recipients
 773               If 8 is added to any of these values, the queue is listed in
 774                 random order.
 775    list       => first of any message ids to list
 776    count      count of message ids; 0 => all
 777
 778 Returns:      nothing
 779 */
 780
 781 void
 782 queue_list(int option, uschar **list, int count)
 783 {
 784 int i;
 785 int subcount;
 786 int now = (int)time(NULL);
 787 void *reset_point;
 788 queue_filename *f = NULL;
 789 uschar subdirs[64];
 790
 791 /* If given a list of messages, build a chain containing their ids. */
 792
 793 if (count > 0)
 794   {
 795   queue_filename *last = NULL;
 796   for (i = 0; i < count; i++)
 797     {
 798     queue_filename *next =
 799       store_get(sizeof(queue_filename) + Ustrlen(list[i]) + 2);
 800     sprintf(CS next->text, "%s-H", list[i]);
 801     next->dir_uschar = '*';
 802     next->next = NULL;
 803     if (i == 0) f = next; else last->next = next;
 804     last = next;
 805     }
 806   }
 807
 808 /* Otherwise get a list of the entire queue, in order if necessary. */
 809
 810 else
 811   f = queue_get_spool_list(
 812           -1,             /* entire queue */
 813           subdirs,        /* for holding sub list */
 814           &subcount,      /* for subcount */
 815           option >= 8);   /* randomize if required */
 816
 817 if (option >= 8) option -= 8;
 818
 819 /* Now scan the chain and print information, resetting store used
 820 each time. */
 821
 822 reset_point = store_get(0);
 823
 824 for (; f != NULL; f = f->next)
 825   {
 826   int rc, save_errno;
 827   int size = 0;
 828   BOOL env_read;
 829
 830   store_reset(reset_point);
 831   message_size = 0;
 832   message_subdir[0] = f->dir_uschar;
 833   rc = spool_read_header(f->text, FALSE, count <= 0);
 834   if (rc == spool_read_notopen && errno == ENOENT && count <= 0) continue;
 835   save_errno = errno;
 836
 837   env_read = (rc == spool_read_OK || rc == spool_read_hdrerror);
 838
 839   if (env_read)
 840     {
 841     int ptr;
 842     FILE *jread;
 843     struct stat statbuf;
 844
 845     sprintf(CS big_buffer, "%s/input/%s/%s", spool_directory, message_subdir,
 846       f->text);
 847     ptr = Ustrlen(big_buffer)-1;
 848     big_buffer[ptr] = 'D';
 849
 850     /* Add the data size to the header size; don't count the file name
 851     at the start of the data file, but add one for the notional blank line
 852     that precedes the data. */
 853
 854     if (Ustat(big_buffer, &statbuf) == 0)
 855       size = message_size + statbuf.st_size - SPOOL_DATA_START_OFFSET + 1;
 856     i = (now - received_time)/60;  /* minutes on queue */
 857     if (i > 90)
 858       {
 859       i = (i + 30)/60;
 860       if (i > 72) printf("%2dd ", (i + 12)/24); else printf("%2dh ", i);
 861       }
 862     else printf("%2dm ", i);
 863
 864     /* Collect delivered addresses from any J file */
 865
 866     big_buffer[ptr] = 'J';
 867     jread = Ufopen(big_buffer, "rb");
 868     if (jread != NULL)
 869       {
 870       while (Ufgets(big_buffer, big_buffer_size, jread) != NULL)
 871         {
 872         int n = Ustrlen(big_buffer);
 873         big_buffer[n-1] = 0;
 874         tree_add_nonrecipient(big_buffer);
 875         }
 876       fclose(jread);
 877       }
 878     }
 879
 880   fprintf(stdout, "%s ", string_format_size(size, big_buffer));
 881   for (i = 0; i < 16; i++) fputc(f->text[i], stdout);
 882
 883   if (env_read && sender_address != NULL)
 884     {
 885     printf(" <%s>", sender_address);
 886     if (sender_set_untrusted) printf(" (%s)", originator_login);
 887     }
 888
 889   if (rc != spool_read_OK)
 890     {
 891     printf("\n    ");
 892     if (save_errno == ERRNO_SPOOLFORMAT)
 893       {
 894       struct stat statbuf;
 895       sprintf(CS big_buffer, "%s/input/%s/%s", spool_directory, message_subdir,
 896         f->text);
 897       if (Ustat(big_buffer, &statbuf) == 0)
 898         {
 899         int size = statbuf.st_size;    /* Because might be a long */
 900         printf("*** spool format error: size=%d ***", size);
 901         }
 902       else printf("*** spool format error ***");
 903       }
 904     else printf("*** spool read error: %s ***", strerror(save_errno));
 905     if (rc != spool_read_hdrerror)
 906       {
 907       printf("\n\n");
 908       continue;
 909       }
 910     }
 911
 912   if (deliver_freeze) printf(" *** frozen ***");
 913
 914   printf("\n");
 915
 916   if (recipients_list != NULL)
 917     {
 918     for (i = 0; i < recipients_count; i++)
 919       {
 920       tree_node *delivered =
 921         tree_search(tree_nonrecipients, recipients_list[i].address);
 922       if (!delivered || option != 1)
 923         printf("        %s %s\n", (delivered != NULL)? "D":" ",
 924           recipients_list[i].address);
 925       if (delivered != NULL) delivered->data.val = TRUE;
 926       }
 927     if (option == 2 && tree_nonrecipients != NULL)
 928       queue_list_extras(tree_nonrecipients);
 929     printf("\n");
 930     }
 931   }
 932 }
 933
 934
 935
 936 /*************************************************
 937 *             Act on a specific message          *
 938 *************************************************/
 939
 940 /* Actions that require a list of addresses make use of
 941 argv/argc/recipients_arg. Other actions do not. This function does its
 942 own authority checking.
 943
 944 Arguments:
 945   id              id of the message to work on
 946   action          which action is required (MSG_xxx)
 947   argv            the original argv for Exim
 948   argc            the original argc for Exim
 949   recipients_arg  offset to the list of recipients in argv
 950
 951 Returns:          FALSE if there was any problem
 952 */
 953
 954 BOOL
 955 queue_action(uschar *id, int action, uschar **argv, int argc, int recipients_arg)
 956 {
 957 int i, j;
 958 BOOL yield = TRUE;
 959 BOOL removed = FALSE;
 960 struct passwd *pw;
 961 uschar *doing = NULL;
 962 uschar *username;
 963 uschar *errmsg;
 964 uschar spoolname[256];
 965
 966 /* Set the global message_id variable, used when re-writing spool files. This
 967 also causes message ids to be added to log messages. */
 968
 969 Ustrcpy(message_id, id);
 970
 971 /* The "actions" that just list the files do not require any locking to be
 972 done. Only admin users may read the spool files. */
 973
 974 if (action >= MSG_SHOW_BODY)
 975   {
 976   int fd, i, rc;
 977   uschar *subdirectory, *suffix;
 978
 979   if (!admin_user)
 980     {
 981     printf("Permission denied\n");
 982     return FALSE;
 983     }
 984
 985   if (recipients_arg < argc)
 986     {
 987     printf("*** Only one message can be listed at once\n");
 988     return FALSE;
 989     }
 990
 991   if (action == MSG_SHOW_BODY)
 992     {
 993     subdirectory = US"input";
 994     suffix = US"-D";
 995     }
 996   else if (action == MSG_SHOW_HEADER)
 997     {
 998     subdirectory = US"input";
 999     suffix = US"-H";
1000     }
1001   else
1002     {
1003     subdirectory = US"msglog";
1004     suffix = US"";
1005     }
1006
1007   for (i = 0; i < 2; i++)
1008     {
1009     message_subdir[0] = (split_spool_directory == (i == 0))? id[5] : 0;
1010     sprintf(CS spoolname, "%s/%s/%s/%s%s", spool_directory, subdirectory,
1011       message_subdir, id, suffix);
1012     fd = Uopen(spoolname, O_RDONLY, 0);
1013     if (fd >= 0) break;
1014     if (i == 0) continue;
1015     printf("Failed to open %s file for %s%s: %s\n", subdirectory, id, suffix,
1016       strerror(errno));
1017     if (action == MSG_SHOW_LOG && !message_logs)
1018       printf("(No message logs are being created because the message_logs "
1019         "option is false.)\n");
1020     return FALSE;
1021     }
1022
1023   while((rc = read(fd, big_buffer, big_buffer_size)) > 0)
1024     write(fileno(stdout), big_buffer, rc);
1025
1026   close(fd);
1027   return TRUE;
1028   }
1029
1030 /* For actions that actually act, open and lock the data file to ensure that no
1031 other process is working on this message. If the file does not exist, continue
1032 only if the action is remove and the user is an admin user, to allow for
1033 tidying up broken states. */
1034
1035 if (!spool_open_datafile(id))
1036   {
1037   if (errno == ENOENT)
1038     {
1039     yield = FALSE;
1040     printf("Spool data file for %s does not exist\n", id);
1041     if (action != MSG_REMOVE || !admin_user) return FALSE;
1042     printf("Continuing, to ensure all files removed\n");
1043     }
1044   else
1045     {
1046     if (errno == 0) printf("Message %s is locked\n", id);
1047       else printf("Couldn't open spool file for %s: %s\n", id,
1048         strerror(errno));
1049     return FALSE;
1050     }
1051   }
1052
1053 /* Read the spool header file for the message. Again, continue after an
1054 error only in the case of deleting by an administrator. Setting the third
1055 argument false causes it to look both in the main spool directory and in
1056 the appropriate subdirectory, and set message_subdir according to where it
1057 found the message. */
1058
1059 sprintf(CS spoolname, "%s-H", id);
1060 if (spool_read_header(spoolname, TRUE, FALSE) != spool_read_OK)
1061   {
1062   yield = FALSE;
1063   if (errno != ERRNO_SPOOLFORMAT)
1064     printf("Spool read error for %s: %s\n", spoolname, strerror(errno));
1065   else
1066     printf("Spool format error for %s\n", spoolname);
1067   if (action != MSG_REMOVE || !admin_user)
1068     {
1069     close(deliver_datafile);
1070     deliver_datafile = -1;
1071     return FALSE;
1072     }
1073   printf("Continuing to ensure all files removed\n");
1074   }
1075
1076 /* Check that the user running this process is entitled to operate on this
1077 message. Only admin users may freeze/thaw, add/cancel recipients, or otherwise
1078 mess about, but the original sender is permitted to remove a message. That's
1079 why we leave this check until after the headers are read. */
1080
1081 if (!admin_user && (action != MSG_REMOVE || real_uid != originator_uid))
1082   {
1083   printf("Permission denied\n");
1084   close(deliver_datafile);
1085   deliver_datafile = -1;
1086   return FALSE;
1087   }
1088
1089 /* Set up the user name for logging. */
1090
1091 pw = getpwuid(real_uid);
1092 username = (pw != NULL)?
1093   US pw->pw_name : string_sprintf("uid %ld", (long int)real_uid);
1094
1095 /* Take the necessary action. */
1096
1097 printf("Message %s ", id);
1098
1099 switch(action)
1100   {
1101   case MSG_FREEZE:
1102   if (deliver_freeze)
1103     {
1104     yield = FALSE;
1105     printf("is already frozen\n");
1106     }
1107   else
1108     {
1109     deliver_freeze = TRUE;
1110     deliver_manual_thaw = FALSE;
1111     deliver_frozen_at = time(NULL);
1112     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1113       {
1114       printf("is now frozen\n");
1115       log_write(0, LOG_MAIN, "frozen by %s", username);
1116       }
1117     else
1118       {
1119       yield = FALSE;
1120       printf("could not be frozen: %s\n", errmsg);
1121       }
1122     }
1123   break;
1124
1125
1126   case MSG_THAW:
1127   if (!deliver_freeze)
1128     {
1129     yield = FALSE;
1130     printf("is not frozen\n");
1131     }
1132   else
1133     {
1134     deliver_freeze = FALSE;
1135     deliver_manual_thaw = TRUE;
1136     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1137       {
1138       printf("is no longer frozen\n");
1139       log_write(0, LOG_MAIN, "unfrozen by %s", username);
1140       }
1141     else
1142       {
1143       yield = FALSE;
1144       printf("could not be unfrozen: %s\n", errmsg);
1145       }
1146     }
1147   break;
1148
1149
1150   /* We must ensure all files are removed from both the input directory
1151   and the appropriate subdirectory, to clean up cases when there are odd
1152   files left lying around in odd places. In the normal case message_subdir
1153   will have been set correctly by spool_read_header, but as this is a rare
1154   operation, just run everything twice. */
1155
1156   case MSG_REMOVE:
1157   message_subdir[0] = id[5];
1158   for (j = 0; j < 2; message_subdir[0] = 0, j++)
1159     {
1160     sprintf(CS spoolname, "%s/msglog/%s/%s", spool_directory, message_subdir, id);
1161     if (Uunlink(spoolname) < 0)
1162       {
1163       if (errno != ENOENT)
1164         {
1165         yield = FALSE;
1166         printf("Error while removing %s: %s\n", spoolname,
1167           strerror(errno));
1168         }
1169       }
1170     else removed = TRUE;
1171
1172     for (i = 0; i < 3; i++)
1173       {
1174       sprintf(CS spoolname, "%s/input/%s/%s-%c", spool_directory, message_subdir,
1175         id, "DHJ"[i]);
1176       if (Uunlink(spoolname) < 0)
1177         {
1178         if (errno != ENOENT)
1179           {
1180           yield = FALSE;
1181           printf("Error while removing %s: %s\n", spoolname,
1182             strerror(errno));
1183           }
1184         }
1185       else removed = TRUE;
1186       }
1187     }
1188
1189   /* In the common case, the datafile is open (and locked), so give the
1190   obvious message. Otherwise be more specific. */
1191
1192   if (deliver_datafile >= 0) printf("has been removed\n");
1193     else printf("has been removed or did not exist\n");
1194   if (removed)
1195     {
1196     log_write(0, LOG_MAIN, "removed by %s", username);
1197     log_write(0, LOG_MAIN, "Completed");
1198     }
1199   break;
1200
1201
1202   case MSG_MARK_ALL_DELIVERED:
1203   for (i = 0; i < recipients_count; i++)
1204     {
1205     tree_add_nonrecipient(recipients_list[i].address);
1206     }
1207   if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1208     {
1209     printf("has been modified\n");
1210     for (i = 0; i < recipients_count; i++)
1211       log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1212         recipients_list[i].address, username);
1213     }
1214   else
1215     {
1216     yield = FALSE;
1217     printf("- could not mark all delivered: %s\n", errmsg);
1218     }
1219   break;
1220
1221
1222   case MSG_EDIT_SENDER:
1223   if (recipients_arg < argc - 1)
1224     {
1225     yield = FALSE;
1226     printf("- only one sender address can be specified\n");
1227     break;
1228     }
1229   doing = US"editing sender";
1230   /* Fall through */
1231
1232   case MSG_ADD_RECIPIENT:
1233   if (doing == NULL) doing = US"adding recipient";
1234   /* Fall through */
1235
1236   case MSG_MARK_DELIVERED:
1237   if (doing == NULL) doing = US"marking as delivered";
1238
1239   /* Common code for EDIT_SENDER, ADD_RECIPIENT, & MARK_DELIVERED */
1240
1241   if (recipients_arg >= argc)
1242     {
1243     yield = FALSE;
1244     printf("- error while %s: no address given\n", doing);
1245     break;
1246     }
1247
1248   for (; recipients_arg < argc; recipients_arg++)
1249     {
1250     int start, end, domain;
1251     uschar *errmess;
1252     uschar *recipient =
1253       parse_extract_address(argv[recipients_arg], &errmess, &start, &end,
1254         &domain, (action == MSG_EDIT_SENDER));
1255
1256     if (recipient == NULL)
1257       {
1258       yield = FALSE;
1259       printf("- error while %s:\n  bad address %s: %s\n",
1260         doing, argv[recipients_arg], errmess);
1261       }
1262     else if (recipient[0] != 0 && domain == 0)
1263       {
1264       yield = FALSE;
1265       printf("- error while %s:\n  bad address %s: "
1266         "domain missing\n", doing, argv[recipients_arg]);
1267       }
1268     else
1269       {
1270       if (action == MSG_ADD_RECIPIENT)
1271         {
1272         receive_add_recipient(recipient, -1);
1273         log_write(0, LOG_MAIN, "recipient <%s> added by %s",
1274           recipient, username);
1275         }
1276       else if (action == MSG_MARK_DELIVERED)
1277         {
1278         for (i = 0; i < recipients_count; i++)
1279           if (Ustrcmp(recipients_list[i].address, recipient) == 0) break;
1280         if (i >= recipients_count)
1281           {
1282           printf("- error while %s:\n  %s is not a recipient:"
1283             " message not updated\n", doing, recipient);
1284           yield = FALSE;
1285           }
1286         else
1287           {
1288           tree_add_nonrecipient(recipients_list[i].address);
1289           log_write(0, LOG_MAIN, "address <%s> marked delivered by %s",
1290             recipient, username);
1291           }
1292         }
1293       else  /* MSG_EDIT_SENDER */
1294         {
1295         sender_address = recipient;
1296         log_write(0, LOG_MAIN, "sender address changed to <%s> by %s",
1297           recipient, username);
1298         }
1299       }
1300     }
1301
1302   if (yield)
1303     {
1304     if (spool_write_header(id, SW_MODIFYING, &errmsg) >= 0)
1305       printf("has been modified\n");
1306     else
1307       {
1308       yield = FALSE;
1309       printf("- while %s: %s\n", doing, errmsg);
1310       }
1311     }
1312
1313   break;
1314   }
1315
1316 /* Closing the datafile releases the lock and permits other processes
1317 to operate on the message (if it still exists). */
1318
1319 close(deliver_datafile);
1320 deliver_datafile = -1;
1321 return yield;
1322 }
1323
1324
1325
1326 /*************************************************
1327 *       Check the queue_only_file condition      *
1328 *************************************************/
1329
1330 /* The queue_only_file option forces certain kinds of queueing if a given file
1331 exists.
1332
1333 Arguments:  none
1334 Returns:    nothing
1335 */
1336
1337 void
1338 queue_check_only(void)
1339 {
1340 BOOL *set;
1341 int sep = 0;
1342 struct stat statbuf;
1343 uschar *s, *ss, *name;
1344 uschar buffer[1024];
1345
1346 if (queue_only_file == NULL) return;
1347
1348 s = queue_only_file;
1349 while ((ss = string_nextinlist(&s, &sep, buffer, sizeof(buffer))) != NULL)
1350   {
1351   if (Ustrncmp(ss, "smtp", 4) == 0)
1352     {
1353     name = US"queue_smtp";
1354     set = &queue_smtp;
1355     ss += 4;
1356     }
1357   else
1358     {
1359     name = US"queue_only";
1360     set = &queue_only;
1361     }
1362
1363   if (Ustat(ss, &statbuf) == 0)
1364     {
1365     *set = TRUE;
1366     DEBUG(D_receive) debug_printf("%s set because %s exists\n", name, ss);
1367     }
1368   }
1369 }
1370
1371 /* End of queue.c */