← Back to branch summary

~michaelforrest/use-case-mapper/trunk

« back to all changes in this revision

Viewing changes to vendor/rails/activerecord/lib/active_record/batches.rb

  • Committer: Richard Lee (Canonical)
  • Date: 2010-10-15 15:17:58 UTC
  • mfrom: (190.1.3 use-case-mapper)
  • Revision ID: richard.lee@canonical.com-20101015151758-wcvmfxrexsongf9d
Merge

Show diffs side-by-side

added added

removed removed

Lines of Context:
vendor/rails/activerecord/lib/active_record/batches.rb
1
 
module ActiveRecord
2
 
  module Batches # :nodoc:
3
 
    def self.included(base)
4
 
      base.extend(ClassMethods)
5
 
    end
6
 
 
7
 
    # When processing large numbers of records, it's often a good idea to do
8
 
    # so in batches to prevent memory ballooning.
9
 
    module ClassMethods
10
 
      # Yields each record that was found by the find +options+. The find is
11
 
      # performed by find_in_batches with a batch size of 1000 (or as
12
 
      # specified by the <tt>:batch_size</tt> option).
13
 
      #
14
 
      # Example:
15
 
      #
16
 
      #   Person.find_each(:conditions => "age > 21") do |person|
17
 
      #     person.party_all_night!
18
 
      #   end
19
 
      #
20
 
      # Note: This method is only intended to use for batch processing of
21
 
      # large amounts of records that wouldn't fit in memory all at once. If
22
 
      # you just need to loop over less than 1000 records, it's probably
23
 
      # better just to use the regular find methods.
24
 
      def find_each(options = {})
25
 
        find_in_batches(options) do |records|
26
 
          records.each { |record| yield record }
27
 
        end
28
 
 
29
 
        self
30
 
      end
31
 
 
32
 
      # Yields each batch of records that was found by the find +options+ as
33
 
      # an array. The size of each batch is set by the <tt>:batch_size</tt>
34
 
      # option; the default is 1000.
35
 
      #
36
 
      # You can control the starting point for the batch processing by
37
 
      # supplying the <tt>:start</tt> option. This is especially useful if you
38
 
      # want multiple workers dealing with the same processing queue. You can
39
 
      # make worker 1 handle all the records between id 0 and 10,000 and
40
 
      # worker 2 handle from 10,000 and beyond (by setting the <tt>:start</tt>
41
 
      # option on that worker).
42
 
      #
43
 
      # It's not possible to set the order. That is automatically set to
44
 
      # ascending on the primary key ("id ASC") to make the batch ordering
45
 
      # work. This also mean that this method only works with integer-based
46
 
      # primary keys. You can't set the limit either, that's used to control
47
 
      # the the batch sizes.
48
 
      #
49
 
      # Example:
50
 
      #
51
 
      #   Person.find_in_batches(:conditions => "age > 21") do |group|
52
 
      #     sleep(50) # Make sure it doesn't get too crowded in there!
53
 
      #     group.each { |person| person.party_all_night! }
54
 
      #   end
55
 
      def find_in_batches(options = {})
56
 
        raise "You can't specify an order, it's forced to be #{batch_order}" if options[:order]
57
 
        raise "You can't specify a limit, it's forced to be the batch_size"  if options[:limit]
58
 
 
59
 
        start = options.delete(:start).to_i
60
 
        batch_size = options.delete(:batch_size) || 1000
61
 
 
62
 
        with_scope(:find => options.merge(:order => batch_order, :limit => batch_size)) do
63
 
          records = find(:all, :conditions => [ "#{table_name}.#{primary_key} >= ?", start ])
64
 
 
65
 
          while records.any?
66
 
            yield records
67
 
 
68
 
            break if records.size < batch_size
69
 
            records = find(:all, :conditions => [ "#{table_name}.#{primary_key} > ?", records.last.id ])
70
 
          end
71
 
        end
72
 
      end
73
 
      
74
 
      
75
 
      private
76
 
        def batch_order
77
 
          "#{table_name}.#{primary_key} ASC"
78
 
        end
79
 
    end
80
 
  end
81
 
end
 
 
b'\\ No newline at end of file'