← Back to branch summary

~craig.magina/charms/trusty/apache-hadoop/trunk

« back to all changes in this revision

Viewing changes to configx86.yaml

  • Committer: amir sanjar
  • Date: 2014-12-03 21:43:22 UTC
  • Revision ID: amir.sanjar@canonical.com-20141203214322-bi3miv3afb6n97co
Apache hadoop changes for POWER-part 1

Show diffs side-by-side

added added

removed removed

Lines of Context:
configx86.yaml
 
1
options:
 
2
  platform_arch:
 
3
    type: string
 
4
    default: x86
 
5
    description: |
 
6
     Platform architecture: currently supported platforms are x86 and POWER. 
 
7
     Note: for POWER you **MUST** select IBM as the Java vendor
 
8
  JAVA_vendor:
 
9
    type: string
 
10
    default: openjdk
 
11
    description: |
 
12
     Valid selections-"IBM" for POWER and "OPENJDK" for x86
 
13
  JAVA_version:
 
14
    type: int
 
15
    default: 7
 
16
    description: |
 
17
     Enter java version
 
18
  hadoop_version:
 
19
    type: string
 
20
    default: 2.2.0
 
21
    description: |
 
22
     Apache hadoop version
 
23
  dfs_namenode_handler_count:
 
24
    type: int
 
25
    default: 10
 
26
    description: |
 
27
      The number of server threads for the namenode.  Increase this in larger
 
28
      deployments to ensure the namenode can cope with the number of datanodes
 
29
      that it has to deal with.
 
30
  dfs_replication:
 
31
    type: int
 
32
    default: 3
 
33
    description: |
 
34
      Default block replication. The actual number of replications can be specified when
 
35
      the file is created. The default is used if replication is not specified in create time
 
36
  dfs_block_size:
 
37
    type: int
 
38
    default: 134217728
 
39
    description: |
 
40
      The default block size for new files (default to 64MB).  Increase this in
 
41
      larger deployments for better large data set performance.
 
42
  io_file_buffer_size:
 
43
    type: int
 
44
    default: 4096
 
45
    description: |
 
46
      The size of buffer for use in sequence files. The size of this buffer should
 
47
      probably be a multiple of hardware page size (4096 on Intel x86), and it
 
48
      determines how much data is buffered during read and write operations.
 
49
  dfs_datanode_max_xcievers:
 
50
    type: int
 
51
    default: 4096
 
52
    description: |
 
53
      The number of files that an datanode will serve at any one time.
 
54
      An Hadoop HDFS datanode has an upper bound on the number of files that it
 
55
      will serve at any one time. This defaults to 256 (which is low) in hadoop
 
56
      1.x - however this charm increases that to 4096.
 
57
  mapreduce_framework_name:
 
58
    type: string
 
59
    default: yarn
 
60
    description: |
 
61
      Execution framework set to Hadoop YARN.** DO NOT CHANGE **
 
62
  mapreduce_reduce_shuffle_parallelcopies:
 
63
    type: int
 
64
    default: 5
 
65
    description: |
 
66
      The default number of parallel transfers run by reduce during the
 
67
      copy(shuffle) phase.
 
68
  mapred_child_java_opts:
 
69
    type: string
 
70
    default: -Xmx200m
 
71
    description: |
 
72
      Java opts for the task tracker child processes. The following symbol,
 
73
      if present, will be interpolated: @taskid@ is replaced by current TaskID.
 
74
      Any other occurrences of '@' will go unchanged. For example, to enable
 
75
      verbose gc logging to a file named for the taskid in /tmp and to set
 
76
      the heap maximum to be a gigabyte, pass a 'value' of:
 
77
      .
 
78
        -Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc
 
79
      .
 
80
      The configuration variable mapred.child.ulimit can be used to control
 
81
      the maximum virtual memory of the child processes.
 
82
  mapreduce_task_io_sort_factor:
 
83
    type: int
 
84
    default: 10
 
85
    description: |
 
86
      More streams merged at once while sorting files.. This
 
87
      determines the number of open file handles.
 
88
  mapreduce_task_io_sort_mb:
 
89
    type: int
 
90
    default: 100
 
91
    description: |
 
92
      Higher memory-limit while sorting data for efficiency..
 
93
  mapred_job_tracker_handler_count:
 
94
    type: int
 
95
    default: 10
 
96
    description: |
 
97
      The number of server threads for the JobTracker. This should be roughly
 
98
      4% of the number of tasktracker nodes.
 
99
  tasktracker_http_threads:
 
100
    type: int
 
101
    default: 40
 
102
    description: |
 
103
      The number of worker threads that for the http server. This is used for
 
104
      map output fetching.
 
105
  hadoop_dir_base:
 
106
    type: string
 
107
    default: /usr/local/hadoop/data
 
108
    description: |
 
109
      The directory under which all other hadoop data is stored.  Use this
 
110
      to take advantage of extra storage that might be avaliable.
 
111
      .
 
112
      You can change this in a running deployment but all existing data in
 
113
      HDFS will be inaccessible; you can of course switch it back if you
 
114
      do this by mistake.
 
115
  yarn_nodemanager_aux-services:
 
116
    type: string
 
117
    default: mapreduce_shuffle
 
118
    description: |
 
119
      Shuffle service that needs to be set for Map Reduce applications.
 
120
  yarn_nodemanager_aux-services_mapreduce_shuffle_class:
 
121
    type: string
 
122
    default: org.apache.hadoop.mapred.ShuffleHandler
 
123
    description: |
 
124
      Shuffle service that needs to be set for Map Reduce applications.
 
125
  dfs_heartbeat_interval:
 
126
    type: int
 
127
    default: 3
 
128
    description: |
 
129
       Determines datanode heartbeat interval in seconds.
 
130
  dfs_namenode_heartbeat_recheck_interval:
 
131
    type: int
 
132
    default: 300000
 
133
    description: |
 
134
       Determines datanode recheck heartbeat interval in milliseconds
 
135
       It is used to calculate the final tineout value for namenode. Calcultion process is    
 
136
       as follow: 10.30 minutes = 2 x (dfs.namenode.heartbeat.recheck-interval=5*60*1000)
 
137
                                  + 10 * 1000 * (dfs.heartbeat.interval=3)