← Back to branch summary

~ubuntu-branches/ubuntu/trusty/nwchem/trusty-proposed

« back to all changes in this revision

Viewing changes to src/tools/ga-5-2/armci/src/devices/dcmf/dcmf-0.3.0/armcix_get.c

  • Committer: Package Import Robot
  • Author(s): Michael Banck, Daniel Leidert, Andreas Tille, Michael Banck
  • Date: 2013-07-04 12:14:55 UTC
  • mfrom: (1.1.2)
  • Revision ID: package-import@ubuntu.com-20130704121455-5tvsx2qabor3nrui
Tags: 6.3-1
http://bugs.debian.org/696361
* New upstream release.
* Fixes anisotropic properties (Closes: #696361).
* New features include:
  + Multi-reference coupled cluster (MRCC) approaches
  + Hybrid DFT calculations with short-range HF 
  + New density-functionals including Minnesota (M08, M11) and HSE hybrid
    functionals
  + X-ray absorption spectroscopy (XAS) with TDDFT
  + Analytical gradients for the COSMO solvation model
  + Transition densities from TDDFT 
  + DFT+U and Electron-Transfer (ET) methods for plane wave calculations
  + Exploitation of space group symmetry in plane wave geometry optimizations
  + Local density of states (LDOS) collective variable added to Metadynamics
  + Various new XC functionals added for plane wave calculations, including
    hybrid and range-corrected ones
  + Electric field gradients with relativistic corrections 
  + Nudged Elastic Band optimization method
  + Updated basis sets and ECPs 

[ Daniel Leidert ]
* debian/watch: Fixed.

[ Andreas Tille ]
* debian/upstream: References

[ Michael Banck ]
* debian/upstream (Name): New field.
* debian/patches/02_makefile_flags.patch: Refreshed.
* debian/patches/06_statfs_kfreebsd.patch: Likewise.
* debian/patches/07_ga_target_force_linux.patch: Likewise.
* debian/patches/05_avoid_inline_assembler.patch: Removed, no longer needed.
* debian/patches/09_backported_6.1.1_fixes.patch: Likewise.
* debian/control (Build-Depends): Added gfortran-4.7 and gcc-4.7.
* debian/patches/10_force_gcc-4.7.patch: New patch, explicitly sets
  gfortran-4.7 and gcc-4.7, fixes test suite hang with gcc-4.8 (Closes:
  #701328, #713262).
* debian/testsuite: Added tests for COSMO analytical gradients and MRCC.
* debian/rules (MRCC_METHODS): New variable, required to enable MRCC methods.

Show diffs side-by-side

added added

removed removed

Lines of Context:
src/tools/ga-5-2/armci/src/devices/dcmf/dcmf-0.3.0/armcix_get.c
 
1
#if HAVE_CONFIG_H
 
2
#   include "config.h"
 
3
#endif
 
4
/* begin_generated_IBM_copyright_prolog                             */
 
5
/*                                                                  */
 
6
/* ---------------------------------------------------------------- */
 
7
/* (C)Copyright IBM Corp.  2007, 2008                               */
 
8
/* IBM BSD License                                                  */
 
9
/* ---------------------------------------------------------------- */
 
10
/*                                                                  */
 
11
/* end_generated_IBM_copyright_prolog                               */
 
12
/**
 
13
 * \file armci/src/armcix/dcmf/armcix_get.c
 
14
 * \brief DCMF ARMCI Extension for get operations.
 
15
 */
 
16
 
 
17
#include "armcix_impl.h"
 
18
 
 
19
DCMF_Protocol_t __get_protocol;
 
20
 
 
21
/**
 
22
 * \brief Register the DCMF ARMCI Extention get operation.
 
23
 *
 
24
 * \see DCMF_Get_register
 
25
 */
 
26
void ARMCIX_DCMF_Get_register ()
 
27
{
 
28
  DCMF_Get_Configuration_t configuration = {
 
29
    DCMF_DEFAULT_GET_PROTOCOL
 
30
  };
 
31
  DCMF_Get_register (&__get_protocol, &configuration);
 
32
}
 
33
 
 
34
 
 
35
/**
 
36
 * \brief ARMCI Extension blocking get operation.
 
37
 *
 
38
 * \param[in] src       Source buffer on the remote node
 
39
 * \param[in] dst       Destination buffer on the local node
 
40
 * \param[in] bytes     Number of bytes to transfer
 
41
 * \param[in] proc      Remote node rank
 
42
 *
 
43
 * \retval 0 Success
 
44
 */
 
45
int ARMCIX_Get(void * src, void * dst, int bytes, int proc)
 
46
{
 
47
  DCMF_CriticalSection_enter (0);
 
48
 
 
49
  volatile unsigned active = 1;
 
50
  DCMF_Callback_t cb_wait = { ARMCIX_DCMF_cb_decrement, (void *)&active };
 
51
  DCMF_Request_t request;
 
52
 
 
53
  DCMF_Memregion_t * src_memregion = &__connection[proc].remote_mem_region;
 
54
  DCMF_Memregion_t * dst_memregion = &__connection[proc].local_mem_region;
 
55
 
 
56
  DCMF_Result result =
 
57
    DCMF_Get (&__get_protocol,
 
58
              &request,
 
59
              cb_wait,
 
60
              DCMF_SEQUENTIAL_CONSISTENCY,
 
61
              proc,
 
62
              bytes,
 
63
              src_memregion,
 
64
              dst_memregion,
 
65
              armcix_dcmf_va_to_offset (src_memregion, src),
 
66
              armcix_dcmf_va_to_offset (dst_memregion, dst));
 
67
 
 
68
  while (active) DCMF_Messager_advance ();
 
69
 
 
70
  DCMF_CriticalSection_exit  (0);
 
71
 
 
72
  return (result != DCMF_SUCCESS);
 
73
}
 
74
 
 
75
 
 
76
/**
 
77
 * \brief ARMCI Extension non-blocking get operation.
 
78
 *
 
79
 * \param[in] src       Source buffer on the remote node
 
80
 * \param[in] dst       Destination buffer on the local node
 
81
 * \param[in] bytes     Number of bytes to transfer
 
82
 * \param[in] proc      Remote node rank
 
83
 * \param[in] nb_handle ARMCI non-blocking handle
 
84
 *
 
85
 * \return ???
 
86
 */
 
87
int ARMCIX_NbGet (void * src, void * dst, int bytes, int proc, armci_ihdl_t nb_handle)
 
88
{
 
89
  DCMF_CriticalSection_enter (0);
 
90
 
 
91
  armcix_dcmf_opaque_t * dcmf = (armcix_dcmf_opaque_t *) &nb_handle->cmpl_info;
 
92
  dcmf->active = 1;
 
93
  dcmf->connection = &__connection[proc];
 
94
 
 
95
  //fprintf (stderr, "ARMCIX_NbGet() dst=%p, src=%p, bytes=%d, request=%p\n", dst, src, bytes, &(dcmf->request));
 
96
 
 
97
  __connection[proc].active++;
 
98
  __global_connection.active++;
 
99
 
 
100
  DCMF_Callback_t cb_free = { ARMCIX_DCMF_NbOp_cb_done, nb_handle };
 
101
  ARMCIX_DCMF_Request_t * new_request = ARMCIX_DCMF_request_allocate (cb_free);
 
102
  DCMF_Callback_t cb_done = { (void (*)(void *, DCMF_Error_t *))ARMCIX_DCMF_request_free, new_request };
 
103
 
 
104
  DCMF_Memregion_t * src_memregion = &__connection[proc].remote_mem_region;
 
105
  DCMF_Memregion_t * dst_memregion = &__connection[proc].local_mem_region;
 
106
 
 
107
  DCMF_Result result =
 
108
    DCMF_Get (&__get_protocol,
 
109
              &(new_request->request),
 
110
              cb_done,
 
111
              DCMF_SEQUENTIAL_CONSISTENCY,
 
112
              proc,
 
113
              bytes,
 
114
              src_memregion,
 
115
              dst_memregion,
 
116
              armcix_dcmf_va_to_offset (src_memregion, src),
 
117
              armcix_dcmf_va_to_offset (dst_memregion, dst));
 
118
 
 
119
  DCMF_CriticalSection_exit (0);
 
120
 
 
121
  return (result != DCMF_SUCCESS);
 
122
}
 
123
 
 
124
 
 
125
 
 
126
/**
 
127
 * \brief ARMCI Extension blocking vector get operation.
 
128
 *
 
129
 * \param[in] darr      Descriptor array
 
130
 * \param[in] len       Length of descriptor array
 
131
 * \param[in] proc      Remote process(or) ID
 
132
 *
 
133
 * \return ???
 
134
 */
 
135
int ARMCIX_GetV (armci_giov_t * darr, int len, int proc)
 
136
{
 
137
  armci_ireq_t nb_request;
 
138
  armci_ihdl_t nb_handle = (armci_ihdl_t) &nb_request;
 
139
  ARMCIX_NbGetV (darr, len, proc, nb_handle);
 
140
  ARMCIX_Wait (&nb_handle->cmpl_info);
 
141
 
 
142
  return 0;
 
143
}
 
144
 
 
145
 
 
146
/**
 
147
 * \brief ARMCI Extension non-blocking vector get operation.
 
148
 *
 
149
 * \param[in] darr      Descriptor array
 
150
 * \param[in] len       Length of descriptor array
 
151
 * \param[in] proc      Remote process(or) ID
 
152
 * \param[in] nb_handle ARMCI non-blocking handle
 
153
 *
 
154
 * \return ???
 
155
 */
 
156
int ARMCIX_NbGetV (armci_giov_t * darr, int len, int proc, armci_ihdl_t nb_handle)
 
157
{
 
158
  DCMF_Result result = DCMF_ERROR;
 
159
 
 
160
  DCMF_CriticalSection_enter (0);
 
161
 
 
162
  //fprintf (stderr, "ARMCIX_NbGetV() >> len=%d, proc=%d\n", len, proc);
 
163
 
 
164
  // Calculate the number of requests
 
165
  unsigned n = 0;
 
166
  unsigned i, j;
 
167
  for (i = 0; i < len; i++)
 
168
    for (j = 0; j < darr[i].ptr_array_len; j++)
 
169
      n++;
 
170
 
 
171
  armcix_dcmf_opaque_t * dcmf = (armcix_dcmf_opaque_t *) &nb_handle->cmpl_info;
 
172
  dcmf->connection = &__connection[proc];
 
173
  dcmf->active = n;
 
174
 
 
175
  __connection[proc].active += n;
 
176
  __global_connection.active += n;
 
177
 
 
178
  //fprintf (stderr, "ARMCIX_NbGetV() -- n=%d, dcmf->active=%d, __connection[%d].active=%d, __global_connection.active=%d\n", n, dcmf->active, proc, __connection[proc].active, __global_connection.active);
 
179
 
 
180
  DCMF_Memregion_t * src_memregion = &__connection[proc].remote_mem_region;
 
181
  DCMF_Memregion_t * dst_memregion = &__connection[proc].local_mem_region;
 
182
 
 
183
  DCMF_Callback_t cb_free = { ARMCIX_DCMF_NbOp_cb_done, nb_handle };
 
184
  DCMF_Callback_t cb_done = { (void (*)(void *, DCMF_Error_t *))ARMCIX_DCMF_request_free, NULL };
 
185
  for (i = 0; i < len; i++)
 
186
  {
 
187
    for (j = 0; j < darr[i].ptr_array_len; j++)
 
188
    {
 
189
      //fprintf (stderr, "ARMCIX_NbGetV() -- src=%p, dst=%p, bytes=%d\n", darr[i].src_ptr_array[j], darr[i].dst_ptr_array[j], darr[i].bytes);
 
190
      ARMCIX_DCMF_Request_t * new_request = ARMCIX_DCMF_request_allocate (cb_free);
 
191
      cb_done.clientdata = new_request;
 
192
 
 
193
      result =
 
194
        DCMF_Get (&__get_protocol,
 
195
                  &(new_request->request),
 
196
                  cb_done,
 
197
                  DCMF_SEQUENTIAL_CONSISTENCY,
 
198
                  proc,
 
199
                  darr[i].bytes,
 
200
                  src_memregion,
 
201
                  dst_memregion,
 
202
                  armcix_dcmf_va_to_offset (src_memregion, darr[i].src_ptr_array[j]),
 
203
                  armcix_dcmf_va_to_offset (dst_memregion, darr[i].dst_ptr_array[j]));
 
204
    }
 
205
  }
 
206
 
 
207
  //fprintf (stderr, "ARMCIX_NbGetV() << result=%d\n", result);
 
208
  DCMF_CriticalSection_exit  (0);
 
209
 
 
210
  return (result != DCMF_SUCCESS);
 
211
}
 
212
 
 
213
 
 
214
unsigned ARMCIX_DCMF_GetS_recurse (void * src_ptr, int * src_stride_arr, 
 
215
                                   void * dst_ptr, int * dst_stride_arr, 
 
216
                                   int * seg_count, int stride_levels, int proc,
 
217
                                   armci_ihdl_t nb_handle)
 
218
{
 
219
  unsigned num_requests = 0;
 
220
 
 
221
  //fprintf (stderr, "ARMCIX_DCMF_GetS_recurse() >> \n");
 
222
 
 
223
  if (stride_levels == 0)
 
224
  {
 
225
    //fprintf (stderr, "ARMCIX_DCMF_GetS_recurse() dst=%p, src=%p, bytes=%d, request=%p\n", dst_ptr, src_ptr, seg_count[0], request);
 
226
 
 
227
    DCMF_Callback_t cb_free = { ARMCIX_DCMF_NbOp_cb_done, nb_handle };
 
228
    ARMCIX_DCMF_Request_t * new_request = ARMCIX_DCMF_request_allocate (cb_free);
 
229
    DCMF_Callback_t cb_done = { (void (*)(void *, DCMF_Error_t *))ARMCIX_DCMF_request_free, new_request };
 
230
 
 
231
    DCMF_Memregion_t * src_memregion = &__connection[proc].remote_mem_region;
 
232
    DCMF_Memregion_t * dst_memregion = &__connection[proc].local_mem_region;
 
233
 
 
234
    DCMF_Get (&__get_protocol,
 
235
              &(new_request->request),
 
236
              cb_done,
 
237
              DCMF_SEQUENTIAL_CONSISTENCY,
 
238
              proc,
 
239
              seg_count[0],
 
240
              src_memregion,
 
241
              dst_memregion,
 
242
              armcix_dcmf_va_to_offset (src_memregion, src_ptr),
 
243
              armcix_dcmf_va_to_offset (dst_memregion, dst_ptr));
 
244
 
 
245
    num_requests++;
 
246
  }
 
247
  else
 
248
  {
 
249
    char * src_tmp = (char *) src_ptr;
 
250
    char * dst_tmp = (char *) dst_ptr;
 
251
    unsigned i;
 
252
    for (i = 0; i < seg_count[stride_levels]; i++)
 
253
    {
 
254
      num_requests += ARMCIX_DCMF_GetS_recurse (src_tmp, src_stride_arr, 
 
255
                                                dst_tmp, dst_stride_arr, 
 
256
                                                seg_count, (stride_levels-1), proc,
 
257
                                                nb_handle);
 
258
 
 
259
      src_tmp += src_stride_arr[(stride_levels-1)];
 
260
      dst_tmp += dst_stride_arr[(stride_levels-1)];
 
261
    }
 
262
  }
 
263
 
 
264
  //fprintf (stderr, "ARMCIX_DCMF_GetS_recurse() << num_requests = %d\n", num_requests);
 
265
 
 
266
  return num_requests;
 
267
}
 
268
 
 
269
 
 
270
/**
 
271
 * \brief ARMCI Extension blocking strided get operation.
 
272
 *
 
273
 * \param[in] src_ptr        pointer to 1st segment at source
 
274
 * \param[in] src_stride_arr array of strides at source
 
275
 * \param[in] dst_ptr        pointer to 1st segment at destination
 
276
 * \param[in] dst_stride_arr array of strides at destination
 
277
 * \param[in] seg_count      number of segments at each stride levels: count[0]=bytes
 
278
 * \param[in] stride_levels  number of stride levels
 
279
 * \param[in] proc           remote process(or) ID
 
280
 *
 
281
 * \return ???
 
282
 */
 
283
int ARMCIX_GetS (void * src_ptr, int * src_stride_arr, 
 
284
                 void * dst_ptr, int * dst_stride_arr, 
 
285
                 int * seg_count, int stride_levels, int proc)
 
286
{
 
287
  armci_ireq_t nb_request;
 
288
  armci_ihdl_t nb_handle = (armci_ihdl_t) &nb_request;
 
289
  ARMCIX_NbGetS (src_ptr, src_stride_arr, dst_ptr, dst_stride_arr,
 
290
                 seg_count, stride_levels, proc, nb_handle);
 
291
  ARMCIX_Wait (&nb_handle->cmpl_info);
 
292
 
 
293
  return 0;
 
294
}
 
295
 
 
296
/**
 
297
 * \brief ARMCI Extension non-blocking strided get operation.
 
298
 *
 
299
 * \param[in] src_ptr        pointer to 1st segment at source
 
300
 * \param[in] src_stride_arr array of strides at source
 
301
 * \param[in] dst_ptr        pointer to 1st segment at destination
 
302
 * \param[in] dst_stride_arr array of strides at destination
 
303
 * \param[in] seg_count      number of segments at each stride levels: count[0]=bytes
 
304
 * \param[in] stride_levels  number of stride levels
 
305
 * \param[in] proc           remote process(or) ID
 
306
 * \param[in] nb_handle      ARMCI non-blocking handle
 
307
 *
 
308
 * \return ???
 
309
 */
 
310
int ARMCIX_NbGetS (void * src_ptr, int * src_stride_arr, 
 
311
                   void * dst_ptr, int * dst_stride_arr, 
 
312
                   int * seg_count, int stride_levels, int proc,
 
313
                   armci_ihdl_t nb_handle)
 
314
{
 
315
  DCMF_CriticalSection_enter (0);
 
316
 
 
317
  assert (nb_handle != NULL);
 
318
  if (stride_levels > 0)
 
319
  {
 
320
    assert (src_stride_arr);
 
321
    assert (dst_stride_arr);
 
322
  }
 
323
 
 
324
  // Calculate the number of requests
 
325
  unsigned i;
 
326
  unsigned n = 1;
 
327
  for (i = 0; i < stride_levels; i++) n = n * seg_count[i+1];
 
328
 
 
329
  armcix_dcmf_opaque_t * dcmf = (armcix_dcmf_opaque_t *) &nb_handle->cmpl_info;
 
330
  dcmf->connection = &__connection[proc];
 
331
  dcmf->active = n;
 
332
 
 
333
  __connection[proc].active += n;
 
334
  __global_connection.active += n;
 
335
 
 
336
  unsigned count;
 
337
  count = ARMCIX_DCMF_GetS_recurse (src_ptr, src_stride_arr, 
 
338
                                    dst_ptr, dst_stride_arr, 
 
339
                                    seg_count, stride_levels, proc,
 
340
                                    nb_handle);
 
341
 
 
342
  assert (n == count);
 
343
 
 
344
  DCMF_CriticalSection_exit  (0);
 
345
 
 
346
  return 0;
 
347
}