← Back to branch summary

~ubuntu-branches/ubuntu/trusty/nwchem/trusty-proposed

« back to all changes in this revision

Viewing changes to src/tools/ga-5-1/armci/src/devices/dcmf/dcmf2/armcix_get.c

  • Committer: Package Import Robot
  • Author(s): Michael Banck, Daniel Leidert, Andreas Tille, Michael Banck
  • Date: 2013-07-04 12:14:55 UTC
  • mfrom: (1.1.2)
  • Revision ID: package-import@ubuntu.com-20130704121455-5tvsx2qabor3nrui
Tags: 6.3-1
http://bugs.debian.org/696361
* New upstream release.
* Fixes anisotropic properties (Closes: #696361).
* New features include:
  + Multi-reference coupled cluster (MRCC) approaches
  + Hybrid DFT calculations with short-range HF 
  + New density-functionals including Minnesota (M08, M11) and HSE hybrid
    functionals
  + X-ray absorption spectroscopy (XAS) with TDDFT
  + Analytical gradients for the COSMO solvation model
  + Transition densities from TDDFT 
  + DFT+U and Electron-Transfer (ET) methods for plane wave calculations
  + Exploitation of space group symmetry in plane wave geometry optimizations
  + Local density of states (LDOS) collective variable added to Metadynamics
  + Various new XC functionals added for plane wave calculations, including
    hybrid and range-corrected ones
  + Electric field gradients with relativistic corrections 
  + Nudged Elastic Band optimization method
  + Updated basis sets and ECPs 

[ Daniel Leidert ]
* debian/watch: Fixed.

[ Andreas Tille ]
* debian/upstream: References

[ Michael Banck ]
* debian/upstream (Name): New field.
* debian/patches/02_makefile_flags.patch: Refreshed.
* debian/patches/06_statfs_kfreebsd.patch: Likewise.
* debian/patches/07_ga_target_force_linux.patch: Likewise.
* debian/patches/05_avoid_inline_assembler.patch: Removed, no longer needed.
* debian/patches/09_backported_6.1.1_fixes.patch: Likewise.
* debian/control (Build-Depends): Added gfortran-4.7 and gcc-4.7.
* debian/patches/10_force_gcc-4.7.patch: New patch, explicitly sets
  gfortran-4.7 and gcc-4.7, fixes test suite hang with gcc-4.8 (Closes:
  #701328, #713262).
* debian/testsuite: Added tests for COSMO analytical gradients and MRCC.
* debian/rules (MRCC_METHODS): New variable, required to enable MRCC methods.

Show diffs side-by-side

added added

removed removed

Lines of Context:
src/tools/ga-5-1/armci/src/devices/dcmf/dcmf2/armcix_get.c
1
 
#if HAVE_CONFIG_H
2
 
#   include "config.h"
3
 
#endif
4
 
 
5
 
/* begin_generated_IBM_copyright_prolog                             */
6
 
/*                                                                  */
7
 
/* ---------------------------------------------------------------- */
8
 
/* (C)Copyright IBM Corp.  2007, 2008                               */
9
 
/* IBM BSD License                                                  */
10
 
/* ---------------------------------------------------------------- */
11
 
/*                                                                  */
12
 
/* end_generated_IBM_copyright_prolog                               */
13
 
/**
14
 
 * \file armci/src/x/dcmf/armcix_get.c
15
 
 * \brief DCMF ARMCI Extension for get operations.
16
 
 */
17
 
 
18
 
#include "armcix_impl.h"
19
 
 
20
 
DCMF_Protocol_t __get_protocol;
21
 
 
22
 
/**
23
 
 * \brief Register the DCMF ARMCI Extention get operation.
24
 
 *
25
 
 * \see DCMF_Get_register
26
 
 */
27
 
void ARMCIX_DCMF_Get_register ()
28
 
{
29
 
  DCMF_Get_Configuration_t configuration = {
30
 
    DCMF_DEFAULT_GET_PROTOCOL
31
 
  };
32
 
  DCMF_Get_register (&__get_protocol, &configuration);
33
 
}
34
 
 
35
 
 
36
 
/**
37
 
 * \brief ARMCI Extension blocking get operation.
38
 
 *
39
 
 * \param[in] src       Source buffer on the remote node
40
 
 * \param[in] dst       Destination buffer on the local node
41
 
 * \param[in] bytes     Number of bytes to transfer
42
 
 * \param[in] proc      Remote node rank
43
 
 *
44
 
 * \retval 0 Success
45
 
 */
46
 
int ARMCIX_Get(void * src, void * dst, int bytes, int proc)
47
 
{
48
 
  DCMF_CriticalSection_enter (0);
49
 
 
50
 
  volatile unsigned active = 1;
51
 
  DCMF_Callback_t cb_wait = { ARMCIX_DCMF_cb_decrement, (void *)&active };
52
 
  DCMF_Request_t request;
53
 
 
54
 
  DCMF_Memregion_t * src_memregion = &__connection[proc].remote_mem_region;
55
 
  DCMF_Memregion_t * dst_memregion = &__connection[proc].local_mem_region;
56
 
 
57
 
  DCMF_Result result =
58
 
    DCMF_Get (&__get_protocol,
59
 
              &request,
60
 
              cb_wait,
61
 
              DCMF_SEQUENTIAL_CONSISTENCY,
62
 
              proc,
63
 
              bytes,
64
 
              src_memregion,
65
 
              dst_memregion,
66
 
              armcix_dcmf_va_to_offset (src_memregion, src),
67
 
              armcix_dcmf_va_to_offset (dst_memregion, dst));
68
 
 
69
 
  while (active) DCMF_Messager_advance ();
70
 
 
71
 
  DCMF_CriticalSection_exit  (0);
72
 
 
73
 
  return (result != DCMF_SUCCESS);
74
 
}
75
 
 
76
 
 
77
 
/**
78
 
 * \brief ARMCI Extension non-blocking get operation.
79
 
 *
80
 
 * \param[in] src       Source buffer on the remote node
81
 
 * \param[in] dst       Destination buffer on the local node
82
 
 * \param[in] bytes     Number of bytes to transfer
83
 
 * \param[in] proc      Remote node rank
84
 
 * \param[in] nb_handle ARMCI non-blocking handle
85
 
 *
86
 
 * \return ???
87
 
 */
88
 
int ARMCIX_NbGet (void * src, void * dst, int bytes, int proc, armci_ihdl_t nb_handle)
89
 
{
90
 
  DCMF_CriticalSection_enter (0);
91
 
 
92
 
  armcix_dcmf_opaque_t * dcmf = (armcix_dcmf_opaque_t *) &nb_handle->cmpl_info;
93
 
  dcmf->active = 1;
94
 
  dcmf->connection = &__connection[proc];
95
 
 
96
 
  //fprintf (stderr, "ARMCIX_NbGet() dst=%p, src=%p, bytes=%d, request=%p\n", dst, src, bytes, &(dcmf->request));
97
 
 
98
 
  __connection[proc].active++;
99
 
  __global_connection.active++;
100
 
 
101
 
  DCMF_Callback_t cb_free = { ARMCIX_DCMF_NbOp_cb_done, nb_handle };
102
 
  ARMCIX_DCMF_Request_t * new_request = ARMCIX_DCMF_request_allocate (cb_free);
103
 
  DCMF_Callback_t cb_done = { (void(*)(void *)) ARMCIX_DCMF_request_free, new_request };
104
 
 
105
 
  DCMF_Memregion_t * src_memregion = &__connection[proc].remote_mem_region;
106
 
  DCMF_Memregion_t * dst_memregion = &__connection[proc].local_mem_region;
107
 
 
108
 
  DCMF_Result result =
109
 
    DCMF_Get (&__get_protocol,
110
 
              &(new_request->request),
111
 
              cb_done,
112
 
              DCMF_SEQUENTIAL_CONSISTENCY,
113
 
              proc,
114
 
              bytes,
115
 
              src_memregion,
116
 
              dst_memregion,
117
 
              armcix_dcmf_va_to_offset (src_memregion, src),
118
 
              armcix_dcmf_va_to_offset (dst_memregion, dst));
119
 
 
120
 
  DCMF_CriticalSection_exit (0);
121
 
 
122
 
  return (result != DCMF_SUCCESS);
123
 
}
124
 
 
125
 
 
126
 
 
127
 
/**
128
 
 * \brief ARMCI Extension blocking vector get operation.
129
 
 *
130
 
 * \param[in] darr      Descriptor array
131
 
 * \param[in] len       Length of descriptor array
132
 
 * \param[in] proc      Remote process(or) ID
133
 
 *
134
 
 * \return ???
135
 
 */
136
 
int ARMCIX_GetV (armci_giov_t * darr, int len, int proc)
137
 
{
138
 
  armci_ireq_t nb_request;
139
 
  armci_ihdl_t nb_handle = (armci_ihdl_t) &nb_request;
140
 
  ARMCIX_NbGetV (darr, len, proc, nb_handle);
141
 
  ARMCIX_Wait (&nb_handle->cmpl_info);
142
 
 
143
 
  return 0;
144
 
}
145
 
 
146
 
 
147
 
/**
148
 
 * \brief ARMCI Extension non-blocking vector get operation.
149
 
 *
150
 
 * \param[in] darr      Descriptor array
151
 
 * \param[in] len       Length of descriptor array
152
 
 * \param[in] proc      Remote process(or) ID
153
 
 * \param[in] nb_handle ARMCI non-blocking handle
154
 
 *
155
 
 * \return ???
156
 
 */
157
 
int ARMCIX_NbGetV (armci_giov_t * darr, int len, int proc, armci_ihdl_t nb_handle)
158
 
{
159
 
  DCMF_Result result = DCMF_ERROR;
160
 
 
161
 
  DCMF_CriticalSection_enter (0);
162
 
 
163
 
  //fprintf (stderr, "ARMCIX_NbGetV() >> len=%d, proc=%d\n", len, proc);
164
 
 
165
 
  // Calculate the number of requests
166
 
  unsigned n = 0;
167
 
  unsigned i, j;
168
 
  for (i = 0; i < len; i++)
169
 
    for (j = 0; j < darr[i].ptr_array_len; j++)
170
 
      n++;
171
 
 
172
 
  armcix_dcmf_opaque_t * dcmf = (armcix_dcmf_opaque_t *) &nb_handle->cmpl_info;
173
 
  dcmf->connection = &__connection[proc];
174
 
  dcmf->active = n;
175
 
 
176
 
  __connection[proc].active += n;
177
 
  __global_connection.active += n;
178
 
 
179
 
  //fprintf (stderr, "ARMCIX_NbGetV() -- n=%d, dcmf->active=%d, __connection[%d].active=%d, __global_connection.active=%d\n", n, dcmf->active, proc, __connection[proc].active, __global_connection.active);
180
 
 
181
 
  DCMF_Memregion_t * src_memregion = &__connection[proc].remote_mem_region;
182
 
  DCMF_Memregion_t * dst_memregion = &__connection[proc].local_mem_region;
183
 
 
184
 
  DCMF_Callback_t cb_free = { ARMCIX_DCMF_NbOp_cb_done, nb_handle };
185
 
  DCMF_Callback_t cb_done = { (void(*)(void *)) ARMCIX_DCMF_request_free, NULL };
186
 
  for (i = 0; i < len; i++)
187
 
  {
188
 
    for (j = 0; j < darr[i].ptr_array_len; j++)
189
 
    {
190
 
      //fprintf (stderr, "ARMCIX_NbGetV() -- src=%p, dst=%p, bytes=%d\n", darr[i].src_ptr_array[j], darr[i].dst_ptr_array[j], darr[i].bytes);
191
 
      ARMCIX_DCMF_Request_t * new_request = ARMCIX_DCMF_request_allocate (cb_free);
192
 
      cb_done.clientdata = new_request;
193
 
 
194
 
      result =
195
 
        DCMF_Get (&__get_protocol,
196
 
                  &(new_request->request),
197
 
                  cb_done,
198
 
                  DCMF_SEQUENTIAL_CONSISTENCY,
199
 
                  proc,
200
 
                  darr[i].bytes,
201
 
                  src_memregion,
202
 
                  dst_memregion,
203
 
                  armcix_dcmf_va_to_offset (src_memregion, darr[i].src_ptr_array[j]),
204
 
                  armcix_dcmf_va_to_offset (dst_memregion, darr[i].dst_ptr_array[j]));
205
 
    }
206
 
  }
207
 
 
208
 
  //fprintf (stderr, "ARMCIX_NbGetV() << result=%d\n", result);
209
 
  DCMF_CriticalSection_exit  (0);
210
 
 
211
 
  return (result != DCMF_SUCCESS);
212
 
}
213
 
 
214
 
 
215
 
unsigned ARMCIX_DCMF_GetS_recurse (void * src_ptr, int * src_stride_arr, 
216
 
                                   void * dst_ptr, int * dst_stride_arr, 
217
 
                                   int * seg_count, int stride_levels, int proc,
218
 
                                   armci_ihdl_t nb_handle)
219
 
{
220
 
  unsigned num_requests = 0;
221
 
 
222
 
  //fprintf (stderr, "ARMCIX_DCMF_GetS_recurse() >> \n");
223
 
 
224
 
  if (stride_levels == 0)
225
 
  {
226
 
    //fprintf (stderr, "ARMCIX_DCMF_GetS_recurse() dst=%p, src=%p, bytes=%d, request=%p\n", dst_ptr, src_ptr, seg_count[0], request);
227
 
 
228
 
    DCMF_Callback_t cb_free = { ARMCIX_DCMF_NbOp_cb_done, nb_handle };
229
 
    ARMCIX_DCMF_Request_t * new_request = ARMCIX_DCMF_request_allocate (cb_free);
230
 
    DCMF_Callback_t cb_done = { (void(*)(void *)) ARMCIX_DCMF_request_free, new_request };
231
 
 
232
 
    DCMF_Memregion_t * src_memregion = &__connection[proc].remote_mem_region;
233
 
    DCMF_Memregion_t * dst_memregion = &__connection[proc].local_mem_region;
234
 
 
235
 
    DCMF_Get (&__get_protocol,
236
 
              &(new_request->request),
237
 
              cb_done,
238
 
              DCMF_SEQUENTIAL_CONSISTENCY,
239
 
              proc,
240
 
              seg_count[0],
241
 
              src_memregion,
242
 
              dst_memregion,
243
 
              armcix_dcmf_va_to_offset (src_memregion, src_ptr),
244
 
              armcix_dcmf_va_to_offset (dst_memregion, dst_ptr));
245
 
 
246
 
    num_requests++;
247
 
  }
248
 
  else
249
 
  {
250
 
    char * src_tmp = (char *) src_ptr;
251
 
    char * dst_tmp = (char *) dst_ptr;
252
 
    unsigned i;
253
 
    for (i = 0; i < seg_count[stride_levels]; i++)
254
 
    {
255
 
      num_requests += ARMCIX_DCMF_GetS_recurse (src_tmp, src_stride_arr, 
256
 
                                                dst_tmp, dst_stride_arr, 
257
 
                                                seg_count, (stride_levels-1), proc,
258
 
                                                nb_handle);
259
 
 
260
 
      src_tmp += src_stride_arr[(stride_levels-1)];
261
 
      dst_tmp += dst_stride_arr[(stride_levels-1)];
262
 
    }
263
 
  }
264
 
 
265
 
  //fprintf (stderr, "ARMCIX_DCMF_GetS_recurse() << num_requests = %d\n", num_requests);
266
 
 
267
 
  return num_requests;
268
 
}
269
 
 
270
 
 
271
 
/**
272
 
 * \brief ARMCI Extension blocking strided get operation.
273
 
 *
274
 
 * \param[in] src_ptr        pointer to 1st segment at source
275
 
 * \param[in] src_stride_arr array of strides at source
276
 
 * \param[in] dst_ptr        pointer to 1st segment at destination
277
 
 * \param[in] dst_stride_arr array of strides at destination
278
 
 * \param[in] seg_count      number of segments at each stride levels: count[0]=bytes
279
 
 * \param[in] stride_levels  number of stride levels
280
 
 * \param[in] proc           remote process(or) ID
281
 
 *
282
 
 * \return ???
283
 
 */
284
 
int ARMCIX_GetS (void * src_ptr, int * src_stride_arr, 
285
 
                 void * dst_ptr, int * dst_stride_arr, 
286
 
                 int * seg_count, int stride_levels, int proc)
287
 
{
288
 
  armci_ireq_t nb_request;
289
 
  armci_ihdl_t nb_handle = (armci_ihdl_t) &nb_request;
290
 
  ARMCIX_NbGetS (src_ptr, src_stride_arr, dst_ptr, dst_stride_arr,
291
 
                 seg_count, stride_levels, proc, nb_handle);
292
 
  ARMCIX_Wait (&nb_handle->cmpl_info);
293
 
 
294
 
  return 0;
295
 
}
296
 
 
297
 
/**
298
 
 * \brief ARMCI Extension non-blocking strided get operation.
299
 
 *
300
 
 * \param[in] src_ptr        pointer to 1st segment at source
301
 
 * \param[in] src_stride_arr array of strides at source
302
 
 * \param[in] dst_ptr        pointer to 1st segment at destination
303
 
 * \param[in] dst_stride_arr array of strides at destination
304
 
 * \param[in] seg_count      number of segments at each stride levels: count[0]=bytes
305
 
 * \param[in] stride_levels  number of stride levels
306
 
 * \param[in] proc           remote process(or) ID
307
 
 * \param[in] nb_handle      ARMCI non-blocking handle
308
 
 *
309
 
 * \return ???
310
 
 */
311
 
int ARMCIX_NbGetS (void * src_ptr, int * src_stride_arr, 
312
 
                   void * dst_ptr, int * dst_stride_arr, 
313
 
                   int * seg_count, int stride_levels, int proc,
314
 
                   armci_ihdl_t nb_handle)
315
 
{
316
 
  DCMF_CriticalSection_enter (0);
317
 
 
318
 
  assert (nb_handle != NULL);
319
 
  if (stride_levels > 0)
320
 
  {
321
 
    assert (src_stride_arr);
322
 
    assert (dst_stride_arr);
323
 
  }
324
 
 
325
 
  // Calculate the number of requests
326
 
  unsigned i;
327
 
  unsigned n = 1;
328
 
  for (i = 0; i < stride_levels; i++) n = n * seg_count[i+1];
329
 
 
330
 
  armcix_dcmf_opaque_t * dcmf = (armcix_dcmf_opaque_t *) &nb_handle->cmpl_info;
331
 
  dcmf->connection = &__connection[proc];
332
 
  dcmf->active = n;
333
 
 
334
 
  __connection[proc].active += n;
335
 
  __global_connection.active += n;
336
 
 
337
 
  unsigned count;
338
 
  count = ARMCIX_DCMF_GetS_recurse (src_ptr, src_stride_arr, 
339
 
                                    dst_ptr, dst_stride_arr, 
340
 
                                    seg_count, stride_levels, proc,
341
 
                                    nb_handle);
342
 
 
343
 
  assert (n == count);
344
 
 
345
 
  DCMF_CriticalSection_exit  (0);
346
 
 
347
 
  return 0;
348
 
}