Status mpi error

Open MPI v4.0.7 man page: MPI(3)

« Return to documentation listing

Table of Contents

Name

MPI — General information Open MPI 4.0.7.

Mpi

Open MPI is an open source
implementation of MPI (message-passing interface), the industry-standard
specification for writing message-passing programs. Message passing is a
programming model that gives the programmer explicit control over interprocess
communication.

The MPI specification was developed by the MPI Forum, a group
of software developers, computer vendors, academics, and computer-science
researchers whose goal was to develop a standard for writing message-passing
programs that would be efficient, flexible, and portable.

The outcome, known
as the MPI Standard, was first published in 1993; its most recent version
(MPI-2) was published in July 1997. Open MPI 1.2 includes all MPI 1.2-compliant
and MPI 2-compliant routines.

For more information about Open MPI, see the
following URL: 

   http://www.open-mpi.org

The MPI standards are available at the following URL: 

    http://www.mpi-forum.org

Man Page Syntax

Man pages for Open MPI and Open MPI I/O routines are named
according to C syntax, that is, they begin with the prefix «MPI_», all
in uppercase, and the first letter following the «MPI_» prefix is also
uppercase. The rest of the letters in the routine are all lowercase, for
example, «MPI_Comm_get_attr».

Environment

To fine-tune your Open MPI environment,
you can either use arguments to the mpirun, orterun, or mpiexec commands,
or you can use MCA parameters.

For more information on arguments, see the
orterun.1 man page.

For a complete listing of MCA parameters and their descriptions,
issue the command ompi_info -h or ompi_info -param all all. This information
also appears in the FAQ on the Open MPI web site at: 

   http://www.open-mpi.org/faq/?category=tuning#mca-params

Errors

All MPI routines (except MPI_Wtime and MPI_Wtick) return an error
value; C routines as the value of the function and Fortran routines in
the last argument. Before the value is returned, the current MPI error
handler is called. By default, this error handler aborts the MPI job. The
error handler may be changed with MPI_Comm_set_errhandler; the predefined
error handler MPI_ERRORS_RETURN may be used to cause error values to be
returned. Note that MPI does not guarantee that an MPI program can continue
past an error.

For more information on Open MPI error codes, see mpi.h in
the include directory.

Standard error return classes for Open MPI: 

MPI_SUCCESS                0      Successful return code.
MPI_ERR_BUFFER             1      Invalid buffer pointer.
MPI_ERR_COUNT              2      Invalid count argument.
MPI_ERR_TYPE               3      Invalid datatype argument.
MPI_ERR_TAG                4      Invalid tag argument.
MPI_ERR_COMM               5      Invalid communicator.
MPI_ERR_RANK               6      Invalid rank.
MPI_ERR_REQUEST            7      Invalid MPI_Request handle.
MPI_ERR_ROOT               8      Invalid root.
MPI_ERR_GROUP              9      Null group passed to function.
MPI_ERR_OP                10      Invalid operation.
MPI_ERR_TOPOLOGY          11      Invalid topology.
MPI_ERR_DIMS              12      Illegal dimension argument.
MPI_ERR_ARG               13      Invalid argument.
MPI_ERR_UNKNOWN           14      Unknown error.
MPI_ERR_TRUNCATE          15      Message truncated on receive.
MPI_ERR_OTHER             16      Other error; use Error_string.
MPI_ERR_INTERN            17      Internal error code.
MPI_ERR_IN_STATUS         18      Look in status for error value.
MPI_ERR_PENDING           19      Pending request.
MPI_ERR_ACCESS            20      Permission denied.
MPI_ERR_AMODE             21      Unsupported amode passed to open.
MPI_ERR_ASSERT            22      Invalid assert.
MPI_ERR_BAD_FILE          23      Invalid file name (for example,
                                  path name too long).
MPI_ERR_BASE              24      Invalid base.
MPI_ERR_CONVERSION        25      An error occurred in a user-supplied
                                  data-conversion function.
MPI_ERR_DISP              26      Invalid displacement.
MPI_ERR_DUP_DATAREP       27      Conversion functions could not
                                  be registered because a data
                                  representation identifier that was
                                  already defined was passed to
                                  MPI_REGISTER_DATAREP.
MPI_ERR_FILE_EXISTS       28      File exists.
MPI_ERR_FILE_IN_USE       29      File operation could not be
                                  completed, as the file is currently
                                  open by some process.
MPI_ERR_FILE              30      Invalid file handle.
MPI_ERR_INFO_KEY          31      Illegal info key.
MPI_ERR_INFO_NOKEY        32      No such key.
MPI_ERR_INFO_VALUE        33      Illegal info value.
MPI_ERR_INFO              34      Invalid info object.
MPI_ERR_IO                35      I/O error.
MPI_ERR_KEYVAL            36      Illegal key value.
MPI_ERR_LOCKTYPE          37      Invalid locktype.
MPI_ERR_NAME              38      Name not found.
MPI_ERR_NO_MEM            39      Memory exhausted.
MPI_ERR_NOT_SAME          40      Collective argument not identical
                                  on all processes, or collective
                                  routines called in a different order
                                  by different processes.
MPI_ERR_NO_SPACE          41      Not enough space.
MPI_ERR_NO_SUCH_FILE      42      File (or directory) does not exist.
MPI_ERR_PORT              43      Invalid port.
MPI_ERR_QUOTA             44      Quota exceeded.
MPI_ERR_READ_ONLY         45      Read-only file system.
MPI_ERR_RMA_CONFLICT      46      Conflicting accesses to window.
MPI_ERR_RMA_SYNC          47      Erroneous RMA synchronization.
MPI_ERR_SERVICE           48      Invalid publish/unpublish.
MPI_ERR_SIZE              49      Invalid size.
MPI_ERR_SPAWN             50      Error spawning.
MPI_ERR_UNSUPPORTED_DATAREP
                          51      Unsupported datarep passed to
                                  MPI_File_set_view.
MPI_ERR_UNSUPPORTED_OPERATION
                          52      Unsupported operation, such as
                                  seeking on a file that supports
                                  only sequential access.
MPI_ERR_WIN               53      Invalid window.
MPI_T_ERR_MEMORY          54      Out of memory.
MPI_T_ERR_NOT_INITIALIZED 55      Interface not initialized.
MPI_T_ERR_CANNOT_INIT     56      Interface not in the state to be
                                  initialized.
MPI_T_ERR_INVALID_INDEX   57      The enumeration index is invalid.
MPI_T_ERR_INVALID_ITEM    58      The item index queried is out of
                                  range.
MPI_T_ERR_INVALID_HANDLE  59      The handle is invalid.
MPI_T_ERR_OUT_OF_HANDLES  60      No more handles available.
MPI_T_ERR_OUT_OF_SESSIONS 61      No more sessions available.
MPI_T_ERR_INVALID_SESSION 62      Session argument is not a valid
                                  session.
MPI_T_ERR_CVAR_SET_NOT_NOW
                          63      Variable cannot be set at this
                                  moment.
MPI_T_ERR_CVAR_SET_NEVER  64      Variable cannot be set until end of
                                  execution.
MPI_T_ERR_PVAR_NO_STARTSTOP
                          65      Variable cannot be started or stopped.
MPI_T_ERR_PVAR_NO_WRITE   66      Variable cannot be written or reset.
MPI_T_ERR_PVAR_NO_ATOMIC  67      Variable cannot be read and written
                                  atomically.
MPI_ERR_RMA_RANGE         68      Target memory is not part of the
                                  window (in the case of a window
                                  created with MPI_WIN_CREATE_DYNAMIC,
                                  target memory is not attached).
MPI_ERR_RMA_ATTACH        69      Memory cannot be attached (e.g.,
                                  because of resource exhaustion).
MPI_ERR_RMA_FLAVOR        70      Passed window has the wrong flavor
                                  for the called function.
MPI_ERR_RMA_SHARED        71      Memory cannot be shared (e.g., some
                                  process in the group of the specified
                                  communicator cannot expose shared
                                  memory).
MPI_T_ERR_INVALID         72      Invalid use of the interface or bad
                                  parameter values(s).
MPI_T_ERR_INVALID_NAME    73      The variable or category name is
                                  invalid.
MPI_ERR_LASTCODE          93      Last error code.

Table of Contents

  • Name
  • Mpi
  • Man Page Syntax
  • Environment
  • Errors

« Return to documentation listing

Источник

NAME¶

Constants — Meaning of MPI’s defined constants

DATA TYPES¶

Note that the Fortran types should only be used in Fortran
programs, and the C types should only be used in C programs. For example, it
is in error to use MPI_INT for a Fortran INTEGER. Datatypes are of
type MPI_Datatype in C, type INTEGER in Fortran, and
Type(MPI_Datatype) in Fortran08

C DATATYPES¶

MPI_CHAR
— char
MPI_SIGNED_CHAR
— signed char
MPI_UNSIGNED_CHAR
— unsigned char
MPI_BYTE
— See standard; like unsigned char
MPI_WCHAR
— wide character (wchar_t)
MPI_SHORT
— short
MPI_UNSIGNED_SHORT
— unsigned short
MPI_INT
— int
MPI_UNSIGNED
— unsigned int
MPI_LONG
— long
MPI_UNSIGNED_LONG
— unsigned long
MPI_LONG_LONG_INT
— long long
MPI_LONG_LONG
— synonyn for MPI_LONG_LONG_INT

MPI_UNSIGNED_LONG_LONG
— unsigned long long
MPI_FLOAT
— float
MPI_DOUBLE
— double
MPI_LONG_DOUBLE
— long double (some systems may not implement this)
MPI_INT8_T
— int8_t
MPI_INT16_T
— int16_t
MPI_INT32_T
— int32_t
MPI_INT64_T
— int64_t
MPI_UINT8_T
— uint8_t
MPI_UINT16_T
— uint16_t
MPI_UINT32_T
— uint32_t
MPI_UINT64_T
— uint64_t
MPI_C_BOOL
— _Bool
MPI_C_FLOAT_COMPLEX
— float _Complex
MPI_C_COMPLEX
— float _Complex
MPI_C_DOUBLE_COMPLEX
— double _Complex
MPI_C_LONG_DOUBLE_COMPLEX
— long double _Complex

The following are datatypes for the MPI functions
MPI_MAXLOC and MPI_MINLOC .

MPI_FLOAT_INT
— struct { float, int }

MPI_LONG_INT
— struct { long, int }

MPI_DOUBLE_INT
— struct { double, int }

MPI_SHORT_INT
— struct { short, int }

MPI_2INT
— struct { int, int }

MPI_LONG_DOUBLE_INT
— struct { long double, int } ; this is an optional type,
and may be set to MPI_DATATYPE_NULL

Special datatypes for C and Fortran

MPI_PACKED
— For MPI_Pack and MPI_Unpack

MPI_UB
— For MPI_Type_struct ; an upper-bound indicator. Removed in MPI
3
MPI_LB
— For MPI_Type_struct ; a lower-bound indicator. Removed in MPI 3

FORTRAN DATATYPES¶

MPI_REAL
— REAL

MPI_INTEGER
— INTEGER

MPI_LOGICAL
— LOGICAL

MPI_DOUBLE_PRECISION
— DOUBLE PRECISION

MPI_COMPLEX
— COMPLEX

MPI_DOUBLE_COMPLEX
— complex*16 (or complex*32 ) where supported.

The following datatypes are optional

MPI_INTEGER1
— integer*1 if supported
MPI_INTEGER2
— integer*2 if supported
MPI_INTEGER4
— integer*4 if supported
MPI_INTEGER8
— integer*8 if supported
MPI_INTEGER16
— integer*16 if supported
MPI_REAL4
— real*4 if supported
MPI_REAL8
— real*8 if supported
MPI_REAL16
— real*16 if supported
MPI_COMPLEX8
— complex*8 if supported
MPI_COMPLEX16
— complex*16 if supported
MPI_COMPLEX32
— complex*32 if supported

The following are datatypes for the MPI functions
MPI_MAXLOC and MPI_MINLOC . In Fortran, these datatype
always consist of two elements of the same Fortran type.

MPI_2INTEGER
— INTEGER,INTEGER

MPI_2REAL
— REAL, REAL

MPI_2DOUBLE_PRECISION
— DOUBLE PRECISION, DOUBLE PRECISION

MPI Datatypes for MPI Types

MPI_AINT
— Datatype for an MPI_Aint

MPI_OFFSET
— Datatype for an MPI_Offset

MPI_COUNT
— Datatype for an MPI_Count

MPI DATATYPE COMBINER NAMES¶

MPI_COMBINER_NAMED
— a named predefined datatype
MPI_COMBINER_DUP
— MPI_TYPE_DUP
MPI_COMBINER_CONTIGUOUS
— MPI_TYPE_CONTIGUOUS
MPI_COMBINER_VECTOR
— MPI_TYPE_VECTOR
MPI_COMBINER_HVECTOR_INTEGER
— Removed in MPI-3
MPI_COMBINER_HVECTOR
— MPI_TYPE_CREATE_HVECTOR
MPI_COMBINER_INDEXED
— MPI_TYPE_INDEXED
MPI_COMBINER_HINDEXED_INTEGER
— Removed in MPI-3
MPI_COMBINER_HINDEXED
— MPI_TYPE_CREATE_HINDEXED
MPI_COMBINER_INDEXED_BLOCK
— MPI_TYPE_CREATE_INDEXED_BLOCK
MPI_COMBINER_STRUCT_INTEGER
— Removed in MPI-3
MPI_COMBINER_STRUCT
— MPI_TYPE_CREATE_STRUCT
MPI_COMBINER_SUBARRAY
— MPI_TYPE_CREATE_SUBARRAY
MPI_COMBINER_DARRAY
— MPI_TYPE_CREATE_DARRAY
MPI_COMBINER_F90_REAL
— MPI_TYPE_CREATE_F90_REAL
MPI_COMBINER_F90_COMPLEX
— MPI_TYPE_CREATE_F90_COMPLEX
MPI_COMBINER_F90_INTEGER
— MPI_TYPE_CREATE_F90_INTEGER
MPI_COMBINER_RESIZED
— MPI_TYPE_CREATE_RESIZED
MPI_COMBINER_HINDEXED_BLOCK
— MPI_TYPE_CREATE_HINDEXED_BLOCK

MPI DATATYPE TYPE CLASSES¶

MPI Type classes used with routines to return Fortran types with
defined precision and range

MPI_TYPECLASS_REAL
— REAL

MPI_TYPECLASS_INTEGER
— INTEGER

MPI_TYPECLASS_COMPLEX
— COMPLEX

MPI DARRAY AND SUBARRAY VALUES¶

These values are used to create a datatype with the DARRAY
and SUBARRAY constructors.

MPI_ORDER_C
— Row-major order (as used by C)
MPI_ORDER_FORTRAN
— Column-major order (as used by Fortran)
MPI_DISTRIBUTE_BLOCK
— Block distribution
MPI_DISTRIBUTE_CYCLIC
— Cyclic distribution
MPI_DISTRIBUTE_NONE
— This dimension is not distributed
MPI_DISTRIBUTE_DFLT_DARG
— Use the default distribution

COMMUNICATORS¶

Communicators are of type MPI_Comm in C, INTEGER in
Fortran, and Type(MPI_Comm) in Fortran08

MPI_COMM_WORLD
— Contains all of the processes
MPI_COMM_SELF
— Contains only the calling process

KIND OF COMMUNICATOR FOR ‘MPI_COMM_SPLIT_TYPE’¶

MPI_COMM_TYPE_SHARED
— All processes that can share memory are grouped into the same
communicator.

GROUPS¶

Groups are of type MPI_Group in C, INTEGER in
Fortran, and Type(MPI_Group) in Fortran08

MPI_GROUP_EMPTY
— A group containing no members.

RESULTS OF THE COMPARE OPERATIONS ON GROUPS AND COMMUNICATORS¶

MPI_IDENT
— Identical
MPI_CONGRUENT
— (only for MPI_COMM_COMPARE ) The groups are identical
MPI_SIMILAR
— Same members, but in a different order
MPI_UNEQUAL
— Different

COLLECTIVE OPERATIONS¶

The collective combination operations (e.g., MPI_REDUCE ,
MPI_ALLREDUCE , MPI_REDUCE_SCATTER , and MPI_SCAN )
take a combination operation. This operation is of type MPI_Op in C
and of type INTEGER in Fortran. The predefined operations are

MPI_MAX
— return the maximum
MPI_MIN
— return the minimum
MPI_SUM
— return the sum
MPI_PROD
— return the product
MPI_LAND
— return the logical and
MPI_BAND
— return the bitwise and
MPI_LOR
— return the logical or
MPI_BOR
— return the bitwise of
MPI_LXOR
— return the logical exclusive or
MPI_BXOR
— return the bitwise exclusive or
MPI_MINLOC
— return the minimum and the location (actually, the value of the second
element of the structure where the minimum of the first is found)
MPI_MAXLOC
— return the maximum and the location
MPI_REPLACE
— replace b with a
MPI_NO_OP
— perform no operation

NOTES ON COLLECTIVE OPERATIONS¶

The reduction functions ( MPI_Op ) do not return an error
value. As a result, if the functions detect an error, all they can do is
either call MPI_Abort or silently skip the problem. Thus, if you
change the error handler from MPI_ERRORS_ARE_FATAL to something else,
for example, MPI_ERRORS_RETURN , then no error may be indicated.

The reason for this is the performance problems in ensuring that
all collective routines return the same error value.

Note that not all datatypes are valid for these functions. For
example, MPI_COMPLEX is not valid for MPI_MAX and
MPI_MIN . In addition, the MPI 1.1 standard did not include the C
types MPI_CHAR and MPI_UNSIGNED_CHAR among the lists of
arithmetic types for operations like MPI_SUM . However, since the C
type char is an integer type (like short ), it should have
been included. The MPI Forum will probably include char and
unsigned char as a clarification to MPI 1.1; until then, users are
advised that MPI implementations may not accept MPI_CHAR and
MPI_UNSIGNED_CHAR as valid datatypes for MPI_SUM ,
MPI_PROD , etc. MPICH does allow these datatypes.

PERMANENT KEY VALUES¶

These are the same in C and Fortran

MPI_TAG_UB
— Largest tag value
MPI_HOST
— Rank of process that is host, if any
MPI_IO
— Rank of process that can do I/O
MPI_WTIME_IS_GLOBAL
— Has value 1 if MPI_WTIME is globally synchronized.
MPI_UNIVERSE_SIZE
— Number of available processes. See the standard for a description of
limitations on this value
MPI_LASTUSEDCODE
— Last used MPI error code (check — code or class?)
MPI_APPNUM
— Application number, starting from 0. See the standard for
MPI_COMM_SPAWN_MULTIPLE and mpiexec for details

NULL OBJECTS¶

MPI_COMM_NULL
— Null communicator
MPI_OP_NULL
— Null operation
MPI_GROUP_NULL
— Null group
MPI_DATATYPE_NULL
— Null datatype
MPI_REQUEST_NULL
— Null request
MPI_ERRHANDLER_NULL
— Null error handler
MPI_WIN_NULL
— Null window handle
MPI_FILE_NULL
— Null file handle
MPI_INFO_NULL
— Null info handle
MPI_MESSAGE_NULL
— Null message handle
MPI_ARGV_NULL
— Empty ARGV value for spawn commands
MPI_ARGVS_NULL
— Empty ARGV array for spawn-multiple command
MPI_T_ENUM_NULL
— Null MPI_T enum
MPI_T_CVAR_HANDLE_NULL
— Null MPI_T control variable handle
MPI_T_PVAR_HANDLE_NULL
— Null MPI_T performance variable handle
MPI_T_PVAR_SESSION_NULL
— Null MPI_T performance variable session handle

PREDEFINED CONSTANTS¶

MPI_MAX_PROCESSOR_NAME
— Maximum length of name returned by MPI_GET_PROCESSOR_NAME

MPI_MAX_ERROR_STRING
— Maximum length of string return by MPI_ERROR_STRING

MPI_MAX_LIBRARY_VERSION_STRING
— Maximum length of string returned by
MPI_GET_LIBRARY_VERSION_STRING ???
MPI_MAX_PORT_NAME
— Maximum length of a port
MPI_MAX_OBJECT_NAME
— Maximum length of an object (?)
MPI_MAX_INFO_KEY
— Maximum length of an info key
MPI_MAX_INFO_VAL
— Maximum length of an info value
MPI_UNDEFINED
— Used by many routines to indicated undefined or unknown integer
value
MPI_UNDEFINED_RANK
— Unknown rank
MPI_KEYVAL_INVALID
— Special keyval that may be used to detect uninitialized keyvals.
MPI_BSEND_OVERHEAD
— Add this to the size of a MPI_BSEND buffer for each outstanding
message
MPI_PROC_NULL
— This rank may be used to send or receive from no-one.
MPI_ANY_SOURCE
— In a receive, accept a message from anyone.
MPI_ANY_TAG
— In a receive, accept a message with any tag value.
MPI_BOTTOM
— May be used to indicate the bottom of the address space
MPI_IN_PLACE
— Special location for buffer in some collective communication
routines
MPI_VERSION
— Numeric value of MPI version (e.g., 3)
MPI_SUBVERSION
— Numeric value of MPI subversion (e.g., 1)

TOPOLOGY TYPES¶

MPI_CART
— Cartesian grid
MPI_GRAPH
— General graph
MPI_DIST_GRAPH
— General distributed graph

SPECIAL VALUES FOR DISTRIBUTED GRAPH¶

MPI_UNWEIGHTED
— Indicates that the edges are unweighted
MPI_WEIGHTS_EMPTY
— Special address that indicates no array of weights information

FILE MODES¶

MPI_MODE_RDONLY
— Read only
MPI_MODE_RDWR
— Read and write
MPI_MODE_WRONLY
— Write only
MPI_MODE_CREATE
— Create the file if it does not exist
MPI_MODE_EXCL
— It is an error if creating a file that already exists
MPI_MODE_DELETE_ON_CLOSE
— Delete the file on close
MPI_MODE_UNIQUE_OPEN
— The file will not be concurrently opened elsewhere
MPI_MODE_APPEND
— The initial position of all file pointers is at the end of the file
MPI_MODE_SEQUENTIAL
— File will only be accessed sequentially

FILE DISPLACEMENT¶

MPI_DISPLACEMENT_CURRENT
— Use with files opened with mode MPI_MODE_SEQUENTIAL in calls to
MPI_FILE_SET_VIEW

FILE POSITIONING¶

MPI_SEEK_SET
— Set the pointer to offset

MPI_SEEK_CUR
— Set the pointer to the current position plus offset

MPI_SEEK_END
— Set the pointer to the end of the file plus offset

WINDOW ATTRIBUTES¶

MPI_WIN_BASE
— window base address.
MPI_WIN_SIZE
— window size, in bytes
MPI_WIN_DISP_UNIT
— displacement unit associated with the window
MPI_WIN_CREATE_FLAVOR
— how the window was created
MPI_WIN_MODEL
— memory model for window

WINDOW FLAVORS¶

MPI_WIN_FLAVOR_CREATE
— Window was created with MPI_WIN_CREATE.
MPI_WIN_FLAVOR_ALLOCATE
— Window was created with MPI_WIN_ALLOCATE.
MPI_WIN_FLAVOR_DYNAMIC
— Window was created with MPI_WIN_CREATE_DYNAMIC.
MPI_WIN_FLAVOR_SHARED
— Window was created with MPI_WIN_ALLOCATE_SHARED.

WINDOW MEMORY MODEL¶

MPI_WIN_SEPARATE
— Separate public and private copies of window memory
MPI_WIN_UNIFIED
— The public and private copies are identical (by which we mean that
updates are eventually observed without additional RMA operations)

WINDOW LOCK TYPES¶

MPI_LOCK_EXCLUSIVE
— Only one process at a time will execute accesses within the lock
MPI_LOCK_SHARED
— Not exclusive; multiple processes may execute accesses within the lock

WINDOW ASSERTIONS¶

See section 11.5 in MPI 3.1 for a detailed description of each of
these assertion values.

MPI_MODE_NOCHECK
— The matching calls to MPI_WIN_POST or MPI_WIN_START have already
completed, or no process holds or will attempt to acquire, a conflicting
lock.
MPI_MODE_NOSTORE
— The local window has not been updated by stores since the last
synchronization
MPI_MODE_NOPUT
— The local window will not be updated by put or accumulate until the next
synchronization
MPI_MODE_NOPRECEDE
— The fence does not complete any locally issued RMA calls
MPI_MODE_NOSUCCEED
— The fence does not start any locally issued RMA calls

PREDEFINED INFO OBJECT¶

MPI_INFO_ENV
— Contains the execution environment

MPI STATUS¶

The MPI_Status datatype is a structure in C. The three
elements for use by programmers are

MPI_SOURCE
— Who sent the message
MPI_TAG
— What tag the message was sent with
MPI_ERROR
— Any error return (only when the error returned by the routine has error
class MPI_ERR_IN_STATUS )

MPI_STATUS_IGNORE
— Ignore a single MPI_Status argument
MPI_STATUSES_IGNORE
— Ignore an array of MPI_Status

SPECIAL VALUE FOR ERROR CODES ARRAY¶

MPI_ERRCODES_IGNORE
— Ignore an array of error codes

MPI_T CONSTANTS¶

MPI_T_VERBOSITY_USER_BASIC
— Basic information of interest to users
MPI_T_VERBOSITY_USER_DETAIL
— Detailed information of interest to users
MPI_T_VERBOSITY_USER_ALL
— All remaining information of interest to users
MPI_T_VERBOSITY_TUNER_BASIC
— Basic information required for tuning
MPI_T_VERBOSITY_TUNER_DETAIL
— Detailed information required for tuning
MPI_T_VERBOSITY_TUNER_ALL
— All remaining information required for tuning
MPI_T_VERBOSITY_MPIDEV_BASIC
— Basic information for MPI implementors

MPI_T_VERBOSITY_MPIDEV_DETAIL
— Detailed information for MPI implementors
MPI_T_VERBOSITY_MPIDEV_ALL
— All remaining information for MPI implementors
MPI_T_BIND_NO_OBJECT
— Applies globally to entire MPI process
MPI_T_BIND_MPI_COMM
— MPI communicators
MPI_T_BIND_MPI_DATATYPE
— MPI datatypes
MPI_T_BIND_MPI_ERRHANDLER
— MPI error handlers
MPI_T_BIND_MPI_FILE
— MPI file handles
MPI_T_BIND_MPI_GROUP
— MPI groups
MPI_T_BIND_MPI_OP
— MPI reduction operators
MPI_T_BIND_MPI_REQUEST
— MPI requests
MPI_T_BIND_MPI_WIN
— MPI windows for one-sided communication
MPI_T_BIND_MPI_MESSAGE
— MPI message object
MPI_T_BIND_MPI_INFO
— MPI info object
MPI_T_SCOPE_CONSTANT
— read-only, value is constant
MPI_T_SCOPE_READONLY
— read-only, cannot be written, but can change
MPI_T_SCOPE_LOCAL
— may be writeable, writing is a local operation
MPI_T_SCOPE_GROUP
— may be writeable, must be done to a group of processes, all processes in
a group must be set to consistent values
MPI_T_SCOPE_GROUP_EQ
— may be writeable, must be done to a group of processes, all processes in
a group must be set to the same value
MPI_T_SCOPE_ALL
— may be writeable, must be done to all processes, all connected processes
must be set to consistent values
MPI_T_SCOPE_ALL_EQ
— may be writeable, must be done to all processes, all connected processes
must be set to the same value
MPI_T_PVAR_CLASS_STATE
— set of discrete states (MPI_INT)
MPI_T_PVAR_CLASS_LEVEL
— utilization level of a resource
MPI_T_PVAR_CLASS_SIZE
— size of a resource
MPI_T_PVAR_CLASS_PERCENTAGE
— percentage utilization of a resource
MPI_T_PVAR_CLASS_HIGHWATERMARK
— high watermark of a resource
MPI_T_PVAR_CLASS_LOWWATERMARK
— low watermark of a resource
MPI_T_PVAR_CLASS_COUNTER
— number of occurrences of an event
MPI_T_PVAR_CLASS_AGGREGATE
— aggregate value over an event (e.g., sum of all memory allocations)
MPI_T_PVAR_CLASS_TIMER
— aggretate time spent executing event
MPI_T_PVAR_CLASS_GENERIC
— used for any other time of performance variable

THREAD LEVELS¶

MPI_THREAD_SINGLE
— Only one thread executes
MPI_THREAD_FUNNELED
— Only the main thread makes MPI calls
MPI_THREAD_SERIALIZED
— Only one thread at a time makes MPI calls
MPI_THREAD_MULTIPLE
— Multiple threads may make MPI calls

SPECIAL MPI TYPES AND FUNCTIONS¶

MPI_Aint
— C type that holds any valid address.
MPI_Count
— C type that holds any valid count.
MPI_Offset
— C type that holds any valid file offset.
MPI_Handler_function
— C function for handling errors (see MPI_Errhandler_create )
.
MPI_User_function
— C function to combine values (see collective operations and
MPI_Op_create )
MPI_Copy_function
— Function to copy attributes (see MPI_Keyval_create )
MPI_Delete_function
— Function to delete attributes (see MPI_Keyval_create )
MPI_ERRORS_ARE_FATAL
— Error handler that forces exit on error
MPI_ERRORS_RETURN
— Error handler that returns error codes (as value of MPI routine in C and
through last argument in Fortran)
MPI_ERRORS_ABORT
— Error handler that forces exit on error (only aborts local process if
the error handler is invoked on a session)

MPI ATTRIBUTE DEFAULT FUNCTIONS¶

MPI_COMM_NULL_COPY_FN
— Predefined attribute copy function for communicators
MPI_COMM_NULL_DELETE_FN
— Predefined attribute delete function for communicators
MPI_COMM_DUP_FN
— Predefined attribute duplicate function for communicators
MPI_WIN_NULL_COPY_FN
— Predefined attribute copy function for windows
MPI_WIN_NULL_DELETE_FN
— Predefined attribute delete function for windows
MPI_WIN_DUP_FN
— Predefined attribute duplicate function for windows
MPI_TYPE_NULL_COPY_FN
— Predefined attribute copy function for datatypes
MPI_TYPE_NULL_DELETE_FN
— Predefined attribute delete function for datatypes
MPI_TYPE_DUP_FN
— Predefined attribute duplicate function for datatypes

MPI-1 ATTRIBUTE DEFAULT FUNCTIONS¶

MPI_NULL_COPY_FN
— Predefined copy function
MPI_NULL_DELETE_FN
— Predefined delete function
MPI_DUP_FN
— Predefined duplication function

MPI ERROR CLASSES¶

MPI_SUCCESS
— Successful return code
MPI_ERR_BUFFER
— Invalid buffer pointer
MPI_ERR_COUNT
— Invalid count argument
MPI_ERR_TYPE
— Invalid datatype argument
MPI_ERR_TAG
— Invalid tag argument
MPI_ERR_COMM
— Invalid communicator
MPI_ERR_RANK
— Invalid rank
MPI_ERR_ROOT
— Invalid root
MPI_ERR_GROUP
— Null group passed to function
MPI_ERR_OP
— Invalid operation
MPI_ERR_TOPOLOGY
— Invalid topology
MPI_ERR_DIMS
— Illegal dimension argument
MPI_ERR_ARG
— Invalid argument
MPI_ERR_UNKNOWN
— Unknown error
MPI_ERR_TRUNCATE
— Message truncated on receive
MPI_ERR_OTHER
— Other error; use Error_string
MPI_ERR_INTERN
— Internal error code
MPI_ERR_IN_STATUS
— Look in status for error value
MPI_ERR_PENDING
— Pending request
MPI_ERR_REQUEST
— Invalid mpi_request handle
MPI_ERR_ACCESS
— Permission denied
MPI_ERR_AMODE
— Error related to the amode passed to MPI_FILE_OPEN

MPI_ERR_BAD_FILE
— Invalid file name (e.g., path name too long)
MPI_ERR_CONVERSION
— An error occurred in a user supplied data conversion function
MPI_ERR_DUP_DATAREP
— Conversion functions could not be registered because a data
representation identifier that was already defined was passed to
MPI_REGISTER_DATAREP

MPI_ERR_FILE_EXISTS
— File exists
MPI_ERR_FILE_IN_USE
— File operation could not be completed, as the file is currently open by
some process
MPI_ERR_FILE
— Invalid file handle
MPI_ERR_IO
— Other I/O error
MPI_ERR_NO_SPACE
— Not enough space
MPI_ERR_NO_SUCH_FILE
— File does not exist
MPI_ERR_READ_ONLY
— Read-only file or file system
MPI_ERR_UNSUPPORTED_DATAREP
— Unsupported datarep passed to MPI_FILE_SET_VIEW

MPI_ERR_INFO
— Invalid info argument
MPI_ERR_INFO_KEY
— Key longer than MPI_MAX_INFO_KEY
MPI_ERR_INFO_VALUE
— Value longer than MPI_MAX_INFO_VAL
MPI_ERR_INFO_NOKEY
— Invalid key passed to MPI_INFO_DELETE
MPI_ERR_NAME
— Invalid service name passed to MPI_LOOKUP_NAME
MPI_ERR_NO_MEM
— Alloc_mem could not allocate memory
MPI_ERR_NOT_SAME
— Collective argument not identical on all processes, or collective
routines called in a different order by different processes
MPI_ERR_PORT
— Invalid port name passed to MPI_COMM_CONNECT
MPI_ERR_QUOTA
— Quota exceeded
MPI_ERR_SERVICE
— Invalid service name passed to MPI_UNPUBLISH_NAME
MPI_ERR_SPAWN
— Error in spawning processes
MPI_ERR_UNSUPPORTED_OPERATION
— Unsupported operation, such as seeking on a file which supports
sequential access only
MPI_ERR_WIN
— Invalid win argument
MPI_ERR_BASE
— Invalid base passed to MPI_FREE_MEM
MPI_ERR_LOCKTYPE
— Invalid locktype argument
MPI_ERR_KEYVAL
— Erroneous attribute key
MPI_ERR_RMA_CONFLICT
— Conflicting accesses to window
MPI_ERR_RMA_SYNC
— Wrong synchronization of RMA calls
MPI_ERR_SIZE
— Invalid size argument
MPI_ERR_DISP
— Invalid disp argument
MPI_ERR_ASSERT
— Invalid assert argument
MPI_ERR_RMA_RANGE
— Target memory is not part of the window (in the case of a window created
with MPI_WIN_CREATE_DYNAMIC, target memory is not attached)
MPI_ERR_RMA_ATTACH
— Memory cannot be attached (e.g., because of resource exhaustion)
MPI_ERR_RMA_SHARED
— Memory cannot be shared (e.g., some process in the group of the
specified communicator cannot expose shared memory)
MPI_ERR_RMA_FLAVOR
— Passed window has the wrong flavor for the called function
MPI_ERR_LASTCODE
— Last error code — always at end

ERROR CODES FOR MPI_T¶

MPI_T_ERR_MEMORY
— Out of memory
MPI_T_ERR_NOT_INITIALIZED
— Interface not initialized
MPI_T_ERR_CANNOT_INIT
— Interface not in the state to be initialized
MPI_T_ERR_INVALID_INDEX
— The index is invalid or has been deleted
MPI_T_ERR_INVALID_HANDLE
— The handle is invalid
MPI_T_ERR_OUT_OF_HANDLES
— No more handles available
MPI_T_ERR_OUT_OF_SESSIONS
— No more sessions available
MPI_T_ERR_INVALID_SESSION
— Session argument is not valid
MPI_T_ERR_CVAR_SET_NOT_NOW
— Cvar cannot be set at this moment
MPI_T_ERR_CVAR_SET_NEVER
— Cvar cannot be set until end of execution
MPI_T_ERR_PVAR_NO_STARTSTOP
— Pvar can’t be started or stopped
MPI_T_ERR_PVAR_NO_WRITE
— Pvar can’t be written or reset
MPI_T_ERR_PVAR_NO_ATOMIC
— Pvar can’t be R/W atomically
MPI_T_ERR_INVALID_NAME
— Name doesn’t match
MPI_T_ERR_INVALID
— Invalid use of the interface or bad parameter values(s)

Источник

  1. Тип данных mpi_Datatype

Тип
С++

Тип
Datatype

char

MPI_CHAR

unsigned
char

MPI_INSIGNED_CHAR

int

MPI_INT

unsigned
int

MPI_UNSIGNED

float

MPI_FLOAT

double

MPI_DOUBLE

long
double

MPI_LONG_DOUBLE

Аналогично
для всех остальных типов данных

  1. Предопределённые константы

  • MPI_SUCCESS
    – код удачного завершения функции;

  • MPI_ANY_SOURCE
    – идентификатор любого процесса
    отправителя;

  • MPI_ANY_TAG
    – идентификатор любого сообщения;

  • MPI_Comm
    – системный
    тип

typedef
int MPI_Comm

  • MPI_COMM_WORLD
    – идентификатор всеобъемлющего
    коммуникатора принадлежащего
    всеобъемлющей группе.

  1. Сообщения

Процессы
взаимодействуют друг с другом с помощью
передачи сообщений. Сообщение — набор
данных некоторого типа. Сообщение имеет
атрибуты. Одним из важных является
идентификатор сообщений или TAG.
Атрибуты сообщения записываются в поля
структуры:

MPI_status

typedef
struct
{

int
count;
//количество передаваемой информации

int
MPI_SOURCE;
//идентификатор процесса отправителя

int
MPI_TAG;
//идентификатор сообщения

int
MPI_ERROR;

}
MPI_Status

  1. Функции mpi

  • MPI_Init();

прототип
функции

int
MPI_Init (int #argc,char***argv);

Функция
инициализирует параллельную часть
программы. Может быть запущена только
один раз. Использование всех параллельных
функций возможно только после запуска
этой функции MPI_Unit

Пример

Void
main (int argc, char**argv){

MPI_Init
(& argc,
&argv);

}

Сложный
вид аргументов функции MPI_Init
связан с необходимостью передачи всем
процессам аргументов командной строки.

  • MPI_Finalize
    ();

int
MPI_Finalize ();

Завершает
параллельную часть программы. После
неё вызов параллельных функций недопустим.
К моменту вызова функции MPI_Finalize
на некотором процессе все параллельные
функции на этом процессе должны быть
завершены.

  • MPI_Comm_size
    ()

int
MPI_Comm_size (MPI_Comm_comm, int * size)

MPI_Comm_comm
– идентификатор коммутатора

int
* size
— количество процессоров в группе с
идентификатором Comm.

Функция
определяет число процессоров в группе
с коммутатором Comm,

Например:
int size

MPI_Comm_size
(MPI_COMM_WORLD,& size)

  • MPI_Comm_rank();

int
MPI_Comm_rank (MPI_Comm comm, int*rank);

MPI_Comm
comm.
– идентификатор коммуникатора

Int
* rank
– идентификатор процесса, вызывающего
функцию. Принимает значения 0,…,size-1

Пример:
пусть процессоры отзовутся и назовут
себя.

#include
<io Stream.h>

#include
“mpi.h”

void
main (int argc, char**argv) {

MPI_Init
(& argc,&argv);

int
size

MPI_Comm_Size
(MPI_COMM_WORLD,& size)

int
rank

MPI_Comm_rank
(MPI_COMM_WORLD,& rank);

Cout
<<”rank=”<<rank<<

“size=”
<<size<<ende;

MPI_Finalize
();

Rank
= 0 size = 5

Rank
= 1 size = 5

Rank
= 2 size = 5

Rank
= 3 size = 5

Rank
= 4 size = 5

  • Функция
    передачи и приёма данных с блокировкой

    • Функция
      приёма данных       MPI_Recv
      ();

int
MPI_Recv (void*buf; int count, MPI_Datatype Datatype; int source; int
msgtag; MPI_Comm comm; MPI_Status *Status)

void*buf
– адрес переменной куда будет записана
полученная информация;

count
– количество полученной информации;

MPI_Datatype
Datatype
– тип получаемой информации в терминологии
MPI;

int
source
– идентификатор процесса отправителя;

int
msgtag
– идентификаотр сообщения;

MPI_Comm
comm
– идентификатор коммуникатора группы,
которой принадлежат процессы;

MPI_Status
*Status
— указатель на структуру MPI_Status,
куда записываются атрибуты полученного
значения.

Функция
MPI_Recv
принимает сообщение с идентификатором
msgtag
от процессора с номером source
с блокировкой. Количество принимаемой
информации не должно превышать count.
Если информации будет меньше count,
гарантируется, что в buf
будут изменены те элементы, которые
соответствуют элементам принятого
сообщения. Блокировка гарантирует, что
после выхода из функции MPI_Recv
сообщение будет принято и записано в
buf.

Функции
MPI_Recv
можно указать вместо параметра source
предопределенную константу MPI_ANY_SOURCE,
т.е. подойдет сообщение от любого
процесса. Вместо параметра msgtag
– MPI_ANY_TAG,
т.е. будет принято сообщение с любым
идентификатором.

Реальные
значения принятого сообщения доступны
через поля структуры: MPI_Status
status;

status.count;

status.MPI_SOURCE;
//от кого принято сообщение

status.MPI_TAG;
//идентификатор сообщения

status.MPI_ERROR;

Функция
возвращает MPI_Success
в случае удачи, иначе — код ошибки.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
  • #
Источник

*/

Инициализация MPI

int MPI_Init( int* argc, char** argv)

Инициализация параллельной части приложения. Реальная инициализация для каждого приложения выполняется не более одного раза, а если MPI уже был инициализирован, то никакие действия не выполняются и происходит немедленный возврат из подпрограммы. Все остальные MPI-процедуры могут быть вызваны только после вызова MPI_Init.

Возвращает: в случае успешного выполнения — MPI_SUCCESS, иначе — код ошибки. (То же самое возвращают и все остальные функции).

Сложный тип аргументов MPI_Init предусмотрен для того, чтобы передавать всем процессам аргументы main:

Пример вызова:

int main(int argc, char** argv)

{

…

MPI_Init(&argc, &argv);

…

}

Закрытие MPI

int MPI_Finalize( void )

Завершение параллельной части приложения. Все последующие обращения к любым MPI-процедурам, в том числе к MPI_Init, запрещены. К моменту вызова MPI_Finalize любым процессом все действия по обмену сообщениями должны быть завершены.

Пример вызова:

int main(int argc, char** argv)

{

…

MPI_Finalize();

…

}

Определение числа процессов

int MPI_Comm_size( MPI_Comm comm, int* size)

Определение общего числа параллельных процессов в группе comm (вместо comm во всех лабораторных работах использовать константу MPI_COMM_WORLD — группа «все процессы», связи в виде полного графа).

  • comm — идентификатор группы

  • выходной параметр size — размер группы. Здесь возвращается число процессов, которое пользователь задал при запуске программы.

Пример вызова:

…

int size;

MPI_Comm_size(MPI_COMM_WORLD, &size);

…

Определение номера процесса

int MPI_Comm_rank( MPI_comm comm, int* rank)

Определение номера процесса в группе comm. Возвращаемое значение (номер процесса, rank) лежит в диапазоне от 0 до size-1.

  • comm — идентификатор группы

  • выходной параметр rank — номер вызывающего процесса в группе comm

Пример вызова:

…

int rank;

MPI_Comm_rank(MPI_COMM_WORLD, &rank);

…

Аварийное завершение программы

int MPI_Abort(MPI_Comm comm, int errorcode )

Аварийное завершение работы всех процессов. Эта функция должна вызываться одновременно всеми процессами приложения.

  • errorcode — код ошибки

  • comm — идентификатор группы

Пример вызова:

…

MPI_Abort(MPI_COMM_WORLD,MPI_ERR_OTHER);

…

Передача сообщения

int MPI_Send(void* buf, int count, MPI_Datatype datatype, int dest, int msgtag, MPI_Comm comm)

Посылка сообщения с меткой msgtag, состоящего из count элементов типа datatype, процессу с номером dest. Все элементы сообщения расположены подряд в буфере buf. Значение count может быть нулем. Тип передаваемых элементов datatype должен указываться с помощью предопределенных констант типа (для целых — MPI_INT). Разрешается передавать сообщение самому себе. Метка должна быть одной и той же при приеме и передаче сообщения. Дальнейшее выполнение программы задерживается до тех пор, пока передача не завершится.

  • buf — адрес начала буфера посылки сообщения

  • count — число передаваемых элементов в сообщении

  • datatype — тип передаваемых элементов

  • dest — номер процесса-получателя

  • msgtag — метка сообщения

  • comm — идентификатор группы

Пример вызова:

…

#define N 10

…

int rank,buf[N];

…

MPI_Send(buf,N,MPI_INT,1,10,MPI_COMM_WORLD);

…

Прием сообщения

int MPI_Recv(void* buf, int count, MPI_Datatype datatype, int source, int msgtag, MPI_comm comm, MPI_Status *status)

Прием сообщения с меткой msgtag от процесса source с блокировкой. Число элементов в принимаемом сообщении не должно превосходить значения count.

  • выходной параметр buf — адрес начала буфера приема сообщения

  • count — максимальное число элементов в принимаемом сообщении

  • datatype — тип элементов принимаемого сообщения

  • source — номер процесса-отправителя

  • msgtag — метка принимаемого сообщения

  • comm — идентификатор группы

  • выходной параметр status — параметры принятого сообщения

Пример вызова:

…

#define N 10

…

int rank,buf[N];

MPI_Status status;

…

MPI_Recv(buf,N,MPI_INT,1,10,MPI_COMM_WORLD,&status);

…

Состояние полученных данных

Тип данных MPI_Status — это структура, содержащая следующие поля: MPI_SOURCE (источник), MPI_TAG (метка), MPI_ERROR (ошибка).

Пример вызова:

…

MPI_Status status;

int source;

…

MPI_Recv(buf,N,MPI_INT,1,10,MPI_COMM_WORLD,&status);

source = status.MPI_SOURCE;

…

Совмещенные прием/передача сообщений

int MPI_Sendrecv( void *sbuf, int scount, MPI_Datatype stype, int dest, int stag, void *rbuf, int rcount, MPI_Datatype rtype, int source, MPI_Dtatype rtag, MPI_Comm comm, MPI_Status *status)

Данная операция объединяет в едином запросе посылку и прием сообщений. Принимающий и отправляющий процессы могут являться одним и тем же процессом. Сообщение, отправленное операцией MPI_Sendrecv, может быть принято обычным образом, и точно также операция MPI_Sendrecv может принять сообщение, отправленное обычной операцией MPI_Send. Буфера приема и посылки обязательно должны быть различными.

  • sbuf — адрес начала буфера посылки сообщения

  • scount — число передаваемых элементов в сообщении

  • stype — тип передаваемых элементов

  • dest — номер процесса-получателя

  • stag — метка посылаемого сообщения

  • выходной параметр rbuf — адрес начала буфера приема сообщения

  • rcount — число принимаемых элементов сообщения

  • rtype — тип принимаемых элементов

  • source — номер процесса-отправителя

  • rtag — метка принимаемого сообщения

  • comm — идентификатор группы

  • выходной параметр status — параметры принятого сообщения

Пример вызова:

…

#define N 10

…

int rank,buf[N], buf1[N];

MPI_Status status;

…

MPI_Sendrecv(buf,N,MPI_INT,1,10,buf1,N,MPI_INT,0,10,MPI_COMM_WORLD,&status);

…

Проверка приемного буфера

int MPI_Probe(int source, int tag, MPI_Comm comm, MPI_Status status)

Функция возвращает управление, когда в системном буфере процесса появляется сообшение с указанными параметрами. Если использовать аргументы-джокеры («любой источник», «любая метка»), как в примере ниже, то с помощью этой функции можно проверять наличие сообщений в системном буфере.

  • source номер процесса-отправителя

  • tag метка сообщения

  • comm — идентификатор группы

  • выходной параметр status — параметры принятого сообщения

Пример вызова:

…

MPI_Status status;

…

MPI_Probe(MPI_ANY_SOURCE,MPI_ANY_TAG,MPI_COMM_WORLD,&status);

…

Определение размера сообщения

int MPI_Get_count(MPI_Status status, MPI_Datatype datatype, int *count )

Через параметр count возвращает длину сообщения. Обычно вызывается после MPI_Probe.

  • status информация о сообщении

  • datatype тип принимаемых элементов

  • выходной параметр count — число элементов сообщения

Пример вызова:

…

MPI_Status status;

int count;

…

MPI_Get_count(&status,MPI_INT,&count);

…

Рассылка данных

int MPI_Bcast( void *buf, int count, MPI_Datatype datatype, int source, MPI_Comm comm)

Эта функция должна вызываться одновременно всеми процессами приложения. Рассылка сообщения от процесса source всем процессам, включая рассылающий процесс. При возврате из процедуры содержимое буфера buf процесса source будет скопировано в локальный буфер процесса. Значения параметров count, datatype и source должны быть одинаковыми у всех процессов.

  • выходной параметр buf — адрес начала буфера посылки сообщения

  • count — число передаваемых элементов в сообщении

  • datatype — тип передаваемых элементов

  • source — номер рассылающего процесса

  • comm — идентификатор группы

Пример вызова:

…

#define N 10

…

int buf[N];

…

MPI_Bcast(buf,N,MPI_INT,0,MPI_COMM_WORLD);

…

Распределение данных

int MPI_Scatter( void *sbuf, int scount, MPI_Datatype stype, void *rbuf, int rcount, MPI_Datatype rtype, int dest, MPI_Comm comm)

Части передающего буфера из задачи root распределяются по приемным буферам всех задач. Эта функция должна вызываться одновременно всеми процессами приложения.

  • sbuf — адрес начала буфера посылки

  • scount — число элементов в посылаемом сообщении; этот параметр должен быть равен размеру буфера, деленному на число процессов

  • stype — тип элементов отсылаемого сообщения

  • выходной параметр rbuf — адрес начала буфера сборки данных

  • rcount — число элементов в принимаемом сообщении

  • rtype — тип элементов принимаемого сообщения

  • dest — номер процесса, на котором происходит сборка данных

  • comm — идентификатор группы

Пример вызова:

…

#define N 10

#define PROCS 5

…

int buf[N],buf1[N/PROCS],size;

…

MPI_Scatter(buf,N/PROCS,MPI_INT, buf1,N/PROCS,MPI_INT,0,MPI_COMM_WORLD);

…

Сборка распределенных данных

int MPI_Gather( void *sbuf, int scount, MPI_Datatype stype, void *rbuf, int rcount, MPI_Datatype rtype, int dest, MPI_Comm comm)

int MPI_Allgather( void *sbuf, int scount, MPI_Datatype stype, void *rbuf, int rcount, MPI_Datatype rtype, int dest, MPI_Comm comm)

int MPI_Allgatherv(void* sendbuf, int sendcount, MPI_Datatype sendtype, void* recvbuf, int *recvcounts, int *displs, MPI_Datatype recvtype, MPI_Comm comm)

Сборка данных со всех процессов в буфере rbuf процесса dest. Каждый процесс, включая dest, посылает содержимое своего буфера sbuf процессу dest. Собирающий процесс сохраняет данные в буфере rbuf, располагая их в порядке возрастания номеров процессов. Параметр rbuf имеет значение только на собирающем процессе и на остальных игнорируется, значения параметров count, datatype и dest должны быть одинаковыми у всех процессов.

Для функции allgather и allgatherv все процессы собирают один вектор. Пусть у нас имеется вектор размером 8, который разделён между тремя процессами на 3 части размерами 3, 3 и 2 соответственно. Тогда массивы длин частей для векторного варианта функции примут следующий вид: recvcounts [3] = {3, 3, 2}, displs [3] = {0, 3, 6}.

  • sbuf — адрес начала буфера посылки

  • scount — число элементов в посылаемом сообщении; этот параметр должен быть равен размеру буфера, деленному на число процессов.

  • stype — тип элементов отсылаемого сообщения

  • выходной параметр rbuf — адрес начала буфера сборки данных

  • rcount — число элементов в принимаемом сообщении (этот параметр должен быть равным scount)

  • rtype — тип элементов принимаемого сообщения

  • dest — номер процесса, на котором происходит сборка данных

  • recvcounts массив, указывающий количество принимаемых элементов от процессов

  • displs целочисленный массив смещений пакетов данных друг относительно друга

  • comm — идентификатор группы

Пример вызова:

…

#define N 10

#define PROCS 5

…

int buf[N],buf1[N/PROCS],size;

…

MPI_Gather(buf1,N/PROCS,MPI_INT, buf,N/PROCS,MPI_INT,0,MPI_COMM_WORLD);

…

Синхронизация процессов

int MPI_Barrier( MPI_Comm comm)

Блокирует работу процессов, вызвавших данную процедуру, до тех пор, пока все оставшиеся процессы группы comm также не выполнят эту процедуру.

  • comm — идентификатор группы

Пример вызова:

…

MPI_Barrier( MPI_COMM_WORLD);

…

Поэлементные операции

int MPI_Reduce (void *sbuf, void *rbuf, int count, MPI_Datatype stype; MPI_Op op, int dest, MPI_Comm comm)

int MPI_Allreduce (void *sbuf, void *rbuf, int count, MPI_Datatype stype; MPI_Op op, MPI_Comm comm)

Эта функция должна вызываться одновременно всеми процессами приложения. Все процессы подают на вход функции массивы buf одинаковой размерности count. Над этими массивами поэлементно выполняется операция op. Массив — результат помещается в процесс dest. Для операция allreduce массив размещается во всех процессах.

  • sbuf — адрес начала буфера посылки

  • rbuf — адрес начала буфера приема

  • count — число элементов в посылаемом/принимаемом сообщении

  • stype — тип элементов отсылаемого сообщения

  • op — операция, выполняемая над элементами буфера

  • dest — номер процесса, на котором происходит сборка данных

  • comm — идентификатор группы

Виды поэлементных операций:

  • MPI_MAX Выбор максимального элемента

  • MPI_MIN Выбор минимального элемента

  • MPI_SUM Суммирование

  • MPI_PROD Вычисление произведения

Пример вызова:

…

#define N 10

int v[N],u[N];

…

MPI_Reduce(v,u,N,MPI_INT,MPI_SUM,0,MPI_COMM_WORLD);

…

Функции замера времени

Пример реализации в ОС Linux:

#include <sys/time.h>

struct timeval tv1,tv2,dtv;

struct timezone tz;

void time_start()

{

gettimeofday(&tv1, &tz);

}

double time_stop()

{

gettimeofday(&tv2, &tz);

dtv.tv_sec= tv2.tv_sec -tv1.tv_sec;

dtv.tv_usec=tv2.tv_usec-tv1.tv_usec;

if(dtv.tv_usec<0) { dtv.tv_sec—; dtv.tv_usec+=1000000; }

return dtv.tv_sec*1000.0 + dtv.tv_usec/1000.0;

}

Функция time_stop() возвращает время, прошедшее с запуска time_start, в миллисекундах. Пример использования:

main()

{

…

time_start();

/* вызов функции, для которой замеряется время исполнения */

F();

printf(«Time: %lfn», time_stop());

…

}

Источник

© Воеводин Вл.В.
Курс лекций
«Параллельная обработка данных»

Лекция 5. Технологии параллельного программирования.
Message Passing Interface (MPI)

План лекции:

  • MPI. Терминология и обозначения
  • Общие процедуры MPI
  • Прием/передача сообщений между отдельными процессами
  • Объединение запросов на взаимодействие
  • Совмещенные прием/передача сообщений
  • Коллективные взаимодействия процессов
  • Синхронизация процессов
  • Работа с группами процессов
  • Предопределенные константы
  • Примеры MPI-программ

MPI. Терминология и обозначения

MPI — message passing interface — библиотека функций, предназначенная
для поддержки работы параллельных процессов в терминах передачи сообщений.

Номер процесса — целое неотрицательное число,
являющееся уникальным
атрибутом каждого процесса.

Атрибуты сообщения — номер процесса-отправителя, номер процесса-получателя
и идентификатор сообщения. Для них заведена структура MPI_Status,
содержащая три поля: MPI_Source (номер процесса отправителя), MPI_Tag
(идентификатор сообщения), MPI_Error (код ошибки); могут быть и
добавочные поля.

Идентификатор сообщения (msgtag) — атрибут сообщения, являющийся
целым неотрицательным числом, лежащим в диапазоне от 0 до 32767.
Процессы объединяются в группы, могут быть вложенные группы. Внутри
группы все процессы перенумерованы. С каждой группой ассоциирован свой
коммуникатор. Поэтому при осуществлении пересылки необходимо указать
идентификатор группы, внутри которой производится эта пересылка. Все процессы
содержатся в группе с предопределенным идентификатором MPI_COMM_WORLD.

При описании процедур MPI будем пользоваться
словом OUT для обозначения «выходных» параметров,
т.е. таких параметров, через которые процедура возвращает
результаты.

Общие процедуры MPI

int MPI_Init( int* argc, char*** argv)

MPI_Init — инициализация параллельной части приложения. Реальная
инициализация для каждого приложения выполняется не более одного раза,
а если MPI уже был инициализирован, то никакие действия не выполняются
и происходит немедленный возврат из подпрограммы. Все оставшиеся MPI-процедуры
могут быть вызваны только после вызова MPI_Init.

Возвращает: в случае успешного выполнения — MPI_SUCCESS, иначе
— код ошибки. (То же самое возвращают и все остальные функции, рассматриваемые
в данном руководстве.)

int MPI_Finalize( void )

MPI_Finalize — завершение параллельной части приложения. Все последующие
обращения к любым MPI-процедурам, в том числе к MPI_Init, запрещены.
К моменту вызова MPI_Finalize некоторым процессом все действия,
требующие его участия в обмене сообщениями, должны быть завершены.
Сложный тип аргументов MPI_Init предусмотрен для того, чтобы передавать
всем процессам аргументы main:

int main(int argc, char** argv)
{
      MPI_Init(&argc, &argv);
          ...
      MPI_Finalize();
}

int MPI_Comm_size( MPI_Comm comm, int* size)

Определение общего числа параллельных процессов в группе comm.

  • comm — идентификатор группы
  • OUT size — размер группы

int MPI_Comm_rank( MPI_Comm comm, int* rank)

Определение номера процесса в группе comm. Значение, возвращаемое
по адресу &rank, лежит в диапазоне от 0 до size_of_group-1.

  • comm — идентификатор группы
  • OUT rank — номер вызывающего процесса в группе comm

double MPI_Wtime(void)

Функция возвращает астрономическое время в секундах (вещественное число),
прошедшее с некоторого момента в прошлом. Гарантируется, что этот момент
не будет изменен за время существования процесса.

Прием/передача сообщений между отдельными процессами

Прием/передача сообщений с блокировкой

int MPI_Send(void* buf, int count, MPI_Datatype datatype, int dest,
int msgtag, MPI_Comm comm)

  • buf — адрес начала буфера посылки сообщения
  • count — число передаваемых элементов в сообщении
  • datatype — тип передаваемых элементов
  • dest — номер процесса-получателя
  • msgtag — идентификатор сообщения
  • comm — идентификатор группы

Блокирующая посылка сообщения с идентификатором msgtag, состоящего
из count элементов типа datatype, процессу с номером dest.
Все элементы сообщения расположены подряд в буфере buf. Значение
count может быть нулем. Тип передаваемых элементов datatype
должен указываться с помощью предопределенных констант типа. Разрешается
передавать сообщение самому себе.

Блокировка гарантирует корректность повторного использования всех параметров
после возврата из подпрограммы. Выбор способа осуществления этой гарантии:
копирование в промежуточный буфер или непосредственная передача процессу
dest, остается за MPI. Следует специально отметить, что возврат
из подпрограммы MPI_Send не означает ни того, что сообщение уже
передано процессу dest, ни того, что сообщение покинуло процессорный
элемент, на котором выполняется процесс, выполнивший MPI_Send.

int MPI_Recv(void* buf, int count, MPI_Datatype datatype, int source,
int msgtag, MPI_Comm comm, MPI_Status *status)

  • OUT buf — адрес начала буфера приема сообщения
  • count — максимальное число элементов в принимаемом сообщении
  • datatype — тип элементов принимаемого сообщения
  • source — номер процесса-отправителя
  • msgtag — идентификатор принимаемого сообщения
  • comm — идентификатор группы
  • OUT status — параметры принятого сообщения

Прием сообщения с идентификатором msgtag от процесса source
с блокировкой. Число элементов в принимаемом сообщении не должно превосходить
значения count. Если число принятых элементов меньше значения count,
то гарантируется, что в буфере buf изменятся только элементы, соответствующие
элементам принятого сообщения. Если нужно узнать точное число элементов
в сообщении, то можно воспользоваться подпрограммой MPI_Probe.

Блокировка гарантирует, что после возврата из подпрограммы все элементы
сообщения приняты и расположены в буфере buf.

В качестве номера процесса-отправителя можно указать предопределенную константу
MPI_ANY_SOURCE — признак того, что подходит сообщение от любого
процесса. В качестве идентификатора принимаемого сообщения можно указать
константу MPI_ANY_TAG — признак того, что подходит сообщение с любым
идентификатором.

Если процесс посылает два сообщения другому процессу и оба эти сообщения
соответствуют одному и тому же вызову MPI_Recv, то первым будет
принято то сообщение, которое было отправлено раньше.

int MPI_Get_count( MPI_Status *status, MPI_Datatype datatype, int
*count)

  • status — параметры принятого сообщения
  • datatype — тип элементов принятого сообщения
  • OUT count — число элементов сообщения

По значению параметра status данная подпрограмма определяет число
уже принятых (после обращения к MPI_Recv) или принимаемых (после
обращения к MPI_Probe или MPI_Iprobe) элементов сообщения
типа datatype.

int MPI_Probe( int source, int msgtag, MPI_Comm comm, MPI_Status
*status)

  • source — номер процесса-отправителя или MPI_ANY_SOURCE
  • msgtag — идентификатор ожидаемого сообщения или MPI_ANY_TAG
  • comm — идентификатор группы
  • OUT status — параметры обнаруженного сообщения

Получение информации о структуре ожидаемого сообщения с блокировкой.
Возврата из подпрограммы не произойдет до тех пор, пока сообщение с подходящим
идентификатором и номером процесса-отправителя не будет доступно для получения.
Атрибуты доступного сообщения можно определить обычным образом с помощью
параметра status. Следует обратить внимание, что подпрограмма определяет
только факт прихода сообщения, но реально его не принимает.

Прием/передача сообщений без блокировки

int MPI_Isend(void *buf, int count, MPI_Datatype datatype, int dest,
int msgtag, MPI_Comm comm, MPI_Request *request)

  • buf — адрес начала буфера посылки сообщения
  • count — число передаваемых элементов в сообщении
  • datatype — тип передаваемых элементов
  • dest — номер процесса-получателя
  • msgtag — идентификатор сообщения
  • comm — идентификатор группы
  • OUT request — идентификатор асинхронной передачи

Передача сообщения, аналогичная MPI_Send, однако возврат из подпрограммы
происходит сразу после инициализации процесса передачи без ожидания обработки
всего сообщения, находящегося в буфере buf. Это означает, что нельзя
повторно использовать данный буфер для других целей без получения дополнительной
информации о завершении данной посылки. Окончание процесса передачи (т.е.
того момента, когда можно переиспользовать буфер buf без опасения
испортить передаваемое сообщение) можно определить с помощью параметра
request и процедур MPI_Wait и MPI_Test.
Сообщение, отправленное любой из процедур MPI_Send и MPI_Isend,
может быть принято любой из процедур MPI_Recv и MPI_Irecv.

int MPI_Irecv(void *buf, int count, MPI_Datatype datatype, int source,
int msgtag, MPI_Comm comm, MPI_Request *request)

  • OUT buf — адрес начала буфера приема сообщения
  • count — максимальное число элементов в принимаемом сообщении
  • datatype — тип элементов принимаемого сообщения
  • source — номер процесса-отправителя
  • msgtag — идентификатор принимаемого сообщения
  • comm — идентификатор группы
  • OUT request — идентификатор асинхронного приема сообщения

Прием сообщения, аналогичный MPI_Recv, однако возврат из подпрограммы
происходит сразу после инициализации процесса приема без ожидания получения
сообщения в буфере buf. Окончание процесса приема можно определить
с помощью параметра request и процедур MPI_Wait и MPI_Test.

int MPI_Wait( MPI_Request *request, MPI_Status *status)

  • request — идентификатор асинхронного приема или передачи
  • OUT status — параметры сообщения

Ожидание завершения асинхронных процедур MPI_Isend или MPI_Irecv,
ассоциированных с идентификатором request. В случае приема, атрибуты
и длину полученного сообщения можно определить обычным образом с помощью
параметра status.

int MPI_Waitall( int count, MPI_Request *requests, MPI_Status *statuses)

  • count — число идентификаторов
  • requests — массив идентификаторов асинхронного приема или передачи
  • OUT statuses — параметры сообщений

Выполнение процесса блокируется до тех пор, пока все операции обмена,
ассоциированные с указанными идентификаторами, не будут завершены. Если
во время одной или нескольких операций обмена возникли ошибки, то поле
ошибки в элементах массива statuses будет установлено в соответствующее
значение.

int MPI_Waitany(
int count, MPI_Request *requests, int *index,
MPI_Status *status)

  • count — число идентификаторов
  • requests — массив идентификаторов асинхронного приема или передачи
  • OUT index — номер завершенной операции обмена
  • OUT status — параметры сообщений

Выполнение процесса блокируется до тех пор, пока какая-либо операция
обмена, ассоциированная с указанными идентификаторами, не будет завершена.
Если несколько операций могут быть завершены, то случайным образом выбирается
одна из них. Параметр index содержит номер элемента в массиве requests,
содержащего идентификатор завершенной операции.

int MPI_Waitsome(
int incount, MPI_Request *requests, int *outcount,
int *indexes, MPI_Status *statuses)

  • incount — число идентификаторов
  • requests — массив идентификаторов асинхронного приема или передачи
  • OUT outcount — число идентификаторов завершившихся операций обмена
  • OUT indexes — массив номеров завершившихся операции обмена
  • OUT statuses — параметры завершившихся сообщений

Выполнение процесса блокируется до тех пор, пока по крайней мере одна
из операций обмена, ассоциированных с указанными идентификаторами, не будет
завершена. Параметр outcount содержит число завершенных операций,
а первые outcount элементов массива indexes содержат номера
элементов массива requests с их идентификаторами. Первые outcount
элементов массива statuses содержат параметры завершенных операций.

int MPI_Test( MPI_Request *request, int *flag, MPI_Status *status)

  • request — идентификатор асинхронного приема или передачи
  • OUT flag — признак завершенности операции обмена
  • OUT status — параметры сообщения

Проверка завершенности асинхронных процедур MPI_Isend или MPI_Irecv,
ассоциированных с идентификатором request. В параметре flag
возвращает значение 1, если соответствующая операция завершена, и значение
0 в противном случае. Если завершена процедура приема, то атрибуты и длину
полученного сообщения можно определить обычным образом с помощью параметра
status.

int MPI_Testall(
int count, MPI_Request *requests, int *flag,
MPI_Status *statuses)

  • count — число идентификаторов
  • requests — массив идентификаторов асинхронного приема или передачи
  • OUT flag — признак завершенности операций обмена
  • OUT statuses — параметры сообщений

В параметре flag возвращает значение 1, если все операции,
ассоциированные с указанными идентификаторами, завершены (с указанием параметров
сообщений в массиве statuses). В противном случае возвращается 0,
а элементы массива statuses неопределены.

int MPI_Testany(int count, MPI_Request *requests, int *index,
int *flag, MPI_Status *status)

  • count — число идентификаторов
  • requests — массив идентификаторов асинхронного приема или передачи
  • OUT index — номер завершенной операции обмена
  • OUT flag — признак завершенности операции обмена
  • OUT status — параметры сообщения

Если к моменту вызова подпрограммы хотя бы одна из операций обмена завершилась,
то в параметре flag возвращается значение 1, index
содержит номер соответствующего элемента в массиве requests, а status
— параметры сообщения.

int MPI_Testsome(
int incount, MPI_Request *requests, int *outcount,
int *indexes, MPI_Status *statuses)

  • incount — число идентификаторов
  • requests — массив идентификаторов асинхронного приема или передачи
  • OUT outcount — число идентификаторов завершившихся операций обмена
  • OUT indexes — массив номеров завершившихся операции обмена
  • OUT statuses — параметры завершившихся операций

Данная подпрограмма работает так же, как и MPI_Waitsome,
за исключением того, что возврат происходит немедленно. Если ни одна из указанных операций
не завершилась, то значение outcount будет равно нулю.

int MPI_Iprobe(
int source, int msgtag, MPI_Comm comm, int *flag,
MPI_Status *status)

  • source — номер процесса-отправителя или MPI_ANY_SOURCE
  • msgtag — идентификатор ожидаемого сообщения или MPI_ANY_TAG
  • comm — идентификатор группы
  • OUT flag — признак завершенности операции обмена
  • OUT status — параметры обнаруженного сообщения

Получение информации о поступлении и структуре ожидаемого сообщения
без блокировки. В параметре flag возвращает значение 1, если
сообщение с подходящими атрибутами уже может быть принято (в этом случае
ее действие полностью аналогично MPI_Probe), и значение 0,
если сообщения с указанными атрибутами еще нет.

Объединение запросов на взаимодействие

Процедуры данной группы позволяют снизить накладные расходы, возникающие
в рамках одного процессора при обработке приема/передачи и перемещении
необходимой информации между процессом и сетевым контроллером. Несколько
запросов на прием и/или передачу могут объединяться вместе для того, чтобы
далее их можно было бы запустить одной командой. Способ приема сообщения
никак не зависит от способа его посылки: сообщение, отправленное с помощью
объединения запросов либо обычным способом, может быть принято как обычным
способом, так и с помощью объединения запросов.

int MPI_Send_init(
void *buf, int count, MPI_Datatype datatype, int dest,
int msgtag, MPI_Comm comm, MPI_Request *request)

  • buf — адрес начала буфера посылки сообщения
  • count — число передаваемых элементов в сообщении
  • datatype — тип передаваемых элементов
  • dest — номер процесса-получателя
  • msgtag — идентификатор сообщения
  • comm — идентификатор группы
  • OUT request — идентификатор асинхронной передачи

Формирование запроса на выполнение пересылки данных. Все параметры точно
такие же, как и у подпрограммы MPI_Isend, однако в отличие от нее
пересылка не начинается до вызова подпрограммы MPI_Startall.

int MPI_Recv_init(
void *buf, int count, MPI_Datatype datatype, int source,
int msgtag, MPI_Comm comm, MPI_Request *request)

  • OUT buf — адрес начала буфера приема сообщения
  • count — число принимаемых элементов в сообщении
  • datatype — тип принимаемых элементов
  • source — номер процесса-отправителя
  • msgtag — идентификатор сообщения
  • comm — идентификатор группы
  • OUT request — идентификатор асинхронного приема

Формирование запроса на выполнение приема данных. Все параметры точно
такие же, как и у подпрограммы MPI_Irecv, однако в отличие от
нее реальный прием не начинается до вызова подпрограммы MPI_Startall.

MPI_Startall( int count, MPI_Request *requests)

  • count — число запросов на взаимодействие
  • OUT requests — массив идентификаторов приема/передачи

Запуск всех отложенных взаимодействий, ассоциированных вызовами подпрограмм
MPI_Send_init и MPI_Recv_init с элементами массива запросов
requests. Все взаимодействия запускаются в режиме без блокировки,
а их завершение можно определить обычным образом с помощью процедур MPI_Wait
и MPI_Test.

Совмещенные прием/передача сообщений

int MPI_Sendrecv(
void *sbuf, int scount, MPI_Datatype stype,
int dest, int stag, void *rbuf, int rcount,
MPI_Datatype rtype, int source, MPI_Datatype rtag,
MPI_Comm comm, MPI_Status *status)

  • sbuf — адрес начала буфера посылки сообщения
  • scount — число передаваемых элементов в сообщении
  • stype — тип передаваемых элементов
  • dest — номер процесса-получателя
  • stag — идентификатор посылаемого сообщения
  • OUT rbuf — адрес начала буфера приема сообщения
  • rcount — число принимаемых элементов сообщения
  • rtype — тип принимаемых элементов
  • source — номер процесса-отправителя
  • rtag — идентификатор принимаемого сообщения
  • comm — идентификатор группы
  • OUT status — параметры принятого сообщения

Данная операция объединяет в едином запросе посылку и прием сообщений.
Принимающий и отправляющий процессы могут являться одним и тем же процессом.
Сообщение, отправленное операцией MPI_Sendrecv, может быть принято
обычным образом, и точно также операция MPI_Sendrecv может принять
сообщение, отправленное обычной операцией MPI_Send. Буфера приема
и посылки обязательно должны быть различными.

Коллективные взаимодействия процессов

В операциях коллективного взаимодействия процессов участвуют все процессы
коммуникатора. Соответствующая процедура должна быть вызвана каждым процессом,
быть может, со своим набором параметров. Возврат из процедуры коллективного
взаимодействия может произойти в тот момент, когда участие процесса в данной
операции уже закончено. Как и для блокирующих процедур, возврат означает
то, что разрешен свободный доступ к буферу приема или посылки, но не означает
ни того, что операция завершена другими процессами, ни даже того, что она
ими начата (если это возможно по смыслу операции).

int MPI_Bcast(void *buf, int count, MPI_Datatype datatype,
int source, MPI_Comm comm)

  • OUT buf — адрес начала буфера посылки сообщения
  • count — число передаваемых элементов в сообщении
  • datatype — тип передаваемых элементов
  • source — номер рассылающего процесса
  • comm — идентификатор группы

Рассылка сообщения от процесса source всем процессам, включая
рассылающий процесс. При возврате из процедуры содержимое буфера buf
процесса source будет скопировано в локальный буфер процесса. Значения
параметров count, datatype и source должны быть одинаковыми
у всех процессов.

int MPI_Gather(
void *sbuf, int scount, MPI_Datatype stype,
void *rbuf, int rcount, MPI_Datatype rtype,
int dest, MPI_Comm comm)

  • sbuf — адрес начала буфера посылки
  • scount — число элементов в посылаемом сообщении
  • stype — тип элементов отсылаемого сообщения
  • OUT rbuf — адрес начала буфера сборки данных
  • rcount — число элементов в принимаемом сообщении
  • rtype — тип элементов принимаемого сообщения
  • dest — номер процесса, на котором происходит сборка данных
  • comm — идентификатор группы
  • OUT ierror — код ошибки

Сборка данных со всех процессов в буфере rbuf процесса dest.
Каждый процесс, включая dest, посылает содержимое своего буфера
sbuf процессу dest. Собирающий процесс сохраняет данные в
буфере rbuf, располагая их в порядке возрастания номеров процессов.
Параметр rbuf имеет значение только на собирающем процессе и на
остальных игнорируется, значения параметров count, datatype
и dest должны быть одинаковыми у всех процессов.

int MPI_Allreduce(
void *sbuf, void *rbuf, int count,
MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)

  • sbuf — адрес начала буфера для аргументов
  • OUT rbuf — адрес начала буфера для результата
  • count — число аргументов у каждого процесса
  • datatype — тип аргументов
  • op — идентификатор глобальной операции
  • comm — идентификатор группы

Выполнение count глобальных операций op с возвратом count
результатов во всех процессах в буфере rbuf. Операция выполняется
независимо над соответствующими аргументами всех процессов. Значения параметров
count и datatype у всех процессов должны быть одинаковыми.
Из соображений эффективности реализации предполагается, что операция op
обладает свойствами ассоциативности и коммутативности.

int MPI_Reduce(
void *sbuf, void *rbuf, int count,
MPI_Datatype datatype, MPI_Op op, int root, MPI_Comm comm)

  • sbuf — адрес начала буфера для аргументов
  • OUT rbuf — адрес начала буфера для результата
  • count — число аргументов у каждого процесса
  • datatype — тип аргументов
  • op — идентификатор глобальной операции
  • root — процесс-получатель результата
  • comm — идентификатор группы

Функция аналогична предыдущей, но результат будет записан в буфер rbuf
только у процесса root.

Синхронизация процессов

int MPI_Barrier( MPI_Comm comm)

  • comm — идентификатор группы

Блокирует работу процессов, вызвавших данную процедуру, до тех пор,
пока все оставшиеся процессы группы comm также не выполнят эту процедуру.

Работа с группами процессов

int MPI_Comm_split( MPI_Comm comm,
int color, int key, MPI_Comm *newcomm)

  • comm — идентификатор группы
  • color — признак разделения на группы
  • key — параметр, определяющий нумерацию в новых группах
  • OUT newcomm — идентификатор новой группы

Данная процедура разбивает все множество процессов, входящих в группу
comm, на непересекающиеся подгруппы — одну подгруппу на каждое значение
параметра color (неотрицательное число). Каждая новая подгруппа
содержит все процессы одного цвета. Если в качестве color указано
значение MPI_UNDEFINED, то в newcomm будет возвращено значение
MPI_COMM_NULL.

int MPI_Comm_free( MPI_Comm comm)

  • OUT comm — идентификатор группы

Уничтожает группу, ассоциированную с идентификатором comm, который
после возвращения устанавливается в MPI_COMM_NULL.

Предопределенные константы

Предопределенные константы типа элементов сообщений

Константы MPI Тип в C
MPI_CHAR signed char

MPI_SHORT signed int

MPI_INT signed int

MPI_LONG signed long int

MPI_UNSIGNED_CHAR unsigned char

MPI_UNSIGNED_SHORT unsigned int

MPI_UNSIGNED unsigned int

MPI_UNSIGNED_LONG unsigned long int

MPI_FLOAT float

MPI_DOUBLE double

MPI_LONG_DOUBLE long double

Другие предопределенные типы

MPI_Status — структура; атрибуты сообщений; содержит три обязательных
поля:

  • MPI_Source (номер процесса отправителя)
  • MPI_Tag (идентификатор сообщения)
  • MPI_Error (код ошибки)

MPI_Request — системный тип; идентификатор операции посылки-приема
сообщения

MPI_Comm — системный тип; идентификатор группы (коммуникатора)

  • MPI_COMM_WORLD — зарезервированный идентификатор группы, состоящей их всех процессов
    приложения

Константы-пустышки

  • MPI_COMM_NULL
  • MPI_DATATYPE_NULL
  • MPI_REQUEST_NULL

Константа неопределенного значения

  • MPI_UNDEFINED

Глобальные операции

MPI_MAX

MPI_MIN

MPI_SUM

MPI_PROD

Любой процесс/идентификатор

MPI_ANY_SOURCE

MPI_ANY_TAG

Код успешного завершения процедуры

MPI_SUCCESS

© Лаборатория Параллельных Информационных Технологий, НИВЦ МГУ
Rambler's Top100

Источник

Понравилась статья? Поделить с друзьями:
  • Status more processing required error
  • Status modified uninstall other cracks как исправить
  • Status invalid image hash google chrome как исправить
  • Status invalid image hash edge как исправить
  • Status inpage error код ошибки