doc: Use /** @} */ to close Doxygen groups

Doxygen looks for the sequence /**, so the existing group closing markers that
use the pattern /*@}*/ are ignored. Use /** @} */ instead.

Fixes a Doxygen warning:

 libvdpau/include/vdpau/vdpau.h:4870: warning: end of file while inside a group
 libvdpau/include/vdpau/vdpau_x11.h:179: warning: end of file while inside a group

Also fixes an imbalance in the Doxgen generated module list. From

 * Core API
   * Basic Types
     * Miscellaneous Types
       * Error Handling
         * [etc.]

to

 * Core API
   * Basic Types
   * Miscellaneous Types
   * Error Handling
   * [etc.]