キャプションショートコードは、投稿内で古くから使われていますが、新しく追加されたメディアウィジェット(画像)は、投稿内に配置されたものとは、少し異なる点もあります。
カスタムサイズ
メディアウィジェットでは、画像の編集から カスタムサイズを設定することが出来ます。(素晴らしい)
デフォルトテーマ等では、カスタムサイズが設定された場合 キャプションテキストがある場合でも、単に画像として表示します。(少し、悲しい)
名前付きサイズ(thumbnailとかlargeとかは)キャプションテキスト付きで表示されます。(救われた)
メディアウィジェットの場合、カスタムサイズが指定されているとfigureでのサイズ指定が行われなくなるので複数人で使っている場合などはチェックしておくといいかも