本文不是關(guān)注特定的多模態(tài)應(yīng)用，而是研究多模態(tài)機器學(xué)習(xí)本身的最新進展。我們超越了典型的早期和晚期融合分類，并確定了多模式機器學(xué)習(xí)所面臨的更廣泛的挑戰(zhàn)，即：表示，翻譯，對齊，融合和共同學(xué)習(xí)。這種新的分類法將使研究人員能夠更好地了解該領(lǐng)域的狀況，并確定未來研究的方向。