Didier Vavasseur startete bei den Olympischen Spielen 1984 in Los Angeles im Vierer-Kajak und zog gemeinsam mit Philippe Boccara, Pascal Boucherit und François Barouh auf der 1000-Meter-Strecke jeweils als Gewinner ihres Vorlaufs und ihres Halbfinallaufs in den Endlauf ein. Diesen schlossen sie mit einer Rennzeit von 3:03,94 Minuten hinter dem siegreichen Team aus Neuseeland und dem schwedischen Vierer auf dem dritten Platz ab und gewannen damit die Bronzemedaille.
Vier Jahre darauf gehörte er in Seoul erneut zum französischen Aufgebot im Vierer-Kajak. Zwar erreichte die Mannschaft nach einem fünften Platz im Vorlauf, einem ersten Platz im Hoffnungslauf und einem dritten Platz im Halbfinallauf das Finale, kam dort aber nicht über den neunten und letzten Platz hinaus.