Would you use faire exprès to mean deliberately as those seem synonymous in English?

Yes, to me "faire exprès" means to do something deliberately.

-- Chris. (not a native speaker)

Bonjour John, In fact, the word exprès denotes an intentional act and can be used with other verbs and locutions: «Ma cousine Isabelle était venue tout exprès du pays pour s'occuper de lui.» from Marie Claire this translates to ---> My cousin Isabelle came from the country on purpose to take care of him. J'espère que ma réponse vous aiderait. Bonne chance et bonne continuation dans vos études en français, la langue de Molière et qui a été utilisé par le monde français depuis l’époque d’Hugues Capet Ron (un locuteur non natif )