Elle se trouve place Saint-Césaire au cœur du quartier de la Roquette, à l’ouest du centre ancien, dans l’ancien quartier des mariniers et des pêcheurs du Rhône.
Elle fut d’abord l’église du couvent des Grands-Augustins qui construisirent leurs bâtiments à partir du milieu du XVe siècle. L’église est de style gothique méridional. Deux de ses travées, côté ouest, furent détruites par un incendie au début du XVIIe siècle.
Il existe encore quelques vestiges du cloître, visibles dans la cour de l’école maternelle voisine.
L’église fut vendue comme bien national pendant la Révolution et fut rachetée par la municipalité en 1839. Elle devint alors l’église paroissiale du quartier de la Roquette sous le vocable de Saint-Césaire, évêque d’Arles du début du VIe siècle. Sa façade fut rebâtie à la fin du XIXe siècle par l’architecte Auguste Véran.
Elle possède à l’intérieur une belle collection d’œuvres d’art dont une bonne partie vient des deux anciennes églises paroissiales du quartier, Saint-Laurent et Sainte-Croix, aujourd’hui désaffectées, qui étaient, avant la Révolution, les paroisses des mariniers.
À voir en particulier le grand tableau de chœur représentant le martyre de saint Laurent peint par Trophime Bigot en 1638, plusieurs tableaux de Jean-Baptiste Fouque (dont Notre-Dame du bon voyage, où figure une vue du port d’Arles au XIXe siècle ), le tombeau contenant le cœur d’Honoré de Quiqueran de Beaujeu, Grand Prieur de Malte, mort en 1638, la tombe de sœur Isabelet, « petite sainte de la Roquette », deux vitraux de Gilbert d’Anelle (1875) et l’orgue de tribune réalisé par François Mader (1866).