Nach seiner Rückkehr wurde er Kirchenkapellmeister, Chorleiter und Organist in Paris und komponierte zunächst einige geistliche Werke Werke, wandte sich aber ab 1848 verstärkt der Opernkomposition zu. Den Durchbruch als angesehener Komponist brachte ihm 1859 seine bekannteste Oper „Faust“. Die Oper, die in Deutschland oft unter dem Titel „Margarethe“ aufgeführt wird, gilt bis heute als sein Meisterwerk. Obwohl die meisten seiner zwölf Opern heute nicht mehr auf dem Spielplan stehen, gilt Charles Gounod als einer der angesehensten Vertreter der typisch französischen Opéra lyrique.
Aufgrund des Deutsch-Französischen Krieges 1870/71 lebte Gounod von 1870 bis 1874 in London, wo er den Gounod’s Choir gründete, aus dem später die Royal Choral Society hervorging. Im Alter wandte sich der tief religiöse Gounod erneut der Kirchenmusik zu und hinterließ zahlreiche Oratorien und Chorwerke. Sein „Ave Maria“ auf Basis des „Wohltemperierten Klaviers“ von Johann Sebastian Bach ist weltweit als eines der populärsten Stücke der klassischen Musik.