Il fait ses études au collège Bourbon (actuel lycée Condorcet). Il est alors condisciple de Félix Tournachon (Nadar), avec lequel il se lie. Comme ce dernier, il commence des études de médecine. Cependant, assez rapidement, il se tourne vers la littérature. Il collabore à différentes revues littéraires et artistiques, comme Le Courrier artistique – travaillera pour la bibliothèque Mazarine, et écrira différents ouvrages : un recueil de nouvelles La double vie (1858), L’enfer du bibliophile (1860), Le paradis des gens de lettres (1862), Mélanges tirés d’une petite bibliothèque romantique (1866), L'Italie et Constantinople (1869), André Boulle, ébéniste de Louis XIV (1872), Bibliographie romantique (1872), etc.

En 1845, il rencontre Charles Baudelaire, dont il deviendra un ami fidèle. Ainsi, il le soutiendra lors de la parution en 1857 des Fleurs du Mal, ouvrage dont il publiera avec Banville en 1868 une 3e édition, Caroline Aupick, mère de Baudelaire, leur ayant confié le soin d'éditer les Œuvres complètes de son fils. En 1869, il écrit la première biographie de Baudelaire : Charles Baudelaire, sa vie et son œuvre.