Arsène est né le 30 décembre 1787 au Vieux-Louvre, dans l'appartement hérité de Madame de La Lande, sous-gouvernante des Enfants de France. Le 10 mars suivant Barthélemy, son père, est promu mestre de camps du régiment de Berwijk cantonné à Boulogne en avril puis au camp de Saint-Omer la même année, où il restera jusqu'à son départ à Berghes en septembre 1790. On peut donc penser que c'est à Saint-Omer que Monique de Gouy d'Arsy, restée à Paris avec ses enfants (Aurore, d'un premier mariage, et Arsène) a adressé à son mari ce portrait de leur fils. Cette miniature est placée dans un cadre sur lequel est écrit : Aimes en autant la bordure. Cette bordure est, en effet, faite avec des cheveux de Monique.