Au début du XXe siècle, le château d'Annoville est habité par Georges Michel d'Annoville. Il se marie en 1898 avec une jeune amérindienne tehuelche de Patagonie, Lokoma. Celle-ci avait été adoptée par le comte Amelot de Chaillou, alors ministre plénipotentiaire à Buenos-Aires. Ce dernier s'installa à son retour en France au château de Chanteloup.
Après 1910, le château d'Annoville est habité par Paul Eugène Dutasta (1873-1925), directeur de cabinet du ministre des affaires étrangères Stephen Pichon et collectionneur d'objets d'art. Il y reçoit à plusieurs reprises Georges Clemenceau qui vient de quitter la Présidence du Conseil.
