Ami des symbolistes, il fonda en 1905 la revue Vers et prose qu’il co-dirigea avec Paul Valéry.  

Il cultiva une forme poétique intéressante, où des vers rimés sont disposés comme de la prose ou comme des versets. Ces « Ballades françaises » parurent en 40 volumes (!) de 1896 jusqu’à la fin de sa vie.