В 1872 г. Л.Н. Толстой в письме к А.А. Толстой так описывал сына: «Старший, белокурый, — не дурен. Есть что-то слабое и терпеливое в выражении и очень кроткое... Все говорят, что он похож на моего старшего брата. Я боюсь верить. Это было бы слишком хорошо. Главная черта брата была не эгоизм и не самопожертвование, а строгая середина.... Сережа умен — математический ум и чуток к искусству, учится прекрасно, ловок прыгать, гимнастика; но gauche (неуклюжий, фр.) и рассеян». Сергей Львович учился в тульской гимназии, в 1881 г. поступил в Московский университет на физико-математический факультет, на отделение естественных наук, одновременно посещал курсы при консерватории, изучал теорию музыки, композицию и особенности русской песни. Закончив университет, работал в Тульском отделении крестьянского банка, потом уехал в Петербург, служил в управлении крестьянского банка. В 1890 г. был назначен на должность земского начальника одного из уездов Тульской губернии. Сергей Львович первым браком был женат на Марии Константиновне Рачинской, вторым — на Марии Николаевне Зубовой. В 1898-1899 гг. занимался переселением духоборов в Канаду. Сергей Львович серьезно занимался музыкой, с 1926 г. по 1930 г. был профессором Московской консерватории, известен как автор музыкальных произведений: «Двадцать семь шотландских песен», «Бельгийские песни», «Индусские песни и танцы»; писал романсы на стихи Пушкина, Фета, Тютчева. Занимался он и литературной деятельностью, писал рассказы о жизни народа, мемуарные, биографические очерки. Был одним из учредителей Музея Л.Н. Толстого в Москве, принимал участие в комментировании Полного собрания сочинений Л.Н. Толстого. Награжден орденом Трудового Красного Знамени. Скончался в 1947 г. в возрасте 84 лет.