Сын фельдмаршала и единственный прямой наследник княжеского рода основателей Одессы получил воспитание и образование, достойное представителя знатного дворянского рода.
Детство он провел в родной Одессе, образование получил в Ришельевском лицее, в 1842 году поступил на службу в Департамент внешних сношений Министерства иностранных дел. в 1845 г. был произведен в коллежские секретари и назначен в распоряжение своего отца. По приезду в Тифлис Семен по собственной просьбе был причислен к войскам, принимавшим участие в походах против горцев. В 1846 г. за отличие в Даргинском походе был произведен в титулярные советники с пожалованием звания камер-юнкера. 2 октября 1847 г. Семен Воронцов был зачислен штабс-капитаном в лейб-гвардии Преображенский полк и назначен флигель-адъютантом.
В 28 лет Семен Михайлович женился на 32-летней, вдове, фрейлине императрицы княжне Марии Васильевне Столыпиной, урожденной княгине Трубецкой.
Выпускница Смольного института благородных девиц, имевшая славу ветреной красавицы-вдовы, имела 7-летнего сына от первого брака. Мария дружила с дочерьми императора, а высший свет полнился слухами о личной жизни красивой и бойкой фрейлины. Кстати, шафером на ее первой свадьбу с Алексеем Столыпиным был Михаил Лермонтов. Но этот брак так и не стал счастливым союзом любящих сердец, а в 1847 году Алексей Столыпин скончался от холеры. Прекрасная вдова не особо горевала по почившему супругу, и в 1851 году вышла замуж за князя Семена Воронцова, став чуть позже Светлейшей княгиней и одной из самых богатых женщин Петербурга.
Свадьбу молодожены сыграли в шикарном Воронцовском дворце в Алупке. О невестке Михаила Семеновича остались воспоминания В. А. Соллогуба:
«Женитьба Семена Воронцова на вдове Алексея Столыпина, разумеется, не могла соответствовать желаниям стариков Воронцовых. Тем не менее, раз эта свадьба была решена, князь и княгиня Воронцовы со свойственным им обоим тактом ont fait bonne mine au mauvais jeu (сделали хорошую мину при плохой игре) и приняли в Алупке, где состоялась эта свадьба, свою будущую невестку ласково и родственно. Нельзя сказать, чтобы Марья Васильевна отвечала им тем же. В отношении родителей своего мужа она держалась грубо и подсмеивалась над их будто бы провинциальностью. Марья Васильевна устроила свою жизнь совершенно особняком от Воронцовых, что очень огорчало стариков. Вместо их патриархального простого обихода, несмотря на роскошь, их окружающую, в ее доме водворилось вседневное чаепитие, усиленное курение папиросок и тот фамильярный и несколько насмешливый тон, каким щеголяют некоторые петербургские женщины».
Но вернемся к Семену Михаиловичу, ставшему наследником крымских имений в 1856г, и получившему основанный Михаилом Семеновичем Воронцовым майорат, он проявил себя превосходным хозяином, особенно в области виноградарства и виноделия. Вина его южнобережных имений имели заслуженный успех и по качеству превосходили заморские.
Семен Михайлович служил Отечеству без каких-либо льгот и привилегий, был ранен при обороне Севастополя в годы Крымской войны. В послевоенный период находился на гражданской службе. 23 декабря 1863 год, по введению в Одессе нового общественного управления (утвержденного 30 апреля 1863 года) светлейший князь Семен Михайлович Воронцов большинством голосов (122 против 12) был избран городским головой.
Именно ему выпала честь быть первым городским головой Одессы в пореформенный период. В 1867 г. одесситы выбрали его на второй срок городским головой, но по неизвестным причинам он отказался. В Одессе он наследовал и пополнил огромную родовую библиотеку, которую после смерти владельца вдова пожертвовала Новороссийскому университету.
Семен Михайлович Воронцов скончался в 1882 году, его брак с Марией Васильевной был бездетным, и со смертью Семена Михайловича мужская линия Воронцовых пресеклась. Титул, а также часть наследства были переданы его родственникам по женской линии — графам Шуваловым. Мария Васильевна, овдовев во второй раз и сохранив за собой европейские владения супруга, покинула Россию. Титул, а также часть наследства были переданы его родственникам по женской линии — графам Шуваловым. Мария Васильевна, овдовев во второй раз и сохранив за собой европейские владения супруга, покинула Россию.
Впрочем, то, что в прямом мужском потомстве род действительно пресекся, не совсем верно. Доподлинно известно, что губернатора Новороссии Михаила Семеновича Воронцова был сводный брат. Незаконорожденного сына полномочного министра России в Лондоне Романа Семеновича Воронцова и англичанки Мэри Беклбек, при крещении нарекли Василием, а затем дали имя Джордж Бизли. В регистрационной книге церкви при русском посольстве хранится запись:
«1790 г, май 17 н. с. Крещен ребенок (незаконнорожденный) от русских родителей (Г. С. Р. В. и мисс М. Б.). Наречен Василий. Крестный — священник Литкевич».
Там же на полях книги другим почерком была сделана более поздняя запись:
«Граф Сем. Ром. Воронцов и англичанка Беклбек».
Граф Воронцов позже признал своего незаконнорожденного сына, который получил благословение Семена Романовича уже в 1819 г., когда женился на некой англичанке по имени Элизабет Флетчер. От этого брака у Джорджа Бизли было две дочери, причем младшая была названа в честь дедушки — Симеоной, и сын Александр. В 1823 г. первая супруга Бизли умерла, а в 1827 г. он женился вторично, испросив, как и в первый раз, отцовское благословение. Современники утверждали, что у Джорджа сложились довольно близкие отношения с Михаилом, но поддерживать связь при помощи регулярной переписки братья не могли, так как Джордж сознавал «неудобства, которые могут возникнуть из-за переписки между генерал-губернатором Новороссии и лейтенантом английской службы». Семен Романович Воронцов поддерживал незаконнорожденного сына и материально. Так, например, после рождения Александра Джордж получил в дар 300 фунтов. По завещанию Семена Романовича его незаконнорожденный сын по$ лучил ежегодный пенсион в 600 фунтов, к слову, сумма весьма значительная. Бизли получал эти деньги вплоть до смерти М.С. Воронцова в 1856 г.
В 1881 г. последний законный представитель рода Воронцовых светлейший князь Семен Михайлович побывал в Лондоне, где к нему обратились дети Джорджа Бизли с просьбой возобновить пенсион. Князь сказал, что он «давно чувствовал, что что-то надо сделать здесь, в этом деле», и возобновил выплату 600 фунтов в год. Однако были сделаны лишь четыре полугодовых взноса, так как после смерти Сена Михаиловича, его вдова была лишена возможности распоряжаться фамильным имуществом. На этом связи семьи Бизли с родственниками из России были прекращены.