В Москве Смоктуновский был замечен режиссёром Александром Ивановым, пригласившим никому не известного актёра на крупную роль Фарбера в фильме «Солдаты» по повести Виктора Некрасова «В окопах Сталинграда»
Главную роль своей жизни, круто изменившую его судьбу, он получил благодаря счастливому стечению обстоятельств. В 1957 году Георгий Товстоногов пригласил из Таллинна режиссёра Вениамина Ланге для постановки «Идиота» в Большом драматическом театре. На роль князя Мышкина был назначен Пантелеймон Крымов, но он пропустил первую же репетицию и был уволен. Другого актёра на эту роль в труппе БДТ не нашлось, и Ланге вернулся в Таллинн. Некоторое время спустя назначенный на роль Рогожина Евгений Лебедев порекомендовал Товстоногову Смоктуновского, с которым вместе снимался в фильме «Шторм»; увидев актёра в роли Фарбера, Товстоногов пригласил его в БДТ и теперь уже сам взялся за постановку спектакля.
Работа над ролью шла крайне тяжело: «Такого мучения в работе, такой трудности, — говорил актёр, — я и предположить не мог»[39]. Но после премьеры «Идиота», состоявшейся 31 декабря 1957 года, он «проснулся знаменитым»; смотреть спектакль с необыкновенным князем Мышкиным люди приезжали со всех концов Советского Союза.
Как отмечала Алёна Варламова, после знаменитых статей Белинского о Павле Мочалове в роли Гамлета трудно было вспомнить другой случай, когда бы критика зафиксировала и проанализировала едва ли не каждый момент существования актёра на сцене.
По свидетельствам очевидцев, актёр с первого же появления на сцене убеждал зрителей в том, что Мышкин Достоевского «такой и другим быть не может». Впоследствии и театральные критики, и режиссёры, и коллеги-актёры называли спектакль Товстоногова самым сильным театральным потрясением в своей жизни. «Это был прорыв, взрыв, переход в новое качество не только ленинградского театра, но и всей нашей сцены», — писал об «Идиоте» десятилетия спустя Смелянский
Актёр стал искать роли, более соответствовавшие его возможностям, на стороне — в кинематографе, что в итоге привело к конфликту с художественным руководителем театра. Так, из-за съёмок он на три недели опоздал к началу репетиций «Горя от ума» Грибоедова, где должен был играть Чацкого. В конце 1960 года актёр покинул БДТ, всего лишь пять раз отыграв «Иркутскую историю». Впоследствии его попытки вернуться в театр, чтобы сыграть долгожданную роль Чацкого, не увенчались успехом: Товстоногов не прощал измен. Выбирая между театром и кинематографом он выбрал последнее, хотя, как выяснилось очень скоро, без театра жить не мог.
В 1971 году актёр был приглашён в Малый театр специально на роль царя Фёдора в трагедии Алексея Толстого, ставшую одной из самых выдающихся его работ. Об этой роли, коронной для русских трагиков, актёр мечтал давно.
Трагедия Фёдора-Смоктуновского, с редкой естественностью сочетавшего в себе простодушие и исключительность, была, по словам Борис Тулинцева, трагедией «чистого разума», который в спектакле Равенских подвергался жестокому испытанию действительностью — и терпел поражение.
Всегда узнаваемый голос актёра звучал за кадром во многих игровых и документальных фильмах, в том числе в «Зеркале» Андрея Тарковского, где он озвучил роль главного героя, на протяжении всего фильма остающегося за кадром. Он дублировал Чарли Чаплина в фильмах «Огни рампы» и «Король в Нью-Йорке», много работал на радио и телевидении как актёр и как чтец. Его театральный репертуар дополнили роли, сыгранные в телевизионных спектаклях «Зима тревоги нашей» Розы Сироты, «Вишнёвый сад» Леонида Хейфеца, «Цезарь и Клеопатра» Александра Белинского и других.
В 1965 году на вопрос, что он предпочитает — театр или кинематограф, актёр отвечал: «И то, и другое дорого моему сердцу, но вот вынести двойную нагрузку оно не в состоянии»