Он родился 2 мая 1939 года в Киеве в семье технолога пищевого производства и домохозяйки. Любовь к искусству будущему актёру с детства прививала мама: в юности она была студенткой консерватории, но рано вышла замуж и с тех пор посвятила себя семье и воспитанию двоих сыновей — Саши и Лёни. Старший брат Александр Каневский впоследствии увлёкся писательством и стал известным прозаиком и поэтом, а младший Леонид твёрдо решил связать жизнь со сценой.
Покорять столичные театральные вузы Леонид Каневский отправился в сопровождении матери. Именно она помогла сыну-абитуриенту справиться с первыми неудачами на творческом пути. Невысокого юношу посчитали недостаточно фактурным и забраковали сначала в Школе-студии МХАТ, а затем в Щепкинском училище. Каневский уже было опустил руки, но мать настояла, чтобы он попытал счастья в Щукинском училище.
Здесь начинающему актёру улыбнулась долгожданная удача: он сумел удивить комиссию и попал в мастерскую к знаменитому педагогу Вере Львовой, а среди его однокурсников оказались Андрей Миронов и Василий Ливанов.
Его кинодебют состоялся в начале 60-х — Каневский сыграл небольшую роль заведующего магазином в ленте «Сорок минут до рассвета». Затем актёр предстал в образе начальника тайной полиции в сказке «Город мастеров» и перевоплотился в разведчика в военной драме «Весна на Одере». А вскоре ему посчастливилось поработать с самими Леонидом Гайдаем: в комедии «Бриллиантовая рука» Каневскому досталась роль контрабандиста.
Изначально актёр должен был появиться на экране в костюме, но оказалось, что подготовленный наряд сидит на нём нелепо. Каневский метался по гримёрке, примеряя всё, что попадалось под руку, но ничего подходящего так и не нашёл. В панике он выбежал в коридор без майки, где столкнулся с режиссёром. «А вот этот костюмчик сидит как влитой, в нём и будешь сниматься!» — заявил Гайдай, увидев голого по пояс актёра.
Всенародная любовь пришла в Леониду Каневскому после главной роли в многосерийном детективном фильме «Следствие ведут ЗнаТоКи». С тех пор на улице его называли «майором Томиным», а зрители часто обращались к нему за помощью в расследовании преступлений. Новые эпизоды выходили на экраны на протяжении тридцати лет, а в 2002 году актёр был награждён почётным знаком «За содействие МВД России».
Всего на счету Леонида Каневского больше семидесяти ролей в кино. Лишь в 90-е годы актёр почти не снимался. Причиной стала репатриация в Израиль, куда Каневский уехал вместе с семьёй. На новом месте он не остался без работы: собрал труппу из актёров-эмигрантов и основал в Тель-Авиве драматический театр «Гешер» — в переводе с иврита «Мост».
Несколько лет Леонид Каневский жил на две страны, однако в середине 2000-х вновь обосновался в России. Здесь актёр запустил авторский документальный сериал «Следствие вели…», посвящённый преступлениям в СССР. Проект моментально стал популярным и выходит на экраны по сей день.
На всём долгом творческом пути Леонида Каневского поддерживала любимая супруга — филолог и переводчик Анна Березина, дочь знаменитого эстрадного артиста Ефима Березина, известного под псевдонимом Штепсель. Вместе они воспитали дочь Наталью, которая стала дизайнером и художником по костюмам. В браке с искусствоведом и преподавателем иврита Идо Нативом Наталья подарила родителям внучку Амалию и внука Мика, в которых знаменитый дедушка души не чает.