Виктор был младшим сыном в семье князя Ивана Ивановича Барятинского и его супруги Марии Федоровны, урожденной графини фон Келлер. Он появился на свет в июне 1823 года в селе Ивановское Льговского уезда Курской губернии.
Своего отца Виктор не помнил, так как Иван Иванович скончался, когда тот был еще слишком мал. Когда мальчику было семь лет, мать взяла его и остальных шестерых детей и перебралась в Петербург. Виктор вспоминал:
Матушка ездила ко Двору, и Их Величества выразили желание видеть её детей. Она повезла нас в назначенный день в Кремль… Когда уведомили матушку, что Их Величество сейчас пожалует в залу, она нас всех семерых поставила в ряд в порядке возраста каждого, начиная с сестры Ольги и кончая мною. Государь и Императрица подошли и были очень любезны и ласковы.
Все сыновья княгини решили пойти по военной стезе и Виктор в том числе.
В 1841 году молодой человек окончил курс обучения в Санкт-Петербургском университете и решил пойти на Черноморский флот. Туда он поступил в звании мичмана.
1840-е годы Виктор плавал по Черному и Средиземному морям. В плавании он заслужил репутацию замечательного парусного офицера. В свободное от плавания время Барятинский на свои средства занимался археологическими раскопками.
Благодаря ему находились ценные артефакты. Находясь в Афинах, он безошибочно определил, где должен находиться театр Дионисия.
Помимо археологии, Барятинский увлекался живописью. В море он делал качественные зарисовки, которые впоследствии использовал выдающийся художник Иван Константинович Айвазовский. Так, например, Виктор Иванович присутствовал при догорании турецкого флота и по поручению Нахимова сделал этюд пылающих кораблей.
Этот этюд Барятинский предоставил Айвазовскому, чтобы тот написал эффектное полотно, посвященное Синопскому бою.
Питая страсть к изобразительному искусству, Барятинский коллекционировал картины. Шелехов написал:
Виктор Иванович, будучи человеком широко образованным, любящим живопись и море, книги и искусство, много путешествуя, к концу жизни собрал в своем родовом имении (в Курской губернии) весьма значительную коллекцию картин и хорошую библиотеку, вместившую 25 000 томов по истории русской армии
Осенью 1855 года в жизни Виктора Ивановича произошло счастливое событие. Состоялась его свадьба с Марией Аполлинарьевной Бутеневой. Невесте было двадцать лет, а ему тридцать два года.
Мария три года была фрейлиной двора. Ее отцом являлся дипломат, представлявший интересы России в Риме и Константинополе.
После свадьбы молодожены отправились в одно из имений Барятинских — село Нижние Деревеньки Льговского уезда. К тому моменту, Виктор Иванович больше не служил в армии, он ушел в отставку. За год до свадьбы он тяжело заболел тифом и здоровье ослабло.
Оказавшись в селе, супруги занялись его благоустройством. Именно при них, там был заложен просторный парк.
С 1857 года по 1865 год у супругов родились пятеро детей:
1. Иван (1857—1915)
2. Мария (1859—1942)
3. Виктор (1861—31.08.1915)
4. Леонилла (1862—1947)
5. Ольга (1865—1932)
В то время детская смертность была высокая, но Барятинским повезло, их дети отличались крепким здоровьем, никто из них не умер раньше родителей.
Супруги активно занимались общественными делами, улучшением жизни в селе. Когда старший сын Иван вырос, они передали ему управление Нижними Деревеньками, а сами перебрались в имение Марии Апполинарьевны, расположенное в селе Груновка Суджанского уезда.
Ближе к семидесяти годам Виктор Иванович почувствовал, что нужно менять климат, иначе он долго не протянет. Они вместе с женой перебрались в Рим. Мария Апполинарьевна, несмотря на возраст, была энергична и открыла салон, который любили посещать русские путешественники.
Супруги прожили хорошую, спокойную и длинную жизнь. Виктор Иванович скончался в мае 1904 года, ему было восемьдесят лет, а его супруга скончалась в октябре 1906 года, ей был семьдесят один год.
