В литовских летописях Велиж упоминается еще в 1403 г.

После неудачного похода Сигизмунда I в 1533 г. по договору Велиж отошел к Московскому государству. В апреле 1536 года был издан указ о строительстве крепостей на старом велижском городище (в городе их насчитывалось 4), называемом Замковая гора. В царственной книге Ивана Грозного об этом сказано:

«В лето 7044 (1536) апреля в 19-й день князь великий Иван Васильевич и мати его Великая княжна Елена велела поставити город в Торопецком уезде на Велижском городище, город Велиж, и доделать месяца июля, в третье лето государства его».

Эта дата считается официальным годом основания Велижа.

Крепость строилась мастерами Иваном Рудаком и Иваном Колычевым и в июле 1536 г. была возведена в виде трёх срубов, заполненных глиной. Она имела 8 (9) боевых башен, две из которых были с въездными воротами. В устье реки Каневец была сооружена плотина, которая позволяла поднимать уровень воды в глубоких рвах вокруг крепости. Склоны рвов были выложены бревнами и становились скользкими при подъеме воды.

Во время Ливонской войны 1558—1583 г. литовцы пытались завладеть Велижскими землями, но удалось это князю Радзивиллу лишь в 1562 г. Был разрушен велижский посад и окрестные деревни. Помимо набегов свирепствовали эпидемии, писцовые книги указывают, что «Велижский уезд почти сплошь впусте лежал». По Ям-Запольскому перемирию 1582 г. Велиж отошел к Речи Посполитой.

В 1655, во время русско-польской войны 1654—1667, Велиж подвергся разрушению русскими войсками. В 1667 г. по Андрусовскому договору Велиж отошел к Москве, но в 1678 г. был возвращен Речи Посполитой вместе с некоторыми другими землями в обмен на город Киев. К концу XVI века Велиж утратил своё военно-стратегическое значение и развился как центр обширного староства в составе Витебского воеводства.

По первому разделу Польши в 1772 г., Велиж окончательно вошел в состав России. Он был включен сначала в состав Псковской, а затем Полоцкой губернии Витебской провинции, а с 1804 г. Витебской губернии.

14 июля 1941 город был оккупирован немцами. 20 сентября 1943 года войсками Калининского Фронта в ходе Духовщинско-Демидовской операции Велиж был освобождён силами 4-й ударной армии.

Современный город Велиж расположен на берегах Западной Двины в Смоленской области, в 30 километрах от западной границы Российской Федерации. На протяжении многих веков Велиж, как пограничный укрепленный город, много раз переходил к сопредельным государствам и только с 1772 года окончательно закреплен в составе России.