До возникновения города на этом месте находился Николо-Медведский монастырь (иначе Николо-Медведовский, Никольско-Медведовский), возникший в XIV или XV веке. В 15 км выше по реке находится старинное село Старая Ладога, бывшее в своё время городом и по легендам являвшейся первой столицей Руси.
В 1702 году по приказу царя Петра I, во время Северной войны территория Николо-Медведского монастыря была обнесена земляным валом и рвом, а в устье Волхова создана судостроительная верфь. 13 апреля 1704 года царь распорядился направить сюда для образца корабли с соседних верфей на реках Сясь и Свирь. Из Белоозера, Пошехонья, Олонца и Каргополя доставили около 2 тысяч работников.
В 1704 году по указу Петра I был основан город Новая Ладога (древний город Ладога, получил название Старая Ладога), сюда царь повелел переехать на жительство многим староладожанам, а из центра страны приказал перебросить несколько полков пехоты.
В 1719 году по указу царя начато строительство «старого Петровского канала».
В 1763—1769 годах будущий генералиссимус А. В. Суворов командовал Суздальским пехотным полком в Новой Ладоге, где составил «Полковое учреждение» (1764—1765) — инструкцию, содержавшую основные положения и правила по воспитанию солдат, внутренней службе и боевой подготовке войск.
в 1861—1866 годах параллельно «старому Петровскому каналу» по самому берегу Ладожского озера прорыли новый, более глубокий канал.
С середины XVIII века — центр Новоладожского уезда С.-Петербургской губернии.
В 1941—1945 годах — Во время Великой Отечественной войны город сыграл огромную роль в поддержке сообщения с осаждённым Ленинградом по легендарной Дороге Жизни и как одно из мест дислокации Краснознамённой Ладожской Флотилии.