Hij keerde zich ook tegen de Sovjet-invasie in Afghanistan in december 1979. In 1980, aan de vooravond van de Olympische Spelen in Moskou, werd hij gearresteerd en verbannen naar Nizjni Novgorod, destijds nog Gorki geheten. Hier was hij buiten bereik van buitenlandse waarnemers en journalisten. Alle officiƫle onderscheidingen en eerbetuigingen die hem eerder van staatswege waren toegekend, werden teruggenomen. Dankzij de perestrojka die door Michail Gorbatsjov vanaf 1985 werd ingezet, mocht hij in december 1986 terugkeren naar Moskou en werd in maart 1989 zelfs verkozen tot lid van het parlement. Hij stierf echter datzelfde jaar nog. Het Europees Parlement reikt jaarlijks de naar hem vernoemde Sacharov-prijs uit, voor verdiensten op het gebied van mensenrechten en vrijheid van meningsuiting. Sacharov was sinds 1972 getrouwd met de dissidente Jelena Bonner, die na zijn dood de Andrei Sacharovstichting oprichtte en zijn archief uiteindelijk aan de Harvard-universiteit heeft overgedragen.