Budapesten, jómódú családban született 1925. május 31-én. Az elemi után a Berzsenyi Gimnáziumba iratkozott, amelyben Benedek Marcell és Tangl Károly is tanított, és tanulói voltak Károlyi Mihály, Tom Lantos és Soros György is. A gimnáziumban töltött három és fél évről Kemény így emlékszik vissza: "Nagyon boldog voltam a Berzsenyiben. Volt egy csodálatos matematikatanárom, Bölcsházy tanár úr." Pályafutásának csúcsán, amikor megkérdezték tőle, hogy minek tulajdonítja a magyar matematikusok világhírnevét, ő a magyar középiskolai tanárokra és a matematikai versenyekre hivatkozott, amelyek még a múlt századra nyúlnak vissza.
Amikor 1938-ban Hitler megszállta Ausztriát, Kemény édesapja az USA-ba utazott, hogy üzleti kapcsolataival megélhetési alapot találjon, majd 1940 januárjában kihívta családját is. A nagy útra induló Kemény János búcsúztatására a pályaudvarra eljött, az egész osztállyal együtt, Bölcsházy tanár úr is, aki ezeket mondta neki: "Jó, hogy elutazol, mert aggasz Magyarország jövője. Csak egyet sajnálok. Eddig még nem volt tanítványom, aki nyert volna a matematikaversenyen.” Ugyanis arra gondolt, hogy Kemény lenne az, aki négy és fél év múlva megnyerhetné az Eötvös-versenyt.
14 évesen úgy érkezett az Újvilágba, hogy egy szót sem tudott angolul, csak magyarul, németül és valamit latinul Gyorsan megtanult angolul és a George Washington nevét viselő középiskolába iratkozott, amelynek több ezer tanulója volt, köztük Henry Kissinger is. Itt tudta meg, hogy New York ban is rendeznek matematikai versenyeket, amelyre jelentkezett és harmadik helyezést nyert, ami nem is volt rossz eredmény, ha figyelembe vesszük, hogy egy tanár sem foglalkozott vele vagy támogatta a fölkészülésben.
1945-ben, miután megkapta az amerikai állampolgárságot, behívták katonának. A 19 éves Kemény a katonai szolgálatot Los Alamosban töltötte és a Manhattan Terv Elméleti Fizikai Osztályán dolgozott a későbbi Nobel-díjas (1965) Richard Feynman főnöksége alatt. Elektromos kalkulátorokkal kellett elvégeznie a bonyolult számításokat, és itt ébredt fel érdeklődése a számítógépek jövő lehetőségei iránt. Feynman 1980-ban a Yankee folyóirat márciusi számában így ír Kemény Jánosról és a többi Los Alamosban dolgozó magyar kutatóról: "John G. Kemeny Los Alamosban találkozott Szilárd Leóval, Wigner Jenővel, Neumann Jánossal, Teller Edével; ők mind Budapest ugyanazon kerületéből jöttek. Nem csoda, hogya Los Alamosban dolgozó tudósok elfogadták azt az elméletet, hogy ezer esztendővel ezelőtt egy Marsról érkező űrhajónak kényszerleszállást kellett végeznie Közép-Európában. A magyarok marsi eredetének három, minden kétséget kizáró bizonyítékát idézték: a magyarok sokat változtatják helyüket; egy rendkívül egyszerű és logikus nyelvet beszélnek, aminek semmi kapcsolata sincs szomszédaik nyelvével; és sokkal okosabbak a földlakóknál. - John G. Kemeny enyhe marsbeli akcentussal hozzáfűzte, hogy annyival könnyebb magyarul olvasni és írni, mint angolul, hogy a gyerekeknek sokkal több idejük marad a matematika tanulására."
1947-ben szerelt le a katonaságból és Princetonban folytatta matematikai tanulmányait. Miután lediplomált, az Institute for Advanced Studies igazgatója, Robert Oppenheimer 1948-ban kinevezte Albert Einstein mellé tanársegédnek. Einsteinnel az egyesített térelméletet kutatták. 1949-ben védte meg doktori értekezését.
1949 és 1951 között a Haditengerészet princetoni kutatóintézetében, majd 1951 és 1953 között a filozófiai tanszéken dolgozott. 1953-ban Einstein ajánlására meghívták a Dartmouth Kollégiumba a matematika professzorának, ahol 1955-ben a Matematikai Intézet vezetője lett. Ezen a régi egyetemen, melyet még 1759-ben alapítottak, a gólyáknak tartott előadásokat, melyekben bemutatta a matematikai logikát, halmazelméletet, valószínűségszámítást, vektorokat, mátrixokat, informatikát, és rajtuk keresztül a matematika széles körű alkalmazási lehetőségeit azoknak is, akik nem matematikusoknak készülnek. Az Introduction for Finite Mathematics című tankönyve kétszázezer példányban fogyott el. Élete végéig vallotta: "Tanítás az egyetlen gyógykezelés, ami használ nekem."
A hatvanas évek elején, amíg a számítógépbe a felhasználója adatokat táplált, vagy a gép az eredményeket nyomtatta, addig a processzor nem csinált semmit, tehát a gép nem volt racionálisan kihasználva. Kemény János a kollégájával, Tom Kurzcal dolgozta ki az időbeosztásos rendszert, amely 1963-ban valósuIt meg. Ez a központi program tette lehetővé, hogy míg az egyik felhasználó adatokat táplál a gépbe, vagy a gép eredményeket nyomtat, addig egy másik felhasználónak végzi a számolást és így a processzor minden idejét kihasználja. Az IBM első Louis Robinson díját Kemény János kapta meg 1990-ben az időbeosztásos rendszer kidolgozásáért.
E rendszer kidolgozása után látott hozzá szintén Tom Kurzcal egy könnyen megtanulható, sokoldalúan felhasználható, világos és érthető hibaüzeneteket visszajelző nyelv kidolgozásához, amelyet BASIC-nek (Begginers Ali-purpose Symbolic Instruction Code) neveztek el. Ez a nyelv ma a Föld legtöbb embere által értett és felhasznált nyelvei közé tartozik, amelyet ma többen használnak, mint az összes többi számítógépnyelvet együttvéve. Gyors elterjedéséhez az is hozzájárult, hogy e nyelvet bárki díjazás nélkül használhatta. Az első személyi számítógépek ezt választották anyanyelvüknek.
Amikor Keményt kinevezték a Dartmouth Kollégium rektorának és megtudta, hogy létezik egy szabály, mely szerint nem tarthat előadásokat, kérvényt adott be az egyetem tanácsának, melyben többek között ezt írta: "…vegyék tudomásul, hogy nekem a tanítás a szenvedélyem...". És valóban, rektorsága alatt megtartotta minden óráját. Megvalósította, hogy Amerika őslakói, valamint nőhallgatók is beiratkozhattak az egyetemére, és hogy minden hallgatónak - még a bölcsészeknek is - legyen számítógépe. 1966-ban az egyetem számítógép-központjának átadásán mondott beszédében megjósolta, hogy negyed évszázad múlva a számítógépek mindennaposak lesznek az otthonokban, mint a TV volt abban az időben.
Amikor 1979. március 28-án hajnalban a Pennsylvania állam Harrisburg nevű városának közelében egy atomerőműben egy kicsiny és jelentéktelen zavar történt, amelyből az év legnagyobb újságszenzációja támadt, az Egyesült AIIamok elnöke tizenkéttagú vizsgálóbizottságot nevezett ki az eset kivizsgálására, és a bizottság vezetésével Keményt, mint nagytekintélyű kiváló tudóst, a kockázatelemzés szakértőjét bízta meg. A bizottság fél év múlva nyújtotta be jelentését Carter elnöknek, melyben feltárta a baleset okának szervezési hátterét és a jövő számára fogalmazott meg tanúságokat. Tette ezt gondos stílusban, hogy azt a Kongresszus tagjai, újságírók, diákok is megérthessék. Ez a Kemény-jelentés országos visszhangot váltott ki, és szerzője egyszerre az Egyesült Államok egyik legismertebb és legbecsültebb polgára lett. Októberben az elnök, Jimmy Carter személyesen köszönte meg neki a munkát.
Kemény Jánost tizenkilenc egyetem díszdoktorává avatta. A Nemzeti Tudományos Alap tanácsadója és az amerikai Matematikatanítási Bizottság elnöke volt. Elnyerte a New York-i Akadémiai Díjat. Az Amerikai Művészeti és Tudományos Akadémia a tagjává választotta. Előadásait világszerte elismerés és tisztelet kísérte. Az Eötvös Fizikai Társulat a centenáriumi közgyűlésén tiszteletbeli tagjává választotta.
1981-ben, amikor leköszönt a rektorságról, zárómondatai az egyetem hallgatóihoz, magyaros kiejtéssel, a következőképpen hangzottak: "Az előttetek álló években sokféle hang fog szólni hozzátok - hangok, amelyek mondják, mit tegyetek életetek során. E hangok között lesz egy, amit sokféle mezben mondtak már a történelem folyamán, ez a legveszedelmesebb hang, amit hallani fogtok. Mindnyájunkban jelenlévő ősi ösztönre alapoz: az emberi előítéletre. Megpróbál megosztani bennünket: fehéreket a feketék ellen, keresztényeket a zsidók ellen, férfiakat a nők ellen. És ha sikerül neki, hogy elválasszon embertársainktól, a széttöredezett társadalomra kényszeríti gonosz hatalmát. Ne hallgassatok erre a hangra! Inkább arra a belső szóra figyeljetek, amelyik azt mondja, hogy az emberiség békében élhet, az emberiség harmóniában élhet, hogy az emberiség tisztelheti minden egyes ember jogát és méltóságát. Használjátok tehetségeteket - ezt a bennetek meg lévő nagy értéket - egy jobb világ megalkotására, egy elviselhetőbb világ megalkotására, amelyben mindnyájunknak jut hely. Egyetemünk fiai és leányai: az egész emberiség a testvéretek, és ti a testvéretek őrzői vagytok."
Kemény János 1992. december 26-án hunyt el szívroham következtében. Tartalmasan emlékezett meg róla a Washington Post, a Heraid Tribune, a Gardian és a New York Times. Ez utóbbi nekrológja is megemlítette, hogy Kemény János élete végéig megőrizte magyaros kiejtését.