Kemény János György egy zsidó magkereskedő fiaként jött a világra Budapesten. A család az egyre erősödő antiszemitizmus elől 1940 januárjában kivándorolt Amerikába, középfokú tanulmányait már New Yorkban fejezte be. Tizenhét évesen iratkozott be a Princeton Egyetemre, ahol matematikát és filozófiát tanult. Amikor megkapta az amerikai állampolgárságot, besorozták, katonai szolgálatát Los Alamosban töltötte, az atombomba kifejlesztését célzó Manhattan-terv keretében kellett bonyolult számításokat elvégeznie. Itt főnöke a később Nobel-díjat kapott elméleti fizikus, Richard Feynman volt, és együtt dolgozhatott Neumann Jánossal, aki igen nagy hatással volt matematikai gondolkodására. Egy év után visszatért a Princetonra, majd az egyesített térelméletet kutató Albert Einstein matematikai asszisztense lett. 1949-ben logikából doktorált, disszertációjában a típuselmélet és a halmazelmélet kérdéseiről értekezett.
Keményt 1953-ban Einstein ajánlására meghívták az egyik legrégebbi amerikai magánegyetem, a Dartmouth College matematikaprofesszorának, s két év múlva átvette a Matematikai Intézet vezetését. Lenyűgözték a számítástechnika és a számítógépek alapjait megvető Neumann-elvek, s 1959-ben tanártársával, Thomas E. Kurtzal saját kocsijukon vittek Dartmouthba egy LGP-30 típusú, fagyasztóláda méretű számítógépet, amely lyukkártyával működött és egyszerre csak egy művelet végrehajtására volt képes. A számítógép kimeríthetetlen lehetőségeinek felismerése, illetve a processzor kapacitásának kihasználatlansága vezette el őket egy új alapokra helyezett, időosztásos operációs rendszer kifejlesztéséhez.
A hallgatók bevonásával készült Dartmouth Time-Sharing Systemet (DTSS) 1964 tavaszán helyezték üzembe, s 1999 végéig működött. 1964-re már egy GE-255 komputert is beszereztek, amely a nagyterem egész alagsorát betöltötte, e gép használatához dolgozták ki a könnyen megtanulható, interaktív programozási nyelvet. A BASIC (Beginner’s All-purpose Symbolic Instruction Code) a laikusok számára is érthető, könnyen elsajátítható programozási nyelvként terjedt el, és több, később kifejlesztett programnyelv alapjává vált. Kemény ezzel járult hozzá a jövőképében megfogalmazott gondolatok megvalósulásához: „A társadalom fő reménysége a számítógép lehet, az emberek és számítógépek harmonikus szimbiózisa”.
Keményt 1970-ben az egyetem rektorává nevezték ki. A rendkívül konzervatív hagyományokat követő intézmény élén tizenegy évet töltött el, s több újítást is bevezetett. Lehetővé tette nőhallgatók felvételét, szorgalmazta amerikai őslakosok (indiánok és alaszkai bennszülöttek) beiratkozását, kiharcolta, hogy az egyetem minden diákja kapjon számítógépet. Szenvedélyesen hitte, hogy a matematika ismerete mindenkinek kijár. Tudását lelkesen osztotta meg hallgatóival, a tanítás kedvéért még a rektort az óraadástól eltiltó szabályzat ellen is fellázadt. Úttörője volt az elektronikus levelezésnek (e-mail), két központi számítógép összekötésével, családi használatra hozott létre hálózatot a 200 km-re lévő főiskolán dolgozó feleségével való kapcsolattartásra.
Jimmy Carter elnök 1979-ben őt kérte fel a Three Mile Island-i atomerőmű-balesetet kivizsgáló kormánybizottság vezetésére. A laikusok számára is érthető, didaktikusan megfogalmazott jelentés élesen bírálta az amerikai atomipar, azon belül elsősorban a szabályozás hiányosságait, és útmutatásul szolgált az atomerőművek jövőbeli biztonságos működését illetően. A jelentés országos visszhangot váltott ki, a vizsgálatot vezető Kemény Amerika egyik legnépszerűbb és legtöbbre becsült tudósává vált.
Tudományos szemléletében Neumann és Einstein univerzális gondolkodásmódját tartotta példaképének. A logika, a valószínűségszámítás kutatása mellett a matematika játékokra, közgazdaságra történő alkalmazása, társadalmi szerepe egyaránt foglalkoztatták, csakúgy, mint az emberiség jövőjének kérdése. Jó gyakorlati érzékkel és szervezőkészséggel rendelkezett, kitűnő előadó volt, humorát is sokszor megcsillantotta. Szabadidejében keresztrejtvényt fejtett és krimit olvasott. Neumanntól látta, hogy a sikeres matematikus „nem föltétlen ijesztő megjelenésű”, így átlagos külsővel, de LOGIC (logika) rendszámú autóval járt.
Számos könyvet írt, köztük az Introduction to Finite Mathematics (1956) című matematikai monográfiáját, amelyet négy kiadásban is megjelentettek, több nyelvre lefordították. A világhírű tudóst az Amerikai Művészeti és Tudományos Akadémia tagjává választották, 19 egyetemtől kapott díszdoktori címet, 1990-ben elsőként vehette át az IBM Robinson-díját.
Hatvanhat éves volt, amikor 1992. december 26-án a New Hampshire-i Lebanonban végzetes szívrohamot kapott. A legnagyobb amerikai lapok közöltek róla nekrológot, halálát itthon csupán egy rövidke hírben tudatták. Budapesti lakóházára halálának ötödik évfordulóján helyeztek el emléktáblát. Dartmouthban róla nevezték el a 2006-ban épült új matematikai intézetet.
Életében csak egyszer látogatott vissza Magyarországra, 1964-ben, akkor is csak rövid időre.