Jurgis gimė Kostromoje, Rusijoje, kur jo tėvas Stanislovas buvo išvežtas Pirmojo pasaulinio karo metais ir dirbo raštininku kalėjime. Ten Stanislovas susipažino su būsima žmona Antanina, ir ten gimė jų pirmasis sūnus Jurgis. Apie 1923–1925 m. šeima sugrįžo į Lietuvą ir įsikūrė Kalnėnų kaime.

Jurgis buvo išsilavinęs, smalsus ir daugiakalbis jaunuolis. Jis mokėjo lietuvių, rusų, vokiečių, anglų, prancūzų, estų ir lotynų kalbas. Telšių gimnaziją baigė 1939 m., vėliau buvo įstojęs į medicinos universitetą, tačiau po pirmo kurso studijas nutraukė. Be mokslų, Jurgis domėjosi literatūra ir menu, pats rašė eiles. Jis bičiuliavosi su poetu Vytautu Mačerniu, bendravo su režisieriumi Juozu Miltiniu, buvo mėgstamas kultūringų, intelektualių žmonių draugijoje. Kasdienybėje mėgo žvejoti, grybauti, turėjo gausią knygų biblioteką.

Per vokiečių okupaciją Jurgis tapo pagrindiniu Doros Kaganaitės gelbėtoju. Su draugo, gydytojo Stasio Šereikos, pagalba jis padėjo Dorai pabėgti iš Telšių geto ir parsivedė ją į savo šeimos namus Kalnėnuose. Kilus pavojus, Jurgis nuveždavo Dorą pas gimines ar patikimus žmones, kad apsaugotų ją nuo suėmimo. Kalnėnų namuose taip pat slapstėsi žydų kilmės Raudonosios armijos kareivis Hona Mulman iš Odesos. Tai rodo, kad Tallat-Kelpšų šeimos noras padėti buvo platesnis ir neapsiribojo vienu žmogumi. Deja, 1944 m. Hona Mulmanas buvo nužudytas, kaip spėjama, besitraukiančių vokiečių.

Tą pačią vasarą į Tallat-Kelpšų namus įsiveržę policininkai reikalavo atiduoti „slepiamą žydę“. Jurgio močiutė Agota Tallat-Kelpšienė prisiekė Kristaus vardu, kad namuose niekas neslepiasi, ir pareigūnai pasitraukė. Dora liko gyva.

Po karo Dora ir Jurgis susituokė. Jie abu mokytojavo Telšiuose, kur praleido didžiąją gyvenimo dalį, vėliau kurį laiką gyveno Varniuose. Gyvenimo pabaigoje Jurgis gydėsi Maskvos onkologinėje ligoninėje, kur ir mirė 1976 m.

Tallat-Kelpšų pavardė siejama su senaisiais Lietuvos totoriais. Per šimtmečius giminė išsiplėtė, ir šiandien Lietuvoje gyvena daug Tallat-Kelpšų, neretai tarpusavio ryšių jau nebežinančių. 1997 m. rugpjūčio 4 d. Jurgis kartu su Agota, Stanislovu ir Antanina buvo pripažintas Pasaulio tautų teisuoliu.