1881. május 11-én született Budapesten, ahol az elemi iskolát magánúton végezte el. Apja, Kármán Mór, kiváló pedagógus, író és művelődéspolitikus volt. Ö alapította a Trefort Agoston nevét viselő egyetemi gyakorlógimnáziumot (Mintagimnázium), amelyben maga is tanított és fiát, Tódort is ide iratta. A leendő tudós itt érte el első sikerét, megnyerve 1898-ban az Eötvös Loránd alapította matematikai tanulóversenyt.
Egyetemi tanulmányait a budapesti Műegyetem gépészmérnöki karán fejezte be 1902-ben, kitűnő minősítéssel, majd egy évig katonai szolgálatot teljesített és tartalékos tiszti vizsgát tett. Ezután a Műegyetemen Bánki Donát tanszékén lett tanársegéd, és párhuzamosan a Ganz Vagongyárban mérnöki állást vállalt.
1906-ban a Magyar Tudományos Akadémia ösztöndíjával a göttingai egyetem világhírű Prandtl Áramlástani Intézetébe került. Itt készítette el és védte meg doktori értekezését a szilárdságtan köréból, majd a göttingai egyetem 1909-ben magántanárrá habilitálta és mechanikát, valamint aerodinamikát adott elő. Göttingában született meg híres tétele, amelyet a tudományos szakirodalom Kármán-féle örvénysor néven tart számon. Évtizedekkel később Kármán a nevével fémjelzett örvénysor-elmélet alkalmazásával mutatta ki a Tacoma (USA) függőhíd tervezésekor elkövetett hibát, aminek következtében egy szélvihar a hidat olyan rezgésbe hozta, hogy az leszakadt.
Göttingai éveiben Max Bornnal, a későbbi Nobel-díjas tudóssal együttműködve egy tanulmányt írnak a kristályos anyagok fajhőjéről és a rácsrezgések spektrumáról, amely a szilárdtestfizika fontos fejezetének kezdetét képezte.
Az eredetileg két évre tervezett göttingai tanulmányút végül is hat évig tartott. Ez idő alatt rövidebb időt Berlinben, a charlottenburgi műegyetemen és Párizsban is töltött, ahol 1908-ban szemtanúja volt Farman pilóta 2 km-es (!) távrepülési csúcsteljesítményének.
Mivel kinevezték a selmeci bányászati és erdészeti főiskola tanárává, 1912-ben elhagyta Göttingát és hazatért Magyarországra. Sajnos, a főiskolán nem volt lehetősége a komolyabb tudományos munkára, és fél év múlva az aacheni műegyetemre távozott, ahol tanszékvezető professzor lett.
Amikor kitört az első világháború, főhadnagyként katonai szolgálatra hívták Aachenből. Nagyothallása miatt hátországi beosztást kapott és a csepeli katonai ruhatárba került. Egy évig tartott, amíg a korlátolt katonai adminisztráció észbe kapott, hogy egy külföldön is elismert tudóst a raktárosnál hasznosabban is alkalmazni lehet! Ekkor a Bécs melletti Fischamendbe, a repülőarzenálba helyezték, ahol javaslatára aerodinamikai laboratóriumot rendeztek be és kísérleti szélcsatornát építettek. Itt szerkesztette meg Petróczy István, Zurovetz Vilmos és Asbóth Oszkár közreműködésével a világ első katonai forgószárnyas repülőeszközét, a PKZ-típusú helikoptert. Fischamendben oldotta meg Kármán a monarchia hadserege részére azt a problémát is, hogyan lehet a repülőgépek csavarkörén át géppuskával tüzelni.
A háború után, a Tanácsköztársaság idején a Közoktatásügyi Népbiztosság egyik csoportjának helyettes vezetője lett és a tudománypolitika irányításával, a természettudományi kutatóintézetek szervezésével, valamint az oktatásügy reformjaival foglalkozott. A Tanácsköztársaság bukása után Kármán egy ideig egyik barátjának a birtokán bujkált, és innen vette fel a kapcsolatot az aacheni műegyetemmel, ahová 1919 végén sikerült visszatérnie. Aachenban 1930-ig dolgozott az aerodinamikai kutatóintézetben mint professzor, majd mint az intézet igazgatója.
Kármán ekkor már a repülés szerelmese és csak részben volt elégedett munkahelyével. Ugyanis Németországnak, mint legyőzött országnak, a békeszerződés értelmében nem engedélyezték a repülőgépgyártást. Csak a repülés elméleti oldalaival foglalkozhatott.
1926-ban Robert A. Millikan Nobel-díjas amerikai fizikus meghívta a kaliforniai műszaki egyetemre, hogy tartson előadásokat. Ekkor Daniel Guggenheim amerikai nagytőkés több millió dolláros alapítványából Kármán megszervezte a pasadenai egyetem aerodinamikai kutatólaboratóriumát. 1930-ig munkásságát Aachen és Pasadena között osztotta meg. Ezután végleg átköltözött az USA-ba és az említett aerodinamikai laboratórium igazgatója lett. Formálisan még három évig az aacheni intézet vezetője maradt, de a hitleri hatalomátvétel után erről lemondott.
Amerikában az általa vezetett laboratóriumban munkatársaival a hangsebesség feletti repülés aerodinamikai problémáit oldotta meg. A laboratórium emellett az asztronautika tudományának is jelentős bázisa lett. 1936-ban egy rakétakutató csoport alakult, amely 1944-ben Jet Propulsion Laboratory (sugárhajtás-Iaboratórium) néven önálló intézet lett. Ez a laboratórium a negyvenes években Kármán vezetésével több akkori nagyrakétát fejlesztett ki, az ötvenes évek elején pedig megépítette az USA szárazföldi hadseregének első ballisztikus irányítható rakétáját.
A hatvan éve felett járó Kármán a második világháborúban az amerikai légierő tudományos tanácsadó bizottságának munkájában is részt vett. 1951-től a NATO repülésügyi kutató és fejlesztő intézményének volt az elnöke. Idősebb korában érdeklődése mindinkább az űrkutatás felé irányul. Szakmai és tudományos tekintélyét latba vetve megalakította a Nemzetközi Asztronautikai Szövetséget, amely később a Nemzetközi Asztronautikai Akadémiává alakult, és ő lett az első igazgatója.
Kármán Tódort huszonkilenc egyetem és főiskola avatta tiszteletbeli doktorává, közöttük 1962-ben a Budapesti Műszaki Egyetem is, és ekkor egyben a gyémántdiplomáját is átvette. Több akadémia tagjává választotta. Néhány hónappal halála előtt az USA legnagyobb tudományos kitüntetését, a nemzeti tudományos érmet, melyet először neki ítéltek oda, az Egyesült Államok elnökének a kezéből vette át.
1959-ben az USA légierő-parancsnoksága a Tennesee állambeli Tullakomban hiperszonikus kutatóintézetet létesített, és azt Kármánról nevezték el. Az avató ünnepségen Kármán ezeket mondta: "Nem fér kétség ahhoz, hogy ez a legnagyobb elismerés, amelyben valaha is részesültem. Úgy vélem azonban, hogy a légierőnek a névadással néhány évig még várnia kellett volna, amíg erre már a végtelenségen túlról tekintek vissza. Általában az a hagyomány, hogy a tudósoknak vagy az államférfinak meg kell halnia ahhoz, hogy valamit róla nevezzenek el. Boldog vagyok, hogy a légierő most szakított e hagyománnyal, s ezzel alkalmat adott arra, hogy a megtiszteltetésért személyesen mondhassak köszönetet."
A Brüsszel melletti Waterlooban a katonai és civil szervek egy kutatóintézetet hoztak létre, amely a repülőgépek áramvonalait, vadászgépek szárnyprofiljait, űrhajók és interkontinentális rakéták aerodinamikai tulajdonságait, hatalmas utasszállító repülőgépek és az űrrepülőgépek, tolatóuszályok és helikopterek aerodinamikáját vizsgálja. Az intézetet "von Kármán Institute"-nak hívják, mivel a lángelméjű tudósnak nagy szerepe volt létrehozásában és a program kialakításának első fázisában.
Hogy magyarságát bizonyítsa, Kármán Tódor a nevét mindig és mindenhol következetesen ékezetekkel írta. A repülés és az űrkutatás világhírű tudósa egy németországi látogatásakor Aachenben hunyt el 1963. május 7-én.
Hat évtizedes tudományos munkássága a fizika és a műszaki tudományok nagy területét ölelte fel. Kiemelkedőek a hangnál nagyobb sebességű repüléssel kapcsolatos aerodinamikai kutatásai. Kidolgozta a repülő testek felületi kialakításának és méretezésének a módszerét. Fontos eredményeket ért el a műszaki mechanika, a kristályrács-szerkezet vizsgálat, az égéselmélet és a magnetohidrodinamika területén. Jelentős mértékben járult hozzá a korszerű rakéták megalkotásához.
A Hold tulsó oldalán, valamint a Marson kráter őrzi a nevét. A budapesti Közlekedési Múzeum parkjában mellszobrot emeltek emlékére.