1932년 소련(현 러시아)이반노노 자브라체 출생의 타르코프스키는 세르게이 에이젠쉬타인이래 최고의 러시아 감독으로 꼽히는 인물로 본명은 Andrei Arsenyevich Tarkovsky 이며 러시아의 유명 시인 Arseniy Tarkovsky의 아들이다.
2차대전 발발후인 1939년 엄마와 함께 모스크바로 이주하여 학교 교육을 받기 시작한 그는 예술학교로 진학하여 피아노를 전공했으며 1951년 Russian Academy of Sciences 부속의 오리엔탈 인스티튜트에서 아랍어를 공부했다.
1954년 러시아(당시 소련)의 국립 영화학교인 VGIK에 입학하여 영화를 전공하기 시작했으며 1957년 영화학교 동기인 여배우 Irma Raush와 결혼했다. 1953년 이후, 후르시초프의 집권시절 한 동안의 문화적 해빙기를 틈타 서구의 문학과 영화를 접할 기회를 얻은 타르코프스키는 이태리 네오리얼리즘과 프랑스의 누벨바그 그리고 일본의 구로자와 아끼라, 미조구치 겐지, 스웨덴의 잉그마르 베르히만,스페인의 루이스 뷔뉴엘등의 작품을 섭렵하기 시작했으며 VGIK 3학년이 되던해, 동료감독인 안드레이 콘찰로프스키를 만나 영화에 관한 견해와 지식을 나누며 절친한 친구가 되었다.
1961년 장편 데뷔작인 [이반의 어린시절 Ivanovo detstvo]을 발표하고 이듬해 이태리의 Valerio Zurlini 와 공동으로 베니스 영화제 그랑프리를 수상, 유럽영화계를 놀라게한 타르코프스키는 1969년 친구인 안드레이 콘찰로프스키와 공동으로 각본을 쓴 영화 [안드레이 루블료프]를 연출했다.
타르코프스키의 초기 대표작으로 꼽히는 [안드레이 루블로프]는 표면적으로는 15세기 성상화가의 이야기를 다루고 있지만 스탈린 이후의 정치적 상황을 암시하며 당시 소련정부의 정책을 우회적으로 비판하고 있다는 이유로 한때 상영금지를 당했으며 1971년 몇장면을 삭제한후에 개봉되었다.
1970년 자신의 첫번째 아내이자 영화학교 동기인 Irma Raush와 이혼하고 같은해 역시 러시아의 여배우인 Larisa Tarkovskaya와 재혼한 그는 1972뇬 미스테리 SF [솔라리스]를 완성하고 깐느 영화제 심사위원대상을 수상했으며 [거울 Zerkalo (75)] [스토커 (79)]등의 작품을 발표했다.
1982년 이태리에서 영화 [노스탤지어]의 촬영을 개시한 타르코프스키는1983년 이 작품의 완성과 동시에 서구세계로의 망명을 결정했으며 이 작품으로 깐느 영화제 감독상을 비롯한 3개부문에서 수상했다.
당시 소련 당국이 자신의 작품 [노스탤지어]의 깐느영화제 그랑프리 수상을 적극적으로 방해했다는 소식이 알려지자 다시는 소련에서 영화를 만들지 않겠다는 결심을 굳히게 된 그는 1985년 스웨덴에서 자신의 마지막 작품인 [희생 Offret /The Sacrifice]의 촬영을 시작했으나 그해 말 폐암을 진단을 받게되었고 이듬해 프랑스 파리로 건너가 치료를 받다 결국 사망했다.