1917년 프랑스 파리 출생으로 본명은 Jean-Pierre Grumbach 이다. 그가 스스로 자신의 이름끝에 붙인 멜빌이란 라스트 네임은 자신이 평소 좋아했던 [백경]의 작가 허만 멜빌에서 따온 것으로 알려져있다. 유태계 알사스인의 후손인 그는 학창시절부터 영화보기를 즐겼으며 이때 로버트 플래허티와 반 다이크의 무성 다큐영화를 보고 깊은 감명을 받았다고 한다.
아버지에게 받은 무비카메라로 16mm 영화를 만들기 시작한 그는 1937년 군에 입대했으며 2차대전 당시 연합군의 프랑스 상류작전이었던 Operation Dragoon에 참전하였다.종전후, 영화감독이 되고자 프랑스 영화계에서 일자리를 찾은 그는 가는곳마다 번번히 거절당하였으며 결국은 자기 스스로 감독이 될것을 결심하고 1946년 자신의 프로덕션을 설립하였다.
자신의 예명과 같은 멜빌 프로덕션을 설립하고 독림영화 연출을 시작한 그는 1947년 착수하여 1949년에 완성을 본 저예산 전쟁영화 [바다의 침묵 Silence de la Mer, Le]로 장편 데뷔하였으며 1950년 장 꼭또의 소설을 각색한 영화 [무서운 아이들 Enfants terribles, Les]을 발표했다.
60년대 이후, 미국 감독 하워드 혹스의 갱스터 영화와 존 포드의 액션 시퀀스로부터 영향을 받은 자신의 작품관을 재정립해 새로운 프렌치 갱스터 무비의 완성을 시도한 멜빌은 장 폴 벨몽도의 [밀고자 Doulos, Le (62)] 와 니노 로타의 [두번째 숨결 Deuxième souffle, Le (66)]그리고 알랑 드롱 주연의 [사무라이 Samouraï, Le (67)]등의 크라임 무비를 통해 프랑스 영화계에 자신만의 독보적인 위치를 확립했다.
1970년 발표한 자신의 후기 대표작 알랑 드롱, 이브 몽땅 주연의 [암흑가의 세사람 Cercle rouge, Le]을 통해 특유의 비극적인 내러티브와 미니멀한 스타일의 미장센의 완성을 보여준 그는 후세의 걸출한 시네아스트 오우삼, 쿠엔틴 타란티노, 임 영동, 마이클 만, 그리고 마틴 스콜세지에게 지대한 영향을 주었다.
1973년 사망.