Leader du Yishouv et second Président de la l’Etat d’Israël, il est né à Poltava, en Ukraine. Il a reçu une éducation juive dans un Heder et plus tard, il a terminé ses études dans un gymnasium (lycée) russe. En 1905, il entre à l’Université de Kiev mais ses études sont interrompues par la grève générale qui éclate cette même année. Pendant les pogroms de 1905, il devient actif dans une organisation juive d’auto-défense à Poltava et joue un rôle dominant au sein des Poalei Tzion – le parti socialiste sioniste, qui avait été fondé à Poltava en 1906.
En 1907, Ben-Zvi s’installe en Eretz Israël. La même année, il est envoyé en tant que délégué des Poalei Tsion d’Eretz Israël au 8ème Congrès sioniste qui a lieu à la Haye. En 1907, Ben-Zvi participe à la fondation de l’organisation d’auto-défense Bar Giora et en 1909, de la Haganah (le gardien) avec le leader Rachel Yanait (qu’il épouse en 1918) – Voir Lutte et défense.
En 1909, il est envoyé par Poalei Tsion en Turquie, où il établit des liens avec la communauté juive et avec les leaders du mouvement travailliste juif local. En 1910, lui, Rachel Yanait et quelques autres fondent le premier périodique socialiste en hébreu d’Eretz Israël – Ahdut (unité).
Dès le début de la première guerre mondiale, Ben-Zvi et David Ben Gourion sont déportés. Tous deux se fraient un chemin vers New York où, en 1915, ils fondent le mouvement HeHaloutz en Amériques, dont ils établissent de nombreuses branches dans différentes villes. En 1918, ils retournent en Palestine en tant que soldats de la légion juive dans les Fusilliers britanniques.
En 1919, Ben Zvi est élu au comité central du parti Ahdut Ha’avodah et un an plus tard secrétaire de la Histadrout – la fédération générale du travail en Eretz Israël. Avec l’établissement du Va’ad Leumi (comité national) en 1920, il est élu à sa direction, au début en tant que membre puis, en 1931, en tant que directeur puis en tant que Président en 1945.
Depuis 1920, l’année au cours de laquelle la Haganah a été fondée, Ben-Zvi était l’une des figures les plus prédominantes de l’organisation d’auto-défense du Yishouv. Son fils Eli, membre d’un kibboutz, a été tué pendant la guerre d’Indépendance.
Après l’établissement de l’Etat d’Israël, Ben-Zvi est élu à la première et seconde Knesset en tant que membre du Mapaï (1949 et 1952).
A la mort du Président Chaim Weizmann, Ben Zvi est élu Président de l’Etat en 1952. Les membres de la Knesset le réélisent pour cet office en 1957 et 1962. Il meurt le 23 avril 1963.
Ben-Zvi a été à la tête de l’Institut pour l’étude des Communauté juives orientales du Proche-Orient, qu’il avait fondé en 1948, et qui a plus tard pris le nom de Institut Ben-Zvi. Ses travaux de recherche étaient centrés principalement sur les communautés et les sectes, la géographie de la Terre d’Israël, ses populations anciennes, ses antiquités et ses traditions.