Von seinen frühen Jahren an zeigte Karelitz ungewöhnliches Talent; er widmete sein Leben dem Torastudium, war aber auch in verschiedenen Wissenschaften wie Astronomie, Anatomie, Mathematik und Botanik versiert. 1911 publizierte er in Wilna seine erste Arbeit über Orach Chayim und andere Teile des Schulchan Aruch anonym unter dem Titel Chazon Ish („Visionär“, der Name, unter dem er bekannt wurde). Er ging nach Wien und näherte sich dort Rabbi Chaim Ozer Grodzinski, ging später in das britische Mandatsgebiet Palästina, wo er sich in Bnei Brak niederließ. Auch nach seiner Heirat studierte er Tag und Nacht den Talmud; er hatte keine Kinder, seine Frau sorgte für den Lebensunterhalt.
Sein Haus in Bnei Brak wurde von Tausenden aufgesucht, die seinen Rat brauchten oder einfach durch seine Gegenwart inspiriert und getröstet wurden. Obwohl er keine offizielle Funktion innehatte, galt er dennoch in jüdischen Fragen als große Autorität; auch David Ben-Gurion hatte ihn einmal besucht und zu religiösen Themen befragt (zur Frage des Dienstes junger Frauen in der israelischen Armee). Karelitz gehörte keiner bestimmten Richtung innerhalb des charedischen Judentums an und wurde dennoch von Anhängern verschiedener Strömungen sehr geschätzt. In vielen israelischen Städten sind Straßen nach ihm benannt.
Karelitz schrieb mehr als 40 Bücher über religiöse Themen in Hebräisch, in einem klaren und unkomplizierten Stil. Nach seiner Übersiedlung nach Israel wurde er für alles, was jüdisches Gesetz und Leben betraf, zur Autorität. Obwohl er kein Oberhaupt einer Jeschiwa war, hatte er einen starken Einfluss auf religiöses Leben und Institutionen.
Obwohl er ein Gelehrter war, widmete er sich auch praktischen Problemen. Er dachte über die Benutzung von Melkmaschinen am Schabbat nach oder über die Kultivierung von Wassersetzlingen während des Sabbatjahres, wenn in Eretz Israel kein Boden bebaut werden darf etc.
