Das Orchester wurde im Jahr 1936 von dem polnischen Geiger Bronisław Huberman unter dem Namen Palästinensisches Symphonisches Orchester (הַתִּזְמֹרֶת הַסִּימְפוֹנִית הָאֶרֶץ יִשְׂרָאֵלִית ha-Tizmoret ha-Sīmfōnīt ha-Erez Jisra'elīt, englisch Palestine Symphony Orchestra) gegründet. Die ersten Mitglieder des Orchesters waren 75 Musiker, die aus Osteuropa in das von Großbritannien regierte Palästina gekommen waren. Der erste Dirigent des Orchesters war der ursprünglich aus Deutschland stammende William Steinberg. Nach der Unabhängigkeitserklärung des Staates Israel 1948 änderte das Orchester seinen Namen in Israel Philharmonic Orchestra.
