Орландо Блум родился 13 января 1977 года в Кентербери, графство Кент, Великобритания. Его мать Соня занималась бизнесом, управляла языковой школой для иностранных студентов, а также увлекалась писательством. Его отец, Гарри Блум, еврей, был родом из ЮАР и работал профессором права в Университете Кента. Ранее он вёл борьбу против апартеида в ЮАР, был одним из адвокатов Нельсона Манделы. Впоследствии Гарри Блум написал несколько книг о расовой сегрегации в ЮАР, за что преследовался южноафриканским правительством и в 1963 году был вынужден эмигрировать в Великобританию.
В возрасте четырёх лет Орландо лишился отца, и воспитание мальчика и его старшей сестры Саманты легло на плечи матери и близкого друга семьи Блумов, Колина Стоуна, назначенного их опекуном. Позднее, когда Орландо было тринадцать лет, мать призналась ему, что именно Стоун является на самом деле его биологическим отцом. Соня прививала детям любовь к искусству с ранних лет, и потому Орландо рано проявил склонность к языкам, фотографии и театру. Кроме того в юности он увлекался лошадьми и был неплохим всадником, что впоследствии пригодилось в его кинокарьере.