Родители Мистер, Конни и Дуг входили в группу которая занималась контрабандой марихуаны из Ямайки в США.Они оба были арестованы за участие в контрабандной деятельности. До начала суда они были освобождены под залог, в это время мать Лейтон забеременела. Позже она была осуждены на десять лет в тюрьме штата Техас, где она провела бо́льшую часть беременности.Лейтон родилась в больнице Техаса, куда её мать была доставлена во время схваток. Через три месяца после родов мать вернулась в тюрьму, чтобы продолжить отбывать свой срок. Пробыв в тюрьме шестнадцать месяцев, она была досрочно освобождена и стала жить вместе с дочерью. Когда Лейтон было 11, она переехала со своей тетей в Нью-Йорк, и начала работать в качестве модели в "Wilhelmina", затем она работала с фотографом Софией Коппола. У Мистер есть младший брат Лекс.
В 2002 году брат Лейтон Мистер, Дуглас Мистер, будучи студентом-второкурсником Академии ВВС США был обвинен в изнасиловании первокурсницы.