Опять же правильнее сказать, что не люди сбивают меня, а я теряюсь под их напором. И это говорит не об их надоедливости/вреде, а о моей неспособности сосредотачиваться на своем и прокладывать путь даже в такой суматохе (очень не люблю это слово).