アスペルガー症候群の子どもは、時間の感覚にも特異性がみられ、過去と現在と未来がつながっており、時間の流れがあるのだということがうまく理解できないことがあります。これは、記憶にかかわる脳の辺縁系と呼ばれる部位の働きが通常とは異なっているために生じる感覚と考えられています。

たとえば、廊下ですれ違っただけの子をひどくにらみつけたので、「なぜ、そんなことをするのか」と聞くと、「1か月前にその子からにらまれたから」といった答えが返ってくるケースがあります。1か月前や1年前、もっと昔の記憶が鮮明に残っていて、ある瞬間に、いま目の前で起こっているかのように鮮明によみがえってくることがあるのです（「タイムスリップ現象」ともいう）。

なかには、ずっと前に遭遇した不快な出来事が急に思い出されて、パニックになってしまうこともあります。こうした現象は、周囲の人には非常に理解しにくい特性といえるでしょう。