Разговорный язык беднее литературного, только в этом дело. И лексики меньше, и синтаксис проще. Соответственно, половина слов забываются... Перенимаешь вредные привычки...

Хотя разговорный язык даёт много другого, жизнь, её дыхание! :) Меня, напр., завораживают интонации, особенно подростков, спортсменов...