-

もちろん違います。「会話力だけ伸ばしたいから」と会話だけをするのは良くないです。
会話を伸ばすにも、ベースとなる文法の力がある程度は必要になります。加えて、単語ももちろん知っていかないといけません。知らない単語が出てきたら、その都度補い、知っている単語をどんどん増やしていきましょう。そうして語彙力をつけ、それを会話につなげていけば、調べものをする回数も徐々に減っていくでしょう。
会話をしたり、ネイティヴ会話のナチュラルスピードを聞いたりして耳が英語に慣れても、それを理解するプロセスはどうしても頭の中に必要です。これは車の両輪のように、座学と会話、それぞれが相互作用するものなのです。