ヘッダー(header.php)には、wp_headというWordPressで最初から用意されている関数を設置して置いた方が良いとの記事を見かけ、早速設置！
設置して見ると色々とMETAタグが表示されました。
WordPressのバージョンによって、出力されるものが違うようです。
自分のバージョンでは、他のサイトで紹介している程は量がなく
取りあえず以下のものをfunctionhs.phpに記述し削除しました。
削除するには、functionhs.phpにremove_action関数を利用して記述するだけで削除されます。
functions.php
//WordPressのバージョン情報を削除
remove_action('wp_head', 'wp_generator');
//外部ツールを使ったブログ更新用のURLを削除
remove_action('wp_head', 'rsd_link');
//Windows Live Writerを使った記事投稿URLを削除
remove_action('wp_head', 'wlwmanifest_link');