旧サイトを非公開にしました noindexとrobots.txtのDisallow: /について

シェアする

  • このエントリーをはてなブックマークに追加

DCHcSKXUwAAOqek.jpg

5月26日に髭林ダイナマイトスタジオを、無料ブログから独自ドメインに移転させましたが、未だに旧サイトの方にアクセスがそこそこあるので(1日30UUほど)、思い切って非公開にしました。

人気ブログの作り方: 5ヶ月で月45万PVを突破したブログ運営術

検索エンジンがサイトをインデックスしないようにする

旧サイトの方は無料版レンタルWordPressを使っているのだが、サイト移転に伴い、表示設定というところから、『検索エンジンがサイトをインデックスしないようにする』にチェックを入れた。

すると、その日にアクセスはガタッと下がり、その後数日ずっと下がっていっていたのだが、ここ数週間、アクセスは低い状態で浮き沈みしている。

外部からの記事へのリンクもさほどないし、早くアクセスが10UU/日を切ってほしいのだが、何かがおかしいのか、下がりきりそうにない。

重複コンテンツと判断される

ずっと削除されずに残っていると、移転した新ブログの記事の重複コンテンツと判断され、後に作成された新ブログの方の記事が検索結果に乗らなくなり、最悪の場合ペナルティを受けてしまう。

noindexとrobots.txtのDisallow: /

『検索エンジンがサイトをインデックスしないようにする』

という設定にして約2週間ほどだが、やはり無料ブログなので、Google Search Consoleにも登録できず、クローラーが来ていないようで、なかなか検索結果から削除されない。

どうやら、『検索エンジンがサイトをインデックスしないようにする』

という設定にすると、まずHTMLにnoindex followというmetaタグが追加され、robots.txtにDisallow: /と記述される。

調べてみると、どうやらこれが問題の可能性があるらしい。

noindexは、このページを検索結果から削除してくれ、という命令なので、問題ないのだが、そこにさらにrobots.txrにDisallow: /と記述されてしまうと、Googleクローラーがページにアクセスした瞬間にいなくなり、noindexタグを読んでくれないらしい。

そうなると、すでにインデックスされているページのnoindexをクローラーは読み込まず、検索結果に残り続けるということになる。

robots.txrにDisallow: /と記述するのは、クローラーが門前払いになってHTMLを読み込まないということなので、新しく投稿する記事にはいいが、今までの記事をnoindexしたいときには逆効果となる。

記事名などで検索すると、未だに旧サイトの記事が大量にインデックスされている。

もし上記のことが原因だとすると、無料レンタル版WordPressの設定は糞だ。

サイトを非公開に

いろいろ考えた結果、このままではまずいと思い、とりあえず非公開にした。

非公開にすることで、これから旧サイトにアクセスする人は記事を見られず、新サイトに飛ぶこともできなくなるが、仕方がない。

非公開にしてもrobots.txrにDisallow: /と記述されたままだが、記事の文章も読めなくなるので、新サイトの重複とは判断されず、旧のほうが次第に検索結果から消えていくんじゃないだろうか。

それとも、やはりHTMLは読み込まないとしたら意味が無いのだろうか。

サイト削除はしたくない

よくわからないが、非公開でもだめとなるとサイトを削除するしかなくなる。

一応、これまでのアクセス解析情報やドメインパワーを残しておきたいので、削除はしたくないと思っている。

とにかく早いところ旧サイトの記事が一つ残らず検索結果から消えてほしいものだ。

そうならないと、この新サイトの記事が検索結果に上がってこない。

とにかく無料ブログは糞

本当に今回の移転で、無料ブログがいかに糞かわかった。

せめてGoogle サーチコンソールにさえ登録できれば、一挙にクロール申請をし、noindexを読み取ってもらい、検索結果から削除してもらえるのだが。

無料レンタル版WordPressは特に糞

無料レンタル版WordPressでは3000円くらいする有料オプションに申請しないと、サーチコンソールに登録することもできないので、ひたすらクローラーが来ることを待つことになる。

上記の設定で、robots.txtにDisallow: /と記述されるのも糞だ。

FC2やSeesaaブログならサイトのHTMLを編集できるので、Googleアナリティクスやサーチコンソールに登録できるのだろうが、無料レンタル版WordPressはそれさえもできない。

レンタルサーバーと独自ドメインを使ってインストールするWordPressは神だが、とにかく無料レンタル版のWordPressは糞だ。

さいごに

とりあえず非公開にして一週間ほど様子を見てみて、まだ検索結果に残っているようなら、思い切ってサイトを削除しようかとも考えている。

そうすることで、無料ブログとは言え3年間蓄積してきたドメインパワーと、これまでのアクセス解析情報は消えるが、仕方がない。

とにかくさっさと新ブログに完全移転したいのだ。

まぁそんな感じです。

こんなところでどうでしょうか。

ちなみに、記事数900件突破記事には書き忘れましたが、移転時点での、旧サイトの記事数は893件でした。

ツイート

旧サイトのURL

人気ブログの作り方: 5ヶ月で月45万PVを突破したブログ運営術

認められたい欲望と過剰な自分語り―そして居合わせた他者・過去とともにある私へ

髭林ダイナマイトスタジオをついに無料ブログから独自ドメインに移転させました
けっこう前から、独自ドメインに移転したいと記事に書いていた気がしますが、今回ついに、無料版WordPressから、独自ドメインのWo...

シェアする

  • このエントリーをはてなブックマークに追加