MariaDBにMroongaを入れてWikipediaのテストデータ使う

Posted by on 2014年6月18日

全文検索のテストをしたくなったので個人的なメモ程度に。
ちなみにCentOS6.5で作業しています。

1.MariaDBをインストール
yumで入れたかったのでリポジトリを追加してインストール
リポジトリの追加はこちらを参照で

2.Mroongaのインストール
Mroongaの前にMecabとGroongaも入れておいてください。
単純にソース落としてコンパイルするだけ！と思ったらまったくもって上手くいかない
ヘッダーファイルだけじゃダメなのかとMariaDBのソースを落としてもmakeが通らず
しょうがないのでMroongaで配布しているMariaDB+Mroongaのソースコードをmakeして
Mroongaのファイルだけコピーして回避・・・最悪ですね。

3.Wikipediaデータのインサート
　3-1.Wikipediaのデータを落とす
　


　wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
　


　3-2.xml2sqlをインストール
　http://meta.wikimedia.org/wiki/Xml2sql#install
　3-3.xml2sqlでインポート用のファイルを作る
　xml2sqlでエラーになる要素が結構あるようなのでsedで消してあげます


　bunzip2 -c jawiki-latest-pages-articles.xml.bz2 | sed -e 's/.*<\/ns>\|\|.*<\/sha1>\|\|.*<\/parentid>\|\|.*<\/model>\|\|.*<\/format>\|\|.*<\/redirect>\|//' | xml2sql
　

　3-4.テーブルを作る
　


　CREATE TABLE `text` (
  `old_id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `old_text` longtext NOT NULL,
  `old_flags` tinyblob NOT NULL,
  PRIMARY KEY (`old_id`),
  FULLTEXT KEY `old_text` (`old_text`)
) ENGINE=mroonga DEFAULT CHARSET=utf8
　

　3-5.データのインポート
　　


　mysqlimport -u root -p wikipedia -L text.txt
　　

　　
4.Let's検索

テクニック

Comments are closed.