MariaDBにMroongaを入れてWikipediaのテストデータ使う


全文検索のテストをしたくなったので個人的なメモ程度に。
ちなみにCentOS6.5で作業しています。

1.MariaDBをインストール
yumで入れたかったのでリポジトリを追加してインストール
リポジトリの追加はこちらを参照で

2.Mroongaのインストール
Mroongaの前にMecabGroongaも入れておいてください。
単純にソース落としてコンパイルするだけ!と思ったらまったくもって上手くいかない
ヘッダーファイルだけじゃダメなのかとMariaDBのソースを落としてもmakeが通らず
しょうがないのでMroongaで配布しているMariaDB+Mroongaのソースコードをmakeして
Mroongaのファイルだけコピーして回避・・・最悪ですね。

3.Wikipediaデータのインサート
 3-1.Wikipediaのデータを落とす
 


 wget http://download.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
 


 3-2.xml2sqlをインストール
 http://meta.wikimedia.org/wiki/Xml2sql#install
 3-3.xml2sqlでインポート用のファイルを作る
 xml2sqlでエラーになる要素が結構あるようなのでsedで消してあげます


 bunzip2 -c jawiki-latest-pages-articles.xml.bz2 | sed -e 's/.*<\/ns>\|\|.*<\/sha1>\|\|.*<\/parentid>\|\|.*<\/model>\|\|.*<\/format>\|\|.*<\/redirect>\|//' | xml2sql
 

 3-4.テーブルを作る
 


 CREATE TABLE `text` (
  `old_id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `old_text` longtext NOT NULL,
  `old_flags` tinyblob NOT NULL,
  PRIMARY KEY (`old_id`),
  FULLTEXT KEY `old_text` (`old_text`)
) ENGINE=mroonga DEFAULT CHARSET=utf8
 

 3-5.データのインポート
  


 mysqlimport -u root -p wikipedia -L text.txt
  

  
4.Let's検索

Leave a Comment


NOTE - You can use these HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>