aa Main_Page 4 0
aa Wikipedia 1 0
aa Wikipedia:Statistics 1 0
aa.b Main_Page 1 0
aa.d Main_Page 4 0
aa.m Main_Page 1 0
ab - 3 0
ab 1025 1 0
ab 1036 1 0
ab 1121 1 0
ab 1146 1 0
ab 1148 2 0
ab 1177 2 0
ab 1261 1 0
ab 1267 1 0
ab 1791 1 0
ab 1795 1 0
ab 1886 1 0
ab 1913 1 0
ab 1919 1 0
ab 1989 1 0
ab 338 1 0
ab 589 1 0
ab 984 1 0
ab Авикипедиа 1 0
ab Авикипедиа:Афорум 12 0
...

値の間はスペース区切りで、スクロールしても下まで辿り着くのが大変なくらいの行数のアクセスログについてのデータが書いてあります。

2. Wikipedia ログ解析システムでできること

できることは以下の二つです。

2-1. 最もビュー数の多いページの表示

最もビュー数の多い記事を、指定した記事数分だけビュー数が多い順にソートし、ドメインコードとページタイトル、ビュー数を表示する

（例）コマンドライン上で2記事と指定した場合、下記を表示する

”en”, “Main_Page”, 120
”en”, ”Wikipedia:Umnyango_wamgwamanda”, 112

2-2. ドメインコードの人気順の表示

指定したドメインコードに対して、人気順にソートし、ドメインコード名と合計ビュー数を表示する

（例）コマンドライン上で「en de」と指定した場合、下記を表示する

”en”, 10700
”de”, 5300

3. プログラムを使う準備

以下、プログラムを使う準備の手順です。

3-1. Docker コンテナの準備

Docker コンテナを生成・起動します。

# Docker コンテナの生成
docker compose build

# Docker コンテナの起動
docker compose up -d

3-2. DBのテーブル作成

DBのテーブル作成します。

docker compose exec app php databases/initialize_page_views_table.php

3-3. データのダウンロード

Wikipedia のアクセスログのデータは下記URLからダウンロードします。

dumps.wikimedia.org

ダウンロードしたファイルは解凍した状態で、 databases ディレクトリに移動します。

ファイル名は、 page_views に変更します。（インポートの際にテーブル名と揃えておく必要があります）

3-4. データのインポート

Docker の db コンテナの MySQL に、root ユーザーでログインします。

docker compose exec db mysql -p

実行するとパスワードを聞かれるので、 root ユーザーのパスワード pass を入力します。

下記 SQL を実行して、 local-infile を ON に設定します。

mysql> SET GLOBAL local_infile=ON;

GRANT 構文で、ユーザー権限を SUPER に指定します。

mysql> GRANT SUPER ON *.* To test_user@'%';

mysql> quit

テキストファイルから MySQL のテーブルへのデータインポートします。

docker compose exec app mysqlimport -h db -u test_user -p -d --fields-terminated-by=' ' --local test_database databases/page_views

実行するとパスワードを聞かれるので、 test_user のパスワード pass を入力します。

4. プログラムの使い方

「2. Wikipedia ログ解析システムでできること」の「2-1. 最もビュー数の多いページの表示」「2-2. ドメインコードの人気順の表示」の使い方についてです。

4-1. 最もビュー数の多いページの表示

最もビュー数の多い記事を、指定した記事数分だけビュー数が多い順にソートし、ドメインコードとページタイトル、ビュー数を表示する

下記コマンドを実行します。

docker compose exec app php most_viewed_pages.php 20

most_viewed_pages.php の後に半角スペースを開けて、指定するページ数を入力します。

# r_yamate @ mbp in ~/Documents/code/wikipedia-log-analysis-tool on git:feature/create-program x [7:25:16]
$ docker compose exec app php most_viewed_pages.php 20
"en.m", "Main_Page", 122058
"en", "Main_Page", 69181
"en", "Special:Search", 26630
"de", "Wikipedia:Hauptseite", 20739
"en.m", "Special:Search", 19119
"ja", "メインページ", 18475
"es.m", "Wikipedia:Portada", 15335
"es", "Wikipedia:Portada", 15261
"fr", "Wikipédia:Accueil_principal", 14744
"thankyou", "Thank_You/en", 13449
"ru", "Заглавная_страница", 13336
"en", "Lotfi_A._Zadeh", 12864
"it", "Pagina_principale", 12731
"zh", "Wikipedia:首页", 10782
"pt", "Wikipédia:Página_principal", 10485
"de.m", "Wikipedia:Hauptseite", 10386
"ja.m", "メインページ", 9421
"en", "Bible", 9024
"fr.m", "Wikipédia:Accueil_principal", 8705
"en", "-", 7227

4-2. ドメインコードの人気順の表示

指定したドメインコードに対して、人気順にソートし、ドメインコード名と合計ビュー数を表示する

下記コマンドを実行します。

docker compose exec app php popular_domain_codes.php en de ja

popular_domain_codes.php の後に半角スペースを開けて、指定するドメインコードを 2 つ以上入力します。

# r_yamate @ mbp in ~/Documents/code/wikipedia-log-analysis-tool on git:feature/create-program x [7:35:12] C:16
$ docker compose exec app php popular_domain_codes.php en de ja
"en", 3556081
"ja", 367924
"de", 284178

5. 停止の方法

Docker コンテナを停止します。

docker compose stop

おわりに

今回は「独学エンジニアの課題として、ログ解析システムを作った。」というタイトルで、課題の製作物完成までの道のり Step1 として、 製作物の確認 をしました。

次回は、 Step2. DBのテーブル作成 について投稿します。

ありがとうございました。

Qiitan のぬいぐるみもらうために、今日からの25日間、毎日1記事投稿します。https://t.co/UDFWJmGm8K
— やまて｜Webエンジニア2年目 (@r_yamate) 2022年11月30日

一人で 25 記事を投稿するアドベントカレンダーもやっております。

転職したらスマレジだった件

スマレジのエンジニアやまてのテックブログです。マジレス大歓迎です。

独学エンジニアの課題として、ログ解析システムを作った。 Step1. 製作物の確認

はじめに

目的

概要

目次

環境

1. Wikipedia のアクセスログのデータについて

1-1. データのダウンロード

1-2. データ形式