Archive for the ‘access_log’ tag
Traffic pro eingeloggtem User herausfinden
Den Traffic einer ganzen Seite herauszufinden ist nicht sonderlich schwer in Zeiten von awstats, webalizer und diversen anderen Apache-Log-Analyzern.
Doch ich wollte damals bei meinem eigenen Browsergame den Traffic pro eingeloggtem User messen. Idee war damals, den „Free Accounts“ 100MB pro Monat zu schenken, falls mehr benötigt wird, muss ein Premium-Account her.
Doch wie stellt man das an? Das Apache-Log hilft nicht wirklich, denn dort kann man nicht die einzelnen (eingeloggten) User unterscheiden. Ich habe damals 3 Lösungen gefunden:
- mit dem Output Buffer von PHP arbeiten, Stringlänge bestimmen und mitloggen, dann Seite an den Browser schicken
- Irgendwie die IP-Adressen des Users merken, und dann das Apache-Log durchparsen und rechnen.
- die Apache-Extension mod_log_sql
Möglichkeit 1 sieht dann ungefähr so aus:
<?php ob_start(); // some html content here $trafficbytes = strlen(ob_get_flush()); // insert traffic into database ?>
Habe es nie ausführlich getestet, aber ich denke es ist langsam (da das HTML erst am Ende geflushed wird anstatt zwischendurch schon Häppchen zu verschicken). Außerdem muß man sich noch um Bilder kümmern, denn die sollen ja auch mitgezählt werden. Dazu würde ich eine Rewrite-Rule empfehlen, die bei jedem Bildrequest noch schnell ein php-Script ausführt. Auch das beeinflusst natürlich die Performance des Besuchers und des Webservers.
Die zweite Möglichkeit ist nicht ganz einfach umzusetzen. Die IP-Adresse allein ist nicht sonderlich aussagekräftig, einen Benutzer damit zu verfolgen recht aufwändig. In Zeiten von Proxies (Grüße an AOL), Neueinwahl bei DSL, mehrere Benutzer hinter einem Heimrouter etc reicht das nicht aus, um darüber den Benutzer zu bestimmen, gerade wenn Bruder und Schwester gemeinsam über eine Leitung im Internet sind usw.
Die dritte Alternative ist das Apache-Modul, welches ich dann auch genutzt habe: mod_log_sql. Dieses bindet man einfach in die entsprechene Apache-Config ein, und schon wird ein zusätzliches Log erzeugt, nämlich in der Datenbank. Dies kann man entweder für alle Seiten tun, oder nur für bestimmte VirtualHosts. Welche Spalten dort gefüllt werden sollen, in welcher Reihenfolge und mit welchen Daten, konfiguriert man in der apache-Config. Hier eine Beispielkonfiguration (hier für Linux, für Windows sieht es ähnlich aus: .dll statt .so usw.):
LoadModule log_sql_module modules/mod_log_sql.so LoadModule log_sql_mysql_module modules/mod_log_sql_mysql.so LogSQLLoginInfo mysqli://apacheloguser:apachelogpwd@localhost/apachelogdb LogSQLCreateTables On LogSQLMachineID mylocalmaschine LogSQLTransferLogFormat AbHIhMmpRSstTUuvz LogSQLTransferLogTable ztraffic_access_log #LogSQLNotesLogTable ztraffic_notes LogSQLCookieLogTable ztraffic_cookies #LogSQLHeadersInLogTable ztraffic_headers_in #LogSQLHeadersOutLogTable ztraffic_headers_out LogSQLWhichCookies UserID # hier könnten noch mehr Cookies stehen
Man kann alternativ zur eigenen Cookie-Tabelle auch ein bestimmtes Cookie mit ‚c‘ und „LogSQLWhichCookie“ in die access_log schrieben lassen. Hier eine Liste der Informationen, die man speichern kann.
Damit das Modul funktioniert, muß man noch das Modul „unique“ aktivieren, entweder per
a2enmod unique_id
oder via Einkommentieren von
LoadModule unique_id_module modules/mod_unique_id.so
Apache reload. Wenn man danach eine Seite besucht, liest man folgendes im apache error log:
[Tue Sep 01 19:59:46 2009] [notice] mod_log_sql: child established database connection [Tue Sep 01 19:59:46 2009] [error] mysql_query returned (1) [Tue Sep 01 19:59:46 2009] [error] table does not exist, preserving query [Tue Sep 01 19:59:46 2009] [error] table doesn't exist...creating now [Tue Sep 01 19:59:47 2009] [error] tables successfully created - retrying query [Tue Sep 01 19:59:47 2009] [notice] query successful after table creation
Die Tabelle wurde also erfolgreich angelegt. Das Ergebnis sieht dann so aus:
Der Inhalt der Tabelle (nur 1 Zeile):
Wäre dieser Test-Request kein 304er (Not Modified), hätten wir bei „bytes_sent“ auch eine Traffic-Angabe.
Mit Hilfe der Cookie-Tabelle können wir dann zB einmal täglich den Traffic jeden Users berechnen und in die entsprechende User-Tabelle füllen. Die Log-Tabelle sollte man dann wieder aufräumen und nicht länger benötigte Zeilen löschen.
Übrigens ist das Modul nur für Linux supported. Unter Windows kann man es zwar auch kompilieren, das ist aber mehr hohem Aufwand verbunden. Ich habe damals (2004) durch Zufall eine kompilierte Version gefunden. Die ist aber heute nicht mehr brauchbar, da sie für eine sehr alte Apache-Version kompiliert wurde.
Wenn ihr Fragen habt, fragt! Oder wenn ihr evtl. bessere Lösungen kenn, her damit! Oder was könnte man noch alles anstellen mit diesen Apache-Logs in einer Datenbank?
—————————————————-
Weitere interessante Links zum Thema:
