Web2.0ナビ: アクセスログと2Gの壁

ここ最近頻繁にApacheのアクセスログが落ちることが多く、原因を調査していると、「それは2Gの壁ですね。」との指摘を頂く。

Linuxには「2Gの壁」なるものが存在するらしく、lseek() などファイル内の読み出し位置を移動する関数に与える値の型に、signed long型 (2の31乗-1=2147483647)が使われており、この値が壁となっているとのこと。

基本的にLinux側は壁に対応しているが、Linux上にのるアプリケーション（今回ならばApacheのrotatelogs?）が対応していないと、こういった現象に陥る。

私のサーバーの場合も、毎日ログローテーションしているものの、ほぼ毎日アクセスログが2G以上となったために、エラーとなっていたようです。

そこで、ログローテーション処理を毎日じゃなく、毎時に変更してから、問題は収まった。

前：CustomLog "|/usr/sbin/rotatelogs /var/log/httpd/access_log_log_%Y%m%d 86400 540" combined

今：CustomLog "|/usr/sbin/rotatelogs /var/log/httpd/access_log_log_%Y%m%d_$H 3600 540" combined

アクセス集計にvisitorsを使っているため、分割したログを以下のようにして、1日分を1つにまとめているんですが、visitors側が結局2G以上のファイルを扱えないようで。。

#!/bin/sh
TODAY=`date +'%Y%m%d' --date '1 days ago'`
LOG_FILE=/etc/httpd/logs/access_log_$TODAY
TIME=0

while [ $TIME != 24 ]
do

if [ $TIME -lt 10 ]
then
TIME=0$TIME
fi

if [ -e $LOG_FILE\_$TIME ]
then
cat $LOG_FILE\_$TIME >> $LOG_FILE
rm -f $LOG_FILE\_$TIME
fi

TIME=`expr $TIME + 1`

done

exit 0
fi

visitorsを使うのをやめるか、Apacheのアクセスログから不要な（gif/css/jpg/js）ファイルをログに出さないようにして凌ぐか・・・。アクセス傾向が知りたいだけなので、理想は3回に1回のリクエストしかログを出さないようにできれば、いいんですが・・・。

コメントを投稿

名前:

メールアドレス:

URL:

この情報を登録しますか?

コメント:

yosukeのプロフィール

インターネット大好き。（ネット）サーフィンやウェブサービス作成も好き。MixClipsやAddClipsなどいろんなサービスを鋭意作成中../ このブログは2005年に勢いで作成。web2.0(笑)ナビへ名称変更検討中。。（詳しく）

執筆本

Web2.0入門書を執筆しました。

WwwSqlDesingerについて記事入稿しました。

参考になりました。有難う御座います。

投稿者: fx | 2008年04月03日 17:51

お客さんたちも大好評です：
いい物がたくさんありますので、気に入ってます！
販売(LOUIS VUITTON)、(CHANEL)、(GUCCI)、(HERMES)、(COACH)
◆スタイルが多い、品質がよい、価格が低い！
◆当社の商品は絶対の自信が御座います。
↓↓↓
■○○HP： http://www.aaa-brand.com

投稿者: AAA-brand | 2009年12月26日 15:11

偽ブランド(コピーブランド)激安市場
偽ブランド(コピーブランド)激安市場 www.aaa-brand.com
ルイヴィトン、シャネル、グッチ、エルメス、クロエ、ブルガリ、ドルチェ&ガッバ―ナ、ボッテガ・ヴェネタ、
chloe、ブラダのブランド財布偽物(財布コピー)、ブランドバッグ偽物(バッグコピー)の通販。
━…━…━…━…━…━…━…━…━…━…━…
ロレックス、ルイヴィトン、ブルガリ、フランク・ミュラー、シャネル、
カルティエ、IWCのブランド時計偽物(時計コピー)の通販。
━…━…━…━…━…━…━…━…━…━…━…
各種ブランド指輪、ブランドネックレス、ブランドベルトのブランド偽物(ブランドコピー)商品の販売。
━…━…━…━…━…━…━…━…━…━…━…
ルイヴィトン、シャネル、グッチ、コーチ、ブラダ、D&G、クリスチャン・ディオール、

フェンディ、ポリス、レイバン、ヴェルサーチのブランドサングラス偽物(サングラスコピー)の販売。
http://www.aaa-brand.com/List.asp?cid=65

投稿者: AAA-brand | 2010年03月12日 12:57