首页 > php文件操作 > php中读取大文件实现方法详解

php中读取大文件实现方法详解

需求如下,现有一个1G左右的日志文件,大约有500多万行,用php返回最后几行的内容.

实现方法:

1. 直接采用file函数来操作

注:由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的memory_limit = 16M来进行设置,这个值如果设置-1,则内存使用量不受限制.

下面是一段用file来取出这个文件最后一行的代码,整个代码执行完成耗时 116.9613 (s),代码如下:

ini_set('memory_limit','-1'); 
$file = 'nginx.log'; 
$data = file($file);
$line = $data[count($data)-1]; 
var_dump($line);
echo "<br/>";

我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了.

2.直接调用linux的tail命令来显示最后几行

在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用php来调用tail命令,执行php代码如下.整个代码执行完成耗时 0.0034 (s),代码如下:

$file = 'nginx.log';
//对命令行参数进行安全转义 
$file = escapeshellarg($file);
$line = `tail -n 1 $file`; 
var_dump($line);
echo "<br/>";

3.直接使用php的fseek来进行文件操作

这种方式是最为普遍的方式,它不需要将文件的内容全部读入内存,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作,代码如下:

$filepath = 'nginx.log';
var_dump(FileLastLines($filepath, 3));
echo "<br/>";
/**
 * 工具函数,读取文件最后$n行
 * @param   string      $filepath 文件的路径
 * @param   int         $n 文件的行数
 * @return  string
 */
function FileLastLines($filename, $n = 1)
{
    if(!$fp = fopen($filename, 'r'))
    {
        return false;
    }
    $pos = -2;
    $eof = '';
    $str = '';
    while ($n > 0)
    {
        while ($eof != "\n")
        {
            if (!fseek($fp, $pos, SEEK_END))
            {
                $eof = fgetc($fp);
                $pos--;
            } else {
                break;
            }
        }
        $str.= fgets($fp);
        $eof = '';
        $n--;
    }
    return $str;
}

使用PHP读取日志有以下几种方法:

1. 直接采用file函数来操作,遇到大文件日志直接卡死,不推荐。

2.直接调用linux的tail命令来显示最后几行,windows下返回NULL,效率很高但是执行shell命令不安全且兼容性不好。

3.直接使用php的fseek来进行文件操作,效率较高,推荐。

第三种方法读取日志来自于https://github.com/shuiguang/workerman-crontab/blob/master/Applications/Crontab/Lib/functions.php

使用js定时请求php,读取日志的最后几行然后返回给前端以实现监控,不过该functions.php中FileLastLines存在bug,比如读取最后一行失败,而且使用数组记录要读取的行比较浪费内存。

本文使用字符串拼接方式进行修改,且读取最后一个行无bug。


文章网址:http://www.phprm.com/wenjian/fs4887.html

随意转载^^但请附上教程地址。

标签:php文件 php读取大文件

相关文章

发表留言