由于数据库巨大, 最近的全备是一年多以前的了, 从里面还原出来进行恢复, 才发现丢了一年前的一两个归档日志, 因此束手无策, 来咨询我怎么办, 其实已经没有捷径可走了. 这个问题的背后从小处看却是归档日志管理的问题, 理论上大家都知道应当去定期检查, 但事实上能照着做的人很少.

    最近我自已也有两个和归档日志有关的问题, 还好年前用智能化角本来管理归档日志了, 才避免了Standby的重建工作. 第一次在节前业务高峰, 远程Standby的存贮设备太差了, 恢复跟不上, 积累了上TB的归档日志, 如果用原来的归档清除脚本, 早就不行了, 用了智能的脚本强行顶着, 最后撑到了现在跟上了, 要不又要重建几个TB的Standby了.

    第二次是过年中间远程备库的机器挂起了, 大家都回去过年了, 又是Standby就暂时不管了, 因为智能脚本中只会在Primary上删除已经在这个Standby上应用过的日志, 所以很多天的归档日志得以保留下来, 将机器重起一下后, 再传归档日志过去, 又一次避免了Standby的重建工作.

    也和很多企业, 没有充分认识到数据的作用, 没有给管理员一个简单一些的操作环境, 有关. 当然更重要的是DBA要有责任心, 然后才能细心认真地工作.

Relative Posts:

• 2008/07/06 -- 连错库误删100多张表 (9)
• 2007/06/02 -- MyLOG程序对于Drop类误操作恢复的作用 (0)
• 2009/04/26 -- 拯救数据, 拯救地球? (9)
• 2008/12/27 -- AUL并行扫描Extent (1)
• 2008/11/25 -- 指定保留多少GB的归档 (1)
• 2008/08/14 -- 一次被迫免费的恢复 (14)
• 2008/08/13 -- 小心看好你的数据 (5)
• 2008/08/01 -- 终极Oracle数据恢复工具 — AUL (8)
• 2008/05/12 -- Oracle不行再用AUL (7)
• 2008/04/17 -- Oracle DUL不行就用AUL (10)

#
# getLogSequenceBySize
#
sub getLogSequenceBySize
{
  my ($logseq, $szlimit) = @_;
  my ($dev,$ino,$mode,$nlink,$uid,$gid,$rdev,
      $size,$atime,$mtime,$ctime,$blksize,$blocks);
  my $totalsz = 0;
  my ($archive_log);

  $szlimit = 20 if (!defined($szlimit) or $szlimit < 20);

  while ($totalsz < $szlimit)
  {
      $archive_log = findLogBySequence($logseq);
      if (-e $archive_log)
      {
        ($dev,$ino,$mode,$nlink,$uid,$gid,$rdev,
            $size,$atime,$mtime,$ctime,$blksize,
            $blocks) = stat($archive_log);
        $totalsz = $totalsz + ($size/1024/1024/1024);
        $logseq –;
      }
      else
      {
        last;
      }
  }

  scalar $logseq;
}

    数据库越多, 这样的智能脚本越有发挥余地. 有时间整一个Windows上的Perl脚本版本, Windows上的Oracle还是很多的.

Relative Posts:

• 2008/11/25 -- 按Sequence查找归档日志 (0)
• 2008/11/20 -- 用Perl写Primary维护脚本 (1)
• 2008/11/15 -- 用Perl写Standby维护脚本 (1)
• 2009/07/08 -- 在Crontab中调度Perl程序 (2)
• 2009/06/25 -- oramon如何收集V$SYSTEM_EVENT数据? (3)
• 2009/06/25 -- oramon如何从V$SESSION收集性能数据? (0)
• 2009/06/24 -- oramon如何从V$SYSSTAT收集性能数据? (1)
• 2009/05/26 -- MySQL或Oracle, 是个问题? (7)
• 2009/05/21 -- 用oramon的数据进行报警 (3)
• 2009/04/05 -- 轻量级Oracle性能监控 (3)

#
# Get the full archived log name by sequence
#
sub findLogBySequence
{
    my ($logseq) = @_;
    my $logfile = “”;

    if (length($logfile) == 0)
    {
        # Foloowing logic is for Oracle 9i (sid_%t_%s.arc)
        $logfile = `find /data*/arch -follow -name *_${logseq}.* | head -1`;
        chomp($logfile);
        # Foloowing logic is for Oracle 10g (sid_%t_%s_%r.arc)
        if (length($logfile) == 0)
        {
          $logfile = `find /data*/arch -follow -name *_${logseq}_* | head -1`;
          chomp($logfile);
        }
    }

    scalar $logfile;
}

    如果要管理的归档日志很多, 可能要跑成百上千次find命令, 有些资源上的浪费, 可以好好优化一下, 一般来讲同类的归档肯定是放在一起的. 因此将上面的Perl程序优化如下:

my $logfmt = “???”;
#
# Get the full archived log name by sequence
#
sub findLogBySequence
{
    my ($logseq) = @_;
    my $logfile = “”;

    #
    # if archive log pattern is not null
    # get the archive log file from pattern
    #
    if ($logfmt ne “???”)
    {
        $logfile = $logfmt;
        $logfile =~ s/XXXXXX/${logseq}/g;
        if (! -e $logfile)
        {
          $logfile = “”;
          $logfmt = “???”;
        }
    }

    if (length($logfile) == 0)
    {
        # Foloowing logic is for Oracle 9i (sid_%t_%s.arc)
        $logfile = `find /data*/arch -follow -name *_${logseq}.* | head -1`;
        chomp($logfile);
        # Foloowing logic is for Oracle 10g (sid_%t_%s_%r.arc)
        if (length($logfile) == 0)
        {
          $logfile = `find /data*/arch -follow -name *_${logseq}_* | head -1`;
          chomp($logfile);
        }
    }

    # Store the archive log pattern
    if (length($logfile) and -e $logfile and $logfmt eq “???”)
    {
        $logfmt = $logfile;
        $logfmt =~ s/_${logseq}\./_XXXXXX\./;
        $logfmt =~ s/_${logseq}_/_XXXXXX_/;
    }
    scalar $logfile;
}

    有了高效的查找日志路径的算法, 就可以做更多智能的功能了, 如指定保留多少GB的归档.

Relative Posts:

• 2008/11/25 -- 指定保留多少GB的归档 (1)
• 2008/11/20 -- 用Perl写Primary维护脚本 (1)
• 2008/11/15 -- 用Perl写Standby维护脚本 (1)
• 2009/07/08 -- 在Crontab中调度Perl程序 (2)
• 2009/02/12 -- 准确获取AIX的网络流量 (0)
• 2008/12/04 -- Perl取Linux/Unix磁盘空间 (4)
• 2008/11/28 -- 用Perl进行TCP端口确认 (0)
• 2008/08/28 -- Perl AIX-Perfstat-0.03编程 (0)
• 2008/08/28 -- 安装Perl AIX-Perfstat-0.03 (1)
• 2007/08/22 -- Oracle需要手工启动, 无法自动启动 (4)

    1, 根据容量保存最新的日志, 如保存最新的200个归档. 2, 根据生成时间保存最新的日志, 如只删除一天以前产生的归档日志. 3, 只能删除已经在备库上应用过的归档日志, 以防止传输中出错, 最底要求是只能删除已经传送到一个或几个备库上的日志. 根据这三点要求来看, 你会发现目前没有好的现成的脚本来定期删除生产库上的归档日志, 所以我就自已写了一个, 可满足以上三个要求.

    根据上一篇Standby的脚本, 很容易写一个脚本来获得备库上已经应用过的日志的Sequence号, 然后在删除主库归档日志文件的脚本中, 通过ssh来调用.

sub getSSHStandbyLog
{
    my ($host,$sid) = @_;
    my $logseq = “???”;

    eval {
        local $SIG{ALRM} = sub { die “???\n” }; # NB: \n required
        alarm 10;
        $logseq = `ssh -n -a -q -o NumberOfPasswordPrompts=0 $host /home/oracle/admin/bin/getstandbylog.pl $sid`;
        alarm 0;
    };
    $logseq = “???” if ($@ eq “???\n”);
    $logseq = “???” if (length($logseq) == 0);
    chomp($logseq);

    scalar $logseq;
}

    然后到着查找到最小的归档日志, 再顺着删除, 就比较完全了. 昨天已经在一个库上用上了新脚本, 正在观察中.

Relative Posts:

• 2008/11/15 -- 用Perl写Standby维护脚本 (1)
• 2008/11/25 -- 指定保留多少GB的归档 (1)
• 2008/11/25 -- 按Sequence查找归档日志 (0)
• 2009/07/08 -- 在Crontab中调度Perl程序 (2)
• 2009/02/12 -- 准确获取AIX的网络流量 (0)
• 2008/12/04 -- Perl取Linux/Unix磁盘空间 (4)
• 2008/11/28 -- 用Perl进行TCP端口确认 (0)
• 2008/10/15 -- 用rawsync来做Standby (0)
• 2008/10/14 -- rawsync初步搞定 (1)
• 2008/09/27 -- Remote DD或Raw-rsync (3)

sub getLastRecoveredLog
{
    my ($alert_log_file) = @_;
    my $logseq = “???”;
    my $lastline = `tail -1000 ${alert_log_file} | grep “Media Recovery Log” | tail -1`;
    if (defined($lastline))
    {
        $lastline =~ s/.*\///g;
        my @cols = ($lastline =~ /\w+_\d?_(\d+)[\.|_]/);
        if (defined($cols[0]))
        {
            $logseq = $cols[0];
            $logseq = $logseq – 1;
        }
    }
    scalar $logseq;
}

    如要删除已经应用过的归档日志, 那么只需要再写一个根据Sequence查找归档日志位置的函数就行了.

sub findLogBySequence
{
    my ($logseq) = @_;
    my $logfile = `find /data*/arch -follow -name *_${logseq}.* | head -1`;
    chomp($logfile);
    # Foloowing logic is for Oracle 10g
    if (length($logfile) == 0)
    {
      $logfile = `find /data*/arch -follow -name *_${logseq}_* | head -1`;
      chomp($logfile);
    }

    scalar $logfile;
}

    先找出所有要删除的归档日志, 存在变量中, 然后根据Sequence从小删到大就行了.

Relative Posts:

• 2008/11/20 -- 用Perl写Primary维护脚本 (1)
• 2008/11/25 -- 指定保留多少GB的归档 (1)
• 2008/11/25 -- 按Sequence查找归档日志 (0)
• 2009/07/08 -- 在Crontab中调度Perl程序 (2)
• 2009/02/12 -- 准确获取AIX的网络流量 (0)
• 2008/12/04 -- Perl取Linux/Unix磁盘空间 (4)
• 2008/11/28 -- 用Perl进行TCP端口确认 (0)
• 2008/10/15 -- 用rawsync来做Standby (0)
• 2008/10/14 -- rawsync初步搞定 (1)
• 2008/09/27 -- Remote DD或Raw-rsync (3)

    为了支持这个功能, Oracle 10g在控制文件中新增了一部份内容, 就是历次Open Resetlogs的经过, 每经历一次Open Restlogs就生成了一个新的Incarnation(不知道如何翻译这个单词了), 反应到数据库中则是V$DATABASE_INCARNATION视图(基表x$kccic, 说明是存放在控制文件中的). 我这儿没有经过多次open resetlogs的数据库, 等一下验证一下. 查一个从来没有Open Resetlogs的库吧, 如下所示:

ASQL> SELECT * FROM v$DATABASE_INCARNATION/G;

INCARNATION#                  : 1
RESETLOGS_CHANGE#             : 1
RESETLOGS_TIME                : 2007-07-16 17:28:06.0
PRIOR_RESETLOGS_CHANGE#       : 0
PRIOR_RESETLOGS_TIME          : null
STATUS                        : CURRENT
RESETLOGS_ID                  : 628104486
PRIOR_INCARNATION#            : 0
FLASHBACK_DATABASE_ALLOWED    : NO

1 rows returned.

    从这儿可以推导出一个观点, 当你重建控制文件后, 将丢失跨Resetlogs恢复的能力. 还好控制文件的参数大部份都可以动态改了, 基本上没有重建它的需要了. 上面的值中, STATUS列的值为CURRENT表示是当前的Incarnation, 另外还可以从V$DATABASE中获得当前正在使用的Incarnation. 如下所示:

ASQL> SELECT LAST_OPEN_INCARNATION# FROM V$DATABASE;

LAST_OPEN_INCARNATION#
———————-
                     1

1 rows returned.

    有些部份还只是猜测, 如有错误, 请理解.

Relative Posts:

• 2007/09/04 -- Oracle Log格式研究未完成的主要任务 (0)
• 2007/09/04 -- Oracle 11g系列测试 — MyLOG (2)
• 2007/08/24 -- 半年内Log研究可以达到的中间产品 (7)
• 2007/05/30 -- 解出Oracle日志文件中的Redo SQL语句之十 (14)
• 2007/05/30 -- 解出Oracle日志文件中的Redo SQL语句之九 (1)
• 2007/05/29 -- 解出Oracle日志文件中的Redo SQL语句之八 (3)
• 2007/05/28 -- 解出Oracle日志文件中的Redo SQL语句之六 (0)
• 2007/05/25 -- 解出Oracle日志文件中的Redo SQL语句之五 (1)
• 2007/03/27 -- 加强MyLOG软件, 以进行Log格式研究之五 (0)
• 2007/03/26 -- 加强MyLOG软件, 以进行Log格式研究之四 (0)

    只需要refresh_mysql角本的配置文件后面再加一列, 如下所示:

# SOURCE  # PKEY      # MVIEW Log       # TARGET
T_OBJECTS # OBJECT_ID # MLOG$_T_OBJECTS # T_OBJECGS # CREATE_DATE > SYSDATE – 30

    这时在构造出来的删除目标表的SQL语句为:

DELETE T_OBJECTS WHERE OBJECT_ID = ? AND CREATE_DATE > SYSDATE – 30

    其他的改进, 现在已经不是将UPDATE转化为先DELETE后INSERT了, 而是直接UPDATE, 以提高程序的效率, 减轻目标数据库的压力. 本角本可以免费使用, 但不提供免费的支持服务.

Relative Posts:

• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/09/04 -- 在Perl中用Array DML来进行性能调优 (0)
• 2007/03/24 -- 在MySQL中建立实体化视图日志 (2)
• 2007/03/13 -- 写了一个从Oracle复制到MySQL的Perl角本 (2)
• 2007/03/12 -- 从Oracle向MySQL或其他库的数据复制方法 (7)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之三 (0)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之一 (0)