create materialized view  user_order_mavi
     build immediate  
     refresh   on commit  
     enable query rewrite
as
select  service_id,substr(user_isdn,1,7),
         bill_type,follow_action,count(user_isdn)  
from user_order
group by service_id,substr(user_isdn,1,7),
          bill_type,follow_action

    看到这个语句, 应当是刷新的类型那儿有问题, 在ON COMMIT刷新模式下, 如果基表的DML很频繁, 会造成刷新很频繁, 这可能是DROP语句一直挂起的原因. 建议先运行以下命令:

ALTER MATERIALIZED VIEW user_order_mavi
   DISABLE QUERY REWRITE
   REFRESH ON DEMAND;

    由于新很频繁, 上面的ALTER语句也等了有半分多钟, 但最后成功执行了. 接下来再进行删除就没有任何问题了, 也很快!

    如何用好物化视图, 也是一门不小的学问!

Relative Posts:

• 2009/02/06 -- 归档日志管理不容易 (1)
• 2008/07/06 -- 连错库误删100多张表 (9)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/12/12 -- SQL DBA兼管Oracle库 (4)
• 2007/12/11 -- 删除4TB的表 (5)
• 2007/07/17 -- 问题解答 — 如何得知一张表的纪录有变化? (2)
• 2007/06/02 -- MyLOG程序对于Drop类误操作恢复的作用 (0)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)

ASQL> ora share

ADDRESS          CHILDS     BYTES
—————- —— ———
0000040000A328F8   1026 215577124
000004000F7AB058   1026 215503530

    来看一下这两个SQL语句是什么?

ASQL> ora sql 0000040000A328F8

update sys.sumpartlog$ s set s.timestamp = :1, s.scn = :2
  where  rowid in  (select rowid from sumpartlog$ AS OF SNAPSHOT(:3) s1
     where s1.bo# = :4   and s1.timestamp >=
           to_date(’4000-01-01:00:00:00′,’YYYY-MM-DD:HH24:MI:SS’))

ASQL> ora sql 000004000F7AB058

update sys.sumdelta$ s set s.timestamp = :1, s.scn = :2  
   where  rowid in  (select rowid from sys.sumdelta$ AS OF SNAPSHOT (:3) s1  
        where s1.tableobj# = :4   and s1.timestamp >=
            to_date(’4000-01-01:00:00:00′,’YYYY-MM-DD:HH24:MI:SS’))

    很明显这不是我们系统中的SQL语句, 因具只好搜索Metalink了, 找到这两个表和实体化视图的On Commit刷新有关. 进一步查这些SQL语句不能共享的原因, 发现都是FLASHBACK CURSOR这一列为Y. 进一步搜索Metalink, 终于找到原因了, 是Bug 6010070. 现在还没有办法解决, Oracle明确没有说哪个版本已解决. 只要不用On Commit刷新就行了.

Relative Posts:

• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之三 (0)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之一 (0)
• 2008/08/04 -- ASSM下DML的物理读高 (5)
• 2008/07/28 -- 不可逆的日期转换 (4)
• 2008/06/23 -- 根据表名搜索SQL语句 (0)
• 2008/03/15 -- OR引起的Join性能问题 (3)

    假设我们需要监控的表名为T_OBJECTS, 主键为OBJECT_ID, 如果没有主键则用ROWID, 则可以用如下语句来创建实体化视图日志.

– Using Primary Key
CREATE MATERIALIZED VIEW LOG ON T_OBJECTS
  TABLESPACE users WITH PRIMARY KEY, SEQUENCE;

– Using ROWID
CREATE MATERIALIZED VIEW LOG ON T_OBJECTS
  TABLESPACE users WITH ROWID, SEQUENCE;

    这时会在Oracle中生成一个MLOG$_T_OBJECTS的表, 包含如下有用字段:

SEQUENCE$$ — Operation Order
DMLTYPE$$  – Operation Type, U=Update/I=Insert/D=Delete
M_ROW$$    – ROWID of affected row,
OBJECT_ID  – The primary key values in this case

    我用ROWID类型的做了实验, 先做了一条Insert, 再做了一条Delete, 然后查询日志表记录:

SQL> SELECT SEQUENCE$$, M_ROW$$, DMLTYPE$$ FROM MLOG$_T_OBJECTS;

SEQUENCE$$ M_ROW$$              D
———- ——————– -
         1 AAACYhAAEAAAEFvAAA   I
         2 AAACYhAAEAAACOMAAA   D

    更复杂的例子就自已去设计了. 如果搞懂了这些, 还可以自已写角本从Oracle向其他的数据库进行数据复制呢.

Relative Posts:

• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之三 (0)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之二 (0)
• 2009/02/05 -- 导出时如何统一表空间? (2)
• 2008/07/24 -- 事务数高了会如何? (3)
• 2008/06/23 -- 根据表名搜索SQL语句 (0)
• 2008/05/26 -- ASSM表空间真浪费 (6)
• 2008/05/15 -- 将dmp数据导入到另一个表 (3)
• 2008/03/13 -- 如何防止大的DML语句? (3)
• 2008/03/06 -- HVR, 欧州的Shareplex? (0)

    只需要refresh_mysql角本的配置文件后面再加一列, 如下所示:

# SOURCE  # PKEY      # MVIEW Log       # TARGET
T_OBJECTS # OBJECT_ID # MLOG$_T_OBJECTS # T_OBJECGS # CREATE_DATE > SYSDATE – 30

    这时在构造出来的删除目标表的SQL语句为:

DELETE T_OBJECTS WHERE OBJECT_ID = ? AND CREATE_DATE > SYSDATE – 30

    其他的改进, 现在已经不是将UPDATE转化为先DELETE后INSERT了, 而是直接UPDATE, 以提高程序的效率, 减轻目标数据库的压力. 本角本可以免费使用, 但不提供免费的支持服务.

Relative Posts:

• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/09/04 -- 在Perl中用Array DML来进行性能调优 (0)
• 2007/03/24 -- 在MySQL中建立实体化视图日志 (2)
• 2007/03/13 -- 写了一个从Oracle复制到MySQL的Perl角本 (2)
• 2007/03/12 -- 从Oracle向MySQL或其他库的数据复制方法 (7)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之三 (0)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之一 (0)

数据仓库中有2007年之前的数据

问题一:
如何保持erp与数据仓库中2007年数据一致而数据仓库中2007年之前数据不变(以前通过dbms_mview.refresh(‘xxx’,'fast’))?

问题二:
我对x物化视图做了一个全部刷新,但是x物化视图中的数据全部变成2007年的数据,以前数据丢失?如阿恢复到刷新前的状态

    其中第一个问题是个难题, 现在很多公司都在想这样的一个解决方案, 其实就是一个实时复制方案, 从在的角度来说, 这方面可以用的方案有: 1, Quest公司的SharePlex; 2, DSG公司的RealSync(没有一点印象); 3, Oracle公司的Stream. 前两者都是比较贵的解决方案, Oracle的Stream懂的人少, 而且在9i中还不够稳定. 物化视图并不适合用来归档生产库的数据到历史库, 原来就象第二点所说的那样, 如果进行全部刷新, Oracle会先在目标数据库上运行一个DELETE命令来删除所有的数据(你可以SQL_TRACE一把), 估计这位老兄也是查了资料或翻了贴子后, 觉得物化视图可以做到这一点, 所以这样做了一把, 结果就是数据被删除了.

    最近我也一直在想这样的一个解决的方法, 在物化视图中, 用物化视图日志来捕获对表的变更, 是一个比较好的方法(对于负荷不是很高的数据库), 完全可以利用这一点, 自已编程来实现和物化视图刷新这样的功能, 最近我写的refresh_mysql角本就是用来做这个的. 当然当初考虑的是从Oracle中将数据比较实时地同步到MySQL或其他数据库中, 从角本的名字也可以猜出来. 但后来发现数据源也未必一定要是Oracle了, 其他的库可以用触发器来实现Oracle中的物化视图日志的功能, 目标数据也可以是Oracle.

    如何高效地维护一个表的逻辑拷贝, 其实是一个比较难的问题, 象SharePlex是Quest公司的最主要的拳头产品.

Relative Posts:

• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/24 -- 在MySQL中建立实体化视图日志 (2)
• 2007/03/13 -- 写了一个从Oracle复制到MySQL的Perl角本 (2)
• 2007/03/12 -- 从Oracle向MySQL或其他库的数据复制方法 (7)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/09/04 -- 在Perl中用Array DML来进行性能调优 (0)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之三 (0)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之一 (0)

CREATE TABLE MLOG$_T_MVLOG
(
   SEQUENCE$$ BIGINT NOT NULL PRIMARY KEY AUTO_INCREMENT,
   DMLTYPE$$ CHAR,
   COL1 BIGINT
);

    Oracle中的实体化视图是用触发器来实现的, 不同的是早期版本是用Internal Trigger(但还可以在Trigger$表中查到), 而在8i及以后的版本中, 则变为Kernel Level Trigger(在Trigger$中是找不到了). 我们现在在MySQL中手工建立触发器, 说不定以后MySQL真的也引入实体化视图功能呢? 也在Kernel级别来实现呢? 发现建立触发器的语句好象Oracle的PL/SQL.

DELIMITER |

CREATE TRIGGER TLOG$_I_T_MVLOG BEFORE INSERT ON T_MVLOG
  FOR EACH ROW BEGIN
    INSERT INTO MLOG$_T_MVLOG (DMLTYPE$$,COL1) VALUES (‘I’,NEW.COL1);
  END;
|

CREATE TRIGGER TLOG$_U_T_MVLOG BEFORE UPDATE ON T_MVLOG
  FOR EACH ROW BEGIN
    IF (NEW.COL1 = OLD.COL1) THEN
      INSERT INTO MLOG$_T_MVLOG (DMLTYPE$$,COL1) VALUES (‘U’,OLD.COL1);
    ELSE
      INSERT INTO MLOG$_T_MVLOG (DMLTYPE$$,COL1) VALUES (‘D’,OLD.COL1);
      INSERT INTO MLOG$_T_MVLOG (DMLTYPE$$,COL1) VALUES (‘I’,NEW.COL1);
    END IF;
  END;
|

CREATE TRIGGER TLOG$_D_T_MVLOG BEFORE DELETE ON T_MVLOG
  FOR EACH ROW BEGIN
      INSERT INTO MLOG$_T_MVLOG (DMLTYPE$$,COL1) VALUES (‘D’,OLD.COL1);
  END;
|

DELIMITER ;

    看看触发器是否工作正常吧:

mysql> INSERT INTO T_MVLOG VALUES (1000,’LOU’,100.10,’FANGXIN’);
Query OK, 1 row affected (0.07 sec)

mysql> COMMIT;
Query OK, 0 rows affected (0.00 sec)

mysql> SELECT * FROM MLOG$_T_MVLOG;
+————+———–+——+
| SEQUENCE$$ | DMLTYPE$$ | COL1 |
+————+———–+——+
|          1 | I         | 1000 |
+————+———–+——+
1 row in set (0.00 sec)

    运行refresh_mysql.pl, 将数据从MySQL中复制到Oracle中, 分别在MySQL和Oracle查询日志表和目标表:

mysql> select * from mlog$_t_mvlog;
Empty set (0.00 sec)

SQL> select * from t_mvlog;

COL1 COL2       COL3 COL4
—- —- ———- ———-
1000 LOU       100.1 FANGXIN

    继续检查这些触发器, 在Update时能不能正常工作:

mysql> update t_mvlog set col1=’1001′;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select * from mlog$_t_mvlog;
+————+———–+——+
| SEQUENCE$$ | DMLTYPE$$ | COL1 |
+————+———–+——+
|          2 | D         | 1000 |
|          3 | I         | 1001 |
+————+———–+——+
2 rows in set (0.00 sec)

    DELETE的结果就不写在这儿了, 要不太长了.

Relative Posts:

• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/13 -- 写了一个从Oracle复制到MySQL的Perl角本 (2)
• 2007/03/12 -- 从Oracle向MySQL或其他库的数据复制方法 (7)
• 2009/06/09 -- copydata异构数据拷贝 (6)
• 2009/03/30 -- 多Master的MySQL设想 (3)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/09/04 -- 在Perl中用Array DML来进行性能调优 (0)
• 2007/04/11 -- MySQL中的LogMiner工具 — mysqlbinlog (2)

CREATE TABLE T_OBJECTS AS SELECT * FROM DBA_OBJECTS WHERE ROWNUM < 1;
ALTER TABLE T_OBJECTS MODIFY OBJECT_ID NOT NULL;
ALTER TABLE T_OBJECTS ADD PRIMARY KEY (OBJECT_ID);
CREATE MATERIALIZED VIEW LOG ON T_OBJECTS WITH PRIMARY KEY, SEQUENCE;

    在MySQL中创建测试表:

CREATE TABLE t_objects (
  OBJECT_ID decimal(10,0) NOT NULL,  OWNER varchar(30) ,
  OBJECT_NAME varchar(128) ,   SUBOBJECT_NAME varchar(30) ,
  DATA_OBJECT_ID decimal(10,0) ,  OBJECT_TYPE varchar(18) ,
  CREATED datetime ,   LAST_DDL_TIME datetime ,
  TIMESTAMP varchar(19) ,  STATUS varchar(7) ,
  TEMPORARY varchar(1) ,  GENERATED varchar(1) ,
  SECONDARY varchar(1) ,  PRIMARY KEY  (OBJECT_ID)
);

    创建一个配置文件(demo.conf):

# SOURCE  # PKEY      # MVIEW Log       # TARGET
T_OBJECTS # OBJECT_ID # MLOG$_T_OBJECTS # T_OBJECGS

    运行refresh_mysql.pl角本(我装的是ActivePerl):

perl refresh_mysql.pl -s Oracle用户名#口令#Oracle:连接串 -t MySQL用户名#口令#MySQL:数据库名:主机 -c demo.conf

    然后你在Oracle端进行插入或更新或删除, 看看记录有没有被复制过去.

Relative Posts:

• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/13 -- 写了一个从Oracle复制到MySQL的Perl角本 (2)
• 2007/09/04 -- 在Perl中用Array DML来进行性能调优 (0)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/24 -- 在MySQL中建立实体化视图日志 (2)
• 2007/03/12 -- 从Oracle向MySQL或其他库的数据复制方法 (7)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之三 (0)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之一 (0)

    做测试时, 先开一个窗口, 运行刷新角本:

C:\AnySQL>perl refresh_mysql.pl -s anysql:anysql:test -t mysql:root:mysql:localhost:test -c myrefresh.conf
02/13 12:52:25 – 1 tables will be processed.
02/13 12:53:06 – Start replication from T_MVLOG to T_MVLOG with sequence 10196 to 10199 …
02/13 12:53:07 – End replication from T_MVLOG to T_MVLOG with sequence 10196 to 10199.
02/13 12:53:26 – Start replication from T_MVLOG to T_MVLOG with sequence 10200 to 10203 …
02/13 12:53:27 – End replication from T_MVLOG to T_MVLOG with sequence 10200 to 10203.
02/13 12:54:11 – Start replication from T_MVLOG to T_MVLOG with sequence 10204 to 10204 …
02/13 12:54:12 – End replication from T_MVLOG to T_MVLOG with sequence 10204 to 10204.
02/13 12:56:13 – Start replication from T_MVLOG to T_MVLOG with sequence 10205 to 10207 …
02/13 12:56:14 – End replication from T_MVLOG to T_MVLOG with sequence 10205 to 10207.
02/13 13:11:41 – Start replication from T_MVLOG to T_MVLOG with sequence 10208 to 10211 …
02/13 13:11:42 – End replication from T_MVLOG to T_MVLOG with sequence 10208 to 10211.

    在源端(Oracle)中插入一些记录, 并作查询:

SQL> SELECT * FROM T_MVLOG;

COL1                 COL2
——————– ——————————
MLOG$_T_MVLOG        TABLE
MV_T_MVLOG2          TABLE
RUPD$_T_MVLOG        TABLE
T_MVLOG              TABLE

    等了3-5秒钟后, 在目标端(MySQL)中进行查询:

mysql> select * from t_mvlog;
+—————+——-+
| COL1          | COL2  |
+—————+——-+
| MLOG$_T_MVLOG | TABLE |
| MV_T_MVLOG2   | TABLE |
| RUPD$_T_MVLOG | TABLE |
| T_MVLOG       | TABLE |
+—————+——-+
4 rows in set (0.00 sec)

    接下来事是要进行更多的测试, 以及进行压力测试. 就算玩玩的角本, 也有很多需要改进的地方.

Relative Posts:

• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/12 -- 从Oracle向MySQL或其他库的数据复制方法 (7)
• 2007/09/04 -- 在Perl中用Array DML来进行性能调优 (0)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/24 -- 在MySQL中建立实体化视图日志 (2)
• 2009/11/07 -- MySQL数据迁移测试 (8)
• 2009/06/23 -- 编译x86_64下静态DBD::MySQL模块 (0)
• 2009/06/09 -- copydata异构数据拷贝 (6)
• 2009/05/26 -- MySQL或Oracle, 是个问题? (7)

1, 每一个表必需要有主键.
2, 用With Primary Key, Sequence选项创建实体化视图日志, 以支持增量刷新.
3, 在实化化视图日志上可以建一个CREATE_DATE列, 默认值SYSDATE.
4, 在实化化视图日志上为SEQUENCE$$列创建一个索引.
5, 现在只考虑简单的记录复制.

    Oracle的增量刷新有些小问题, 当实体化视图日志中有很多的记录时, 刷新过程很容易失败, 因此我在这儿对这个过程作些改进, 根据SEQUENCE$$的值来进行刷新, 每次最多刷新1000条记录, 小批量地做, 可以提高刷新频率.

    程序原型已经出来了, 要保证一次刷新过程的事务一致性, 是个难题, 因为没办法用DB-Link了, 所以正在思考要不要用分布式事务处理的编程. 你有什么建议和想法, 就回复吧!

Relative Posts:

• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/03/13 -- 写了一个从Oracle复制到MySQL的Perl角本 (2)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/24 -- 在MySQL中建立实体化视图日志 (2)
• 2009/11/07 -- MySQL数据迁移测试 (8)
• 2009/06/09 -- copydata异构数据拷贝 (6)
• 2009/05/26 -- MySQL或Oracle, 是个问题? (7)
• 2009/03/30 -- 多Master的MySQL设想 (3)
• 2008/03/06 -- HVR, 欧州的Shareplex? (0)

SQL> ALTER TABLE T_MVLOG MOVE;

Table altered.

SQL> EXEC DBMS_MVIEW.REFRESH(‘MV_T_MVLOG’,'FAST’);
BEGIN DBMS_MVIEW.REFRESH(‘MV_T_MVLOG’,'FAST’); END;

*
ERROR at line 1:
ORA-12034: materialized view log on “ANYSQL”.”T_MVLOG” younger than last refresh
ORA-06512: at “SYS.DBMS_SNAPSHOT”, line 803
ORA-06512: at “SYS.DBMS_SNAPSHOT”, line 860
ORA-06512: at “SYS.DBMS_SNAPSHOT”, line 841
ORA-06512: at line 1

    为什么失败, 可以仔细分析一下基于ROWID的MVIEW LOG被刷新的过程, 当基表移动后, ROWID的值变了, 因此不能再继续支持主表的UPDATE/DELETE这样的操作了. 下面将这个实体化视图重新定义成基于主键(Primary Key)的, 首先删除现有的实体化视图及日志, 再为表加一个主键, 重新创建实体化视图 :

SQL>  alter table t_mvlog modify col1 not null;

Table altered.

SQL> alter table t_mvlog add primary key (col1);

Table altered.

SQL> create materialized view log on t_mvlog with primary key, sequence;

Materialized view log created.

SQL> CREATE MATERIALIZED VIEW MV_T_MVLOG
  2    REFRESH FAST WITH PRIMARY KEY
  3  AS SELECT ROWID R_ID, A.* FROM T_MVLOG A;

Materialized view created.

    再对基表作移动(Move)操作后, 就可以进行增量刷新了.

SQL> alter table t_mvlog move;

Table altered.

SQL> exec dbms_mview.refresh(‘MV_T_MVLOG’,'FAST’);

PL/SQL procedure successfully completed.

    选择基于ROWID还是基于主键(Primary Key)的实体化视图日志, 还是很重要的.

Relative Posts:

• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之三 (0)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之一 (0)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/07/17 -- 问题解答 — 如何得知一张表的纪录有变化? (2)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之二 (0)
• 2008/07/24 -- 事务数高了会如何? (3)
• 2008/03/06 -- HVR, 欧州的Shareplex? (0)

    下面我们在一个表上建两个实体化视图, 角本如下:

CREATE TABLE T_MVTEST AS SELECT * FROM TAB;
CREATE MATERIALIZED VIEW LOG ON T_MVTEST
    WITH ROWID,SEQUENCE;
CREATE MATERIALIZED VIEW MV_TEST_STAR
    REFRESH FAST WITH ROWID
AS SELECT ROWID RID, A.* FROM T_MVTEST A;
CREATE MATERIALIZED VIEW MV_TEST_NOSTAR
    REFRESH FAST WITH ROWID
AS SELECT ROWID RID, A.TNAME, A.TABTYPE,
   A.CLUSTERID FROM T_MVTEST A;

    接下来对表作一个增加列的操作.

SQL> ALTER TABLE T_MVTEST ADD COL4 VARCHAR2(20);

Table altered.

    接下来来完全刷新两上实体化视图, 看看运行情况:

SQL> EXEC DBMS_MVIEW.REFRESH(‘MV_TEST_STAR’, ‘COMPLETE’);
BEGIN DBMS_MVIEW.REFRESH(‘MV_TEST_STAR’, ‘COMPLETE’); END;

*
ERROR at line 1:
ORA-12018: following error encountered during code generation for
“ANYSQL”.”MV_TEST_STAR”
ORA-00904: “COL4″: invalid identifier
ORA-06512: at “SYS.DBMS_SNAPSHOT”, line 2255
ORA-06512: at “SYS.DBMS_SNAPSHOT”, line 2461
ORA-06512: at “SYS.DBMS_SNAPSHOT”, line 2430
ORA-06512: at line 1

SQL> EXEC DBMS_MVIEW.REFRESH(‘MV_TEST_NOSTAR’, ‘COMPLETE’);

PL/SQL procedure successfully completed.

    这是因为在进行全部方式的刷新时, 实体化视图的定义根据当前表的定义被展开了, 将会要刷新新增的”COL4″这个列, 而在表”MV_TEST_STAR”中现在没有这个例, 所以刷新失败, 解决的方法呢是在, 这个视图中手工加一个列:

SQL> ALTER TABLE MV_TEST_STAR ADD COL4 NUMBER;

Table altered.

SQL> EXEC DBMS_MVIEW.REFRESH(‘MV_TEST_STAR’, ‘COMPLETE’);

PL/SQL procedure successfully completed.

    可以这样解决结果还算好了.

Relative Posts:

• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之一 (0)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/07/17 -- 问题解答 — 如何得知一张表的纪录有变化? (2)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/03/08 -- Oracle的实体化视图(MVIEW)的深入研究之二 (0)
• 2008/07/24 -- 事务数高了会如何? (3)
• 2008/03/06 -- HVR, 欧州的Shareplex? (0)

SQL> SELECT SID, EVENT FROM V$SESSION
  2  WHERE USERNAME=’ANYSQL’;

       SID EVENT
———- ————————————-
        29 library cache lock
        32 SQL*Net message from client

    这个情况是如何出来的呢, 在32会话中, 我执行了语句:

SQL> exec dbms_mview.begin_table_reorganization(‘ANYSQL’,'T_IOT’);

PL/SQL procedure successfully completed.

    在29这个会话中, 我发出如下命令, 但一直处于等待情况:

SQL> delete t_iot;

    看来Oracle的新功能, 有时是比较危险的, 当在第32会话中再发一个Commit之后, 就好了, 29这个会话就可以往下执行了, Oracle为什么不是那个过程最后默认加个Commit呢?

Relative Posts:

• 2008/01/17 -- 不能删除物化视图? (1)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/08/06 -- FOR UPDATE SKIP LOCKED语句中的逻辑读 (3)
• 2007/07/17 -- 问题解答 — 如何得知一张表的纪录有变化? (2)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/03/13 -- 写了一个从Oracle复制到MySQL的Perl角本 (2)
• 2007/03/12 -- 从Oracle向MySQL或其他库的数据复制方法 (7)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)

    在Session USER中先运行以下语句去看一下MVIEW LOG表中有多少条记录:

SQL> SELECT count(*) FROM MLOG$_T_REORG;

  COUNT(*)
———-
         0

    在Session DBA中运行BEGIN_TABLE_REORGANIZATION过程开始维护, 记得执行完后要运行COMMIT命令, 否则会阻塞(Block)别的进程:

SQL> exec dbms_mview.begin_table_reorganization(‘ANYSQL’,'T_REORG’);

PL/SQL procedure successfully completed.

    在Session USER中先运行DML直接修改表的数据, 提交后看一下MVIEW LOG表中的记录有没有增加:

SQL> insert into t_reorg select * from tab;

13 rows created.

SQL> COMMIT;

Commit complete.

SQL> SELECT count(*) FROM MLOG$_T_REORG;

  COUNT(*)
———-
         0

    在Session DBA中运行END_TABLE_REORGANIZATION过程结束维护, 记得执行完后要运行COMMIT命令, 否则会阻塞(Block)别的进程:

SQL> exec dbms_mview.end_table_reorganization(‘ANYSQL’,'T_REORG’);

PL/SQL procedure successfully completed.

    在Session USER中先运行一些DML语句, 检查一下MVIEW LOG表中的记录数是不是增多了:

SQL> delete t_reorg;

13 rows deleted.

SQL> commit;

Commit complete.

SQL> SELECT count(*) FROM MLOG$_T_REORG;

  COUNT(*)
———-
        13

    在这儿说了一大堆, 其实是如何让表不生成实体化视图日志的问题.

Relative Posts:

• 2007/07/17 -- 问题解答 — 如何得知一张表的纪录有变化? (2)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之三 (0)
• 2008/07/24 -- 事务数高了会如何? (3)
• 2008/03/06 -- HVR, 欧州的Shareplex? (0)
• 2008/02/29 -- 向Zizzy项目注入MyLOG (8)
• 2008/01/17 -- 不能删除物化视图? (1)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/09/04 -- Oracle 11g新特性 — DG压缩传送日志 (0)
• 2007/09/04 -- Oracle Log格式研究未完成的主要任务 (0)

CREATE TABLE T_MVLOG (COL1 VARCHAR2(20));
CREATE MATERIALIZED VIEW LOG ON T_MVLOG
    WITH ROWID, sequence;
CREATE MATERIALIZED VIEW MV_T_MVLOG
   REFRESH FAST
   WITH ROWID
AS
   SELECT ROWID R_ID, A.* FROM T_MVLOG A;

    我们对DBMS_MVIEW.REFRESH作一个SQL_TRACE, 在这个例子中, 我在基表中插入了一打记录, 然后作跟踪的. 可以看到第一步为:

update “ANYSQL”.”MLOG$_T_MVLOG” set snaptime$$ = :1  
   where snaptime$$ >
      to_date(’2100-01-01:00:00:00′,’YYYY-MM-DD:HH24:MI:SS’)

    第二步, 取得在这段时间内发生修改的每一行的ROWID

SELECT DISTINCT M_ROW$$ FROM
(
   SELECT M_ROW$$
        FROM “ANYSQL”.”MLOG$_T_MVLOG” MLOG$
        WHERE “SNAPTIME$$” > :1 AND (“DMLTYPE$$” != ‘I’)
) LOG$
WHERE (M_ROW$$) NOT IN
     (
       SELECT ROWID FROM “T_MVLOG” “MAS_TAB$”
           WHERE MAS_TAB$.ROWID = LOG$.M_ROW$$
     )

    第三步, 取得刷新后的值

SELECT CURRENT$.”R_ID”,
       CURRENT$.”COL1″,
       ROWIDTOCHAR(CURRENT$.ROWID) M_ROW$$
FROM
(
  SELECT “A”.ROWID “R_ID”,”A”.”COL1″ “COL1″ FROM “T_MVLOG” “A”
) CURRENT$,
(
  SELECT DISTINCT M_ROW$$ FROM “ANYSQL”.”MLOG$_T_MVLOG” MLOG$
      WHERE “SNAPTIME$$” > :1 AND (“DMLTYPE$$” != ‘D’)
) LOG$
WHERE CURRENT$.ROWID = LOG$.M_ROW$$

    第四步, 对MVIEW进行插入

INSERT INTO “ANYSQL”.”MV_T_MVLOG”  (“R_ID”,”COL1″,”M_ROW$$”)
   VALUES (:1,:2,:3)

    最后一步, 删除MVLOG中的值

delete from “ANYSQL”.”MLOG$_T_MVLOG” where snaptime$$ <= :1

    从这外过程来看, 可以调的方法有四个, 首先尽量使用快速刷新, 提高刷新频率, 其次可以在MLOG$_T_MVLOG这个表的snaptime$$字段上建索引, 第三为刷新的过程设定会话级的DB_FILE_MULTIBLOCK_READ_COUNT以及SORT_AREA_SIZE等参数, 第四选择时间对MLOG$_T_MVLOG这个表进行重组以减少表的大小. 这些方法仅供参考.

Relative Posts:

• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之四 (2)
• 2007/03/09 -- Oracle的实体化视图(MVIEW)的深入研究之三 (0)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2008/01/17 -- 不能删除物化视图? (1)
• 2007/09/04 -- 在Perl中用Array DML来进行性能调优 (0)
• 2007/07/17 -- 问题解答 — 如何得知一张表的纪录有变化? (2)
• 2007/03/24 -- 在MySQL中建立实体化视图日志 (2)

SQL> DESC MV_FACT_SALES
Name                    Null?    Type
———————– ——– ————-
F_MONTH                          VARCHAR2(7)
M_AMOUNT1                        NUMBER
M_AMOUNT2                        NUMBER

SQL> INSERT INTO MV_FACT_SALES VALUES (’3000-1′,1500,1600);
INSERT INTO MV_FACT_SALES VALUES (’3000-1′,1500,1600)
            *
ERROR at line 1:
ORA-01732: data manipulation operation not legal on this view

    但可以通过Exchange Partition的方法来更新MVIEW中的数据, 实现人为地刷新, 首先检查一下现在的MVIEW的状态:

SQL> SELECT STALENESS,STALE_SINCE FROM USER_MVIEWS;

STALENESS           STALE_SINCE
——————- ————
FRESH

    接下来创建一个只有一个分区的分区表, 用于实现分区交换:

SQL> CREATE TABLE P_MV_FACT_SALES
  2  (
  3     F_MONTH VARCHAR2(7),
  4     M_AMOUNT1 NUMBER,
  5     M_AMOUNT2 NUMBER
  6  )
  7  PARTITION BY RANGE (F_MONTH)
  8  (
  9     PARTITION P_MAX VALUES LESS THAN (MAXVALUE)
10  )
11  /

Table created.

SQL> ALTER TABLE P_MV_FACT_SALES EXCHANGE PARTITION P_MAX WITH TABLE MV_FACT_SALES;

Table altered.

SQL> SELECT STALENESS,STALE_SINCE FROM USER_MVIEWS;

STALENESS           STALE_SINCE
——————- ————
FRESH

    向分区表中插入一条记录, 在实际的应用中, 要保证你的修改是对的. 然后再交换回去, 并检查MVIEW的状态.

SQL> INSERT INTO P_MV_FACT_SALES VALUES (’3000-1′,1500,1600);

1 row created.

SQL> commit;

Commit complete.

SQL> ALTER TABLE P_MV_FACT_SALES EXCHANGE PARTITION P_MAX WITH TABLE MV_FACT_SALES;

Table altered.

SQL> SELECT STALENESS,STALE_SINCE FROM USER_MVIEWS;

STALENESS           STALE_SINCE
——————- ————
FRESH

    MVIEW本身提供的刷新方法是不错, 不过在数据仓库中, 它的刷新方法就不太好控制了, 因此可以用这种方法来试试.

Relative Posts:

• 2006/10/11 -- 数据库优化中什么是星型转换(Star Transform)? (4)
• 2006/10/09 -- 利用维对象来优化数据仓库的高级技巧 (7)
• 2008/01/17 -- 不能删除物化视图? (1)
• 2007/12/18 -- MVIEW引起ORA-04031 (0)
• 2007/07/17 -- 问题解答 — 如何得知一张表的纪录有变化? (2)
• 2007/03/29 -- 使refresh_mysql适用于数据归档的一点改进 (0)
• 2007/03/29 -- 由物化视图Complete刷新引起的数据丢失 (11)
• 2007/03/24 -- 在MySQL中建立实体化视图日志 (2)
• 2007/03/14 -- refresh_mysql.pl角本的一个配置例子 (0)
• 2007/03/13 -- 写了一个从Oracle复制到MySQL的Perl角本 (2)