AnySQL.net

HVR, 欧州的Shareplex?

    除了Shareplex和GoldenGate外, 及中途夭折的MyLOG(开玩笑)外, 还有一个基于日志文件分析作Oracle逻辑备份的产品, 来自欧州的HVR(High Volume Replicator). 前几天发的一篇关于Zizzy开源项目的文章, 引起了他们的注意, 从而找到我, 原来Zizzy就是这家公司贡献出代码来的, HVR的核心就是Zizzy这个项目的代码了, 它相当于是Unix的Kernel了, 而HVR则相当于很漂亮的一个Unix Shell. 现在主要维护它的居然是一个中国籍人, 实在是意料之外了.     在与他们的谈话中了解到, 这个项目是从99年就开始研究开发它的, 我想Shareplex也差不多就是那时侯开始的吧, 不知道主要开发这个代码的Sean Young是什么背景出生, 居然这么历害. 这下我的牛皮又吹破了, 说是要注入MyLOG的代码, 看来没有必要了, 比我现有的完善多了, 到是可以仔细研究一下他们的代码, 看看可不可以贡献一点点. 看来握着MyLOG的源代码不放, 的确是做错了.     还问了一下他们产品的应用情况, TNT就是他们的客户之一, 在欧州那边有相当多的客户, 据说有一次开会,...

Posted on March 6, 2008 9:21 PM

MyLOG搞成开源项目能造福于大家吗?

    我想你基本上不知道MyLOG是什么样的东西, 不过下面的一些网上常见到的话题你可能会懂一些. 如何实时同步两边的数据? 如何将数据实时地同步到远程的数据库? 如何做远程冗灾? 比较低级的解决的方案有实体化视图, 或自已写程序来实现自动导出导入, 如果两边的网络很好, 还可以用触发器来实现. 中级一些的方案有Oracle的Stream和Replication, 说他们中级是因为他们还不够成熟. 高级一些的方案是用目前市面上的专用软件, 如很有名气的Quest Shareplex, 不是很有名气的DSG Realsync(缺少宣传)和基本上没有听说过的GoldenGate. 这些高级的专业软件在911事件后, 被国际上的大公司大量采用, 用于制作数据冗灾. 不过11g传闻中的一些功能很值得关注.     这些中高级的解决方案中, 都有一个共同的技术特点, 就是分析源数据库上产生的日志, 然后从日志中分解生成SQL语句, 最后在目标数据库端执行. 因为是从日志中去获得数据, 所以基本上对源数据库没有什么压力, 并且目标数据库不是源数据库的物理拷贝, 是在打开的情况下运行的, 因此还可以用来分担部份读操作. 当源数据库不可用时, 可以迅速将目标数据库转换为新的源数据库.     可以看到分析日志的Log Miner是一个关键,...

Posted on July 11, 2007 10:22 AM

解出Oracle日志文件中的Redo SQL语句之三

    初步解决了事务的划分问题. 这得感谢biti_rainy的帮助, 从另一个角度来看, 如果我们的DBA可以一起研究, 估计速度要快得多.     已经可以用XID这一条线来划分Redo SQL的事务关系了, 来看一下MyLOG的输出例子吧! LOG> extract start 2 end 6 Start extract redo SQL ... RBA=0x005e30.00000002.0010,  SCN=0x031f.05c00824,  XID=0x0012.049.000dc2bb,  UBA=0x62c263c4.498b.08    INSERT INTO OBJ_1044190 (COL1,COL2,COL3,COL4,COL5) VALUES (?,?,?,?,?); RBA=0x005e30.00000002.0188,  SCN=0x031f.05c00824,  XID=0x000e.018.000daa6f,  UBA=0x3b41c2dd.3bce.2d    UPDATE OBJ_28267 SET COL84 =...

Posted on May 23, 2007 2:07 PM

有人继续了Log格式的研究......

    在以前的站点被攻击以前, 我曾经将一年多以前写的Log格式的程序放在网上共享下载, 由于我并没有设置(其实是因为不知道如何设)如何跟踪下次的数据, 因此无从知道被下载了多少次. 不过最近有一个人在那个程序的基础上, 向更进一步的方向发展了, 已经能解出简单的INSERT语句了, 大约目标是先做一个离线的Log Miner, 然后发展成迪士杰(DSG)或Quest公司的Shareplex那样的容灾备份工具.     这类工具的本质是从源数据的日志文件(如果速度来得及就从联机日志, 否则从归档日志)中解出指定对象的更改记录, 然后反向构造出SQL语句, 再应用到远端的数据库中, 这样就形成了对本地数据的一个远端备份. 由于只传送指定对象的所有更改记录, 数据量就小得多了, 对于网络速度的要求就降低了, 通过维护了一个远程逻辑备份数据库来起到多重作用: 首先是备份功能; 其次远端数据库是打开状态的, 可以正常读写, 可以作为报表结点. 象上面提到的两家公司的商业软件产品也支持双向复制. 这一类工具的使用成本很高, 目前一些大公司在使用.     Oracle的Logical Standby正是因为看到这类软件的价值, 才在9i中添加上去的, 不过目前来讲Logical Standby还是很不成熟的, 支持不了太重的负荷, 并且配置复杂.  ...

Posted on August 29, 2006 9:00 PM