AnySQL.net » Memory http://www.anysql.net SQLULDR2, DataCopy, DataSync, WebChart, OraMon, AUL/MyDUL, 性能优化及容量分析 Wed, 14 Jul 2010 09:27:19 +0000 en hourly 1 http://wordpress.org/?v=3.0 该死的Java Full GC http://www.anysql.net/developer/java_free_memory.html http://www.anysql.net/developer/java_free_memory.html#comments Wed, 04 Mar 2009 17:23:35 +0000 anysql http://www.anysql.net/wordpress/uncategorized/%e8%af%a5%e6%ad%bb%e7%9a%84java-full-gc.html     某一天, 在oramon的监控日志中, 突然看到数据库的事务数和日志生成量出现下跌的情况, 持续时间长达30秒, 这个原因得好好查查. 在oramon的Active SQL日志中发现了大量的锁等待, 被等待的语句发生在两个相对比较忙的表中.

www.AnySQL.net Cmmt Redo
02/xx-13:03:04  13K  39M
02/xx-13:03:14 3389  9M
02/xx-13:03:24 3597  8M
02/xx-13:03:34 5500  17M
02/xx-13:03:44  15K  54M
02/xx-13:03:54  15K  43M

    锁等待一般要请应用开发人员协助分析了, 分析了应用服务器端日志后, 基本确定是因为有几台应用服务器在那个时间点做了比较多的Full GC, 当用优化的GC算法失效时, Java会挂起所有线程, 进行Full GC操作. 如果这时刚巧应用服务器上有一个事务没有提交或回滚, 而锁定了某条关键记录, 就引起了上面问题. 还好是数据库顶过去了, 否则会需要重启所有应用服务器, 或重起数据库才能解决.

    Java让很多的应用开发人员高兴, 但并没有让系统维护人员高兴, 不需要管理内存的分配和释放, 是件好事, 但只是在中小应用中是好事, 如果并发率高了, 自带的垃圾回收就成问题了, 不回收则会报内存溢出. 如果分配的内存大, 垃圾回收的速度会很慢, 这一点可能是限制了Java在64位操作系统上大规模使用的主要原因, 用32位的就算有足够多的内存, 也用不到, 然后就搞虚拟化, 结果是应用服务器的数量急增, 也造成了数据库宝贵的连接资源的大量浪费.

    C语言中的指针及内存分配, 虽然复杂, 但用好了就不会有这方面的问题, 比如oramon程序, 跑了三四个月, 内存总是不变的. Java的解决之道也许是要引进一个free的操作, 让应用程序开发人员, 可以指定对象释放一些内存, 还一点控制操作给程序开发人员.

    如果一定要追求开发的速度, 如果没有高的并发, Java也许是首选. 但其他情况, Java也许不是, 昨天前天看Java的内存回收机制, 看得吐血也没有搞明白. 上面说的问题, 也不是我们独有的问题, 很多地方都会有.

Relative Posts:

]]> http://www.anysql.net/developer/java_free_memory.html/feed 4 Linux获取主要Load信息 http://www.anysql.net/dba/get_linux_load_metrics.html http://www.anysql.net/dba/get_linux_load_metrics.html#comments Fri, 13 Feb 2009 18:15:58 +0000 anysql http://www.anysql.net/wordpress/uncategorized/linux%e8%8e%b7%e5%8f%96%e4%b8%bb%e8%a6%81load%e4%bf%a1%e6%81%af.html     在AIX下用C语句在oramon工具中收集了主机层面的几个Load值, 对于评估主机性能好象更有感觉了.

www.AnySQL.net  Load SY/WT/US  Net Pgio
02/12-18:29:30  3.55  7/23/20 276M    0
02/12-18:29:40  3.63  8/23/19 374M    0
02/12-18:29:50  3.37  8/22/20 339M    0
02/12-18:30:00  3.39  8/24/19 311M    1
02/12-18:30:10  3.39 10/21/32 366M    2
02/12-18:30:20  3.26  8/25/22 349M    0
02/12-18:30:30  3.44  9/26/21 406M    0
02/12-18:30:40  3.31  7/26/21 185M    0
02/12-18:30:50  3.50  8/23/23 286M    2
02/12-18:31:00  3.63  9/24/22 399M    0

    但在Linux上我只实现了第一列, 后面的几列都没有去想过呢. 但很想去实现它, 于是在网上搜了搜, 然后跑到proc文件系统中去cat了几把, 发现需要去解释以下几个文件.

load — /proc/loadavg
cpu — /proc/stat
net — /proc/net/dev
pgio — /proc/vmstat

    用Perl来取这些值, 到是有很多的Package可以找到, 但用C的例子则还没有, 自已写吧.

Relative Posts:

]]> http://www.anysql.net/dba/get_linux_load_metrics.html/feed 4 MVIEW引起ORA-04031 http://www.anysql.net/oracle/mview_ora_04031.html http://www.anysql.net/oracle/mview_ora_04031.html#comments Tue, 18 Dec 2007 16:50:40 +0000 anysql http://www.anysql.net/wordpress/uncategorized/mview%e5%bc%95%e8%b5%b7ora-04031.html     有一个数据库报了ORA-04031错误, 等我们上去看时, 却是好的, 通过查询Statspack有关视图, 发现Shared Pool Free Memory在这之前是逐渐减少的, sql area部分占得很大. 可能的原因是, 当Oracle遇到这个错误后, 自动做了一次Flush Pool操作. 于是写了一段程序去跟踪SQL占用的内存, 发现有两个SQL语句很不正常, 版本数很多, 占用的内存也很大, 差不多占了一半的sql area.

ASQL> ora share

ADDRESS          CHILDS     BYTES
—————- —— ———
0000040000A328F8   1026 215577124
000004000F7AB058   1026 215503530

    来看一下这两个SQL语句是什么?

ASQL> ora sql 0000040000A328F8

update sys.sumpartlog$ s set s.timestamp = :1, s.scn = :2
  where  rowid in  (select rowid from sumpartlog$ AS OF SNAPSHOT(:3) s1
     where s1.bo# = :4   and s1.timestamp >=
           to_date(’4000-01-01:00:00:00′,’YYYY-MM-DD:HH24:MI:SS’))

ASQL> ora sql 000004000F7AB058

update sys.sumdelta$ s set s.timestamp = :1, s.scn = :2  
   where  rowid in  (select rowid from sys.sumdelta$ AS OF SNAPSHOT (:3) s1  
        where s1.tableobj# = :4   and s1.timestamp >=
            to_date(’4000-01-01:00:00:00′,’YYYY-MM-DD:HH24:MI:SS’))

    很明显这不是我们系统中的SQL语句, 因具只好搜索Metalink了, 找到这两个表和实体化视图的On Commit刷新有关. 进一步查这些SQL语句不能共享的原因, 发现都是FLASHBACK CURSOR这一列为Y. 进一步搜索Metalink, 终于找到原因了, 是Bug 6010070. 现在还没有办法解决, Oracle明确没有说哪个版本已解决. 只要不用On Commit刷新就行了.

Relative Posts:

]]> http://www.anysql.net/oracle/mview_ora_04031.html/feed 0 MySQL每个Session所需要的内存情况 http://www.anysql.net/mysql/mysql_session_memory_usage.html http://www.anysql.net/mysql/mysql_session_memory_usage.html#comments Thu, 05 Apr 2007 05:05:02 +0000 anysql http://www.anysql.net/wordpress/uncategorized/mysql%e6%af%8f%e4%b8%aasession%e6%89%80%e9%9c%80%e8%a6%81%e7%9a%84%e5%86%85%e5%ad%98%e6%83%85%e5%86%b5.html 1, PGA

    在Oracle中每个会话都会有PGA, MySQL中的会话也是如此. 主要包括三部份: (a), 堆栈区, 由THREAD_STACK变量来决定; (b), 接收缓冲(Receive Buffer/Connection Buffer), 由NET_BUFFER_LENGTH参数决定; (c), 发送缓冲(Send Buffer/Result Buffer), 同接收缓冲区同样大小. 当在执行SQL语时, 会将SQL语句的文本复制一份, 如果你的SQL写得很长, 这部份也不可以小看的哦! 当进程或线程不再需要时, 则这些内存区域会释放.

2, IO Buffer

    IO读取缓冲, 顺序读时由参数READ_BUFFER_SIZE控制大小, 而随机读时由READ_RND_BUFFER_SIZE参数来决定, 在InnoDB下据说是没用的, 因为InnoDB本身就缓冲机制, 但是在读取临时文件时是否有效呢? 象Oracle中有专门的SORT_MULTIBLOCK_READ_COUNT参数.

3, Sort Buffer

    象Oracle中的SORT_AREA_SIZE一样, MySQL也有参数SORT_BUFFER_SIZE来将数据放到内存来进行排序, 比较容易理解. 有一个问题是, 当排序操作执行完后, 这些内存是立刻释放呢? 还是要到会话结束呢?

4, Join Buffer

    我到现在还不明白这一块内存是怎么用的? 当一个表没有索引可以用时, MySQL用这一块内存区进行Fast Full Join, 每两个表之间的Full Join都会使用一块这个区域, 如果更复杂的SQL包括很多个表, 有可能要使用多个Join Buffer, 这下我更晕了, 理论上(按照Oracle的)最多两个就够了吧, 因为Join只能在两个表间进行. 另外MySQL中所有的内存中的表都以Hash方式组织, 因此好象都是Oracle的Hash Join了?

5, BLOB Buffer

    当我们去扫描一个有BLOB列的表时, 会要配一个和返回记录中最大的BLOB大小一样的缓冲区. 这个有点不爽了, 如果BLOB中有两G的数据呢? 这一块如何释放呢? SQL执行完了就释放?

    以上只是我在看书时的猜测, 请大家扔砖吧!

Relative Posts:

]]> http://www.anysql.net/mysql/mysql_session_memory_usage.html/feed 0