首页 > 编程学习 > 吐糟:MySql老项目升级改造——解决网页打不开死锁等问题
2012十一月15

吐糟:MySql老项目升级改造——解决网页打不开死锁等问题

零八年那会刚搞IT没多久,经验不太丰富,作为项目小组长选用了MySQL数据库,带着几个经验比我还不足的程序猿为Xx政府开发了一套信息发布系统。

至今后悔不已的事情莫过于选用MySql数据库、表结构设计不合理、程序猿水平低下没仔细检查他们的代码等,自零八年上线以后,用户单位从当初的80家左右逐渐增加到940家单位,用户总数近一千。

随着数据量的增长,系统前台经常打不开,而后台用户也录不了文章,部知道从什么时间开始问题越来越严重,自2011年以来出问题就重启tomcat,一直没有好的解决办法。

今年彻底检查了一番代码,居然发现有个程序猿写了一句话,在新增数据的时候把那张最大的表 select * 全部取出放到内存中去了!最气愤的是,他把数据放在内存变量之后,下面整行代码都没有使用到这个变量!(我就想,他是对我有多大仇恨阿,留下了这个隐患)

当然,找到那行最致命的代码并不能彻底解决一系列问题,根据这四年来的经验,整了个解决方案:

1、更换Mysql库为Oracle数据库;

      组织研发了数据抽取工具,支持各类数据源通过配置可以实现数据迁移/转换等功能,将老系统的数据无缝迁移到新系统。

2、优化表结构进行横行/纵向分表;

      纵向分表将大字段从主表中剔除,提高查询分页效率。

3、前后台分离前台使用lucene搜索引擎技术;

      使用lucene,实现定时更新索引库(增量或覆盖更新不影响查询使用)。

      lucene效率很高,前台页面不需要做静态化,对于前台主要是查询的系统静态化反而会降低系统性能。

4、统计定时任务根据发布状态进行更新;

      增加状态表,有文章更新的单位重新统计数据,无更新的单位无需更新。

5、针对oracle数据库优化分页查询语句,只取当前页的数据。

换数据库真是个迫不得已的决定,经过三四个人的1个半月的努力,终于把新系统搞定,上个月新系统上线,现在前台打开是飞速啊。时常孤芳自赏,自己有事没事的就打开来看看,好吧,搞软件的好像都喜欢看自己的产品?。。

关于lucene、apache+tomcat相关文章可以在本站搜一下。当然,这个系统自从用了lucene已经解决了问题,并没有做负载均衡。

 

625 total views, 1 views today

本文地址:https://blog.wizzer.cn/archives/2373 , 转载请保留.

本文目前尚无任何评论.

发表评论