范文编号：JSJ221 范文字数:9859，附开题报告摘 要数据处理是当今所有互联网的网站应用系统都需要面对并解决的问题，通过本范文，我们将以实际的应用（三方社会化评论系统）作为蓝本，将大数据量处理的数据结构设计与研究应用到其中。物理架构上，相对与传统的业务系统，为了保障业务有效性，我们采用集群的方式来实现，..
|
范文编号：JSJ221 范文字数:9859，附开题报告 摘 要 数据处理是当今所有互联网的网站应用系统都需要面对并解决的问题，通过本范文，我们将以实际的应用（三方社会化评论系统）作为蓝本，将大数据量处理的数据结构设计与研究应用到其中。 物理架构上，相对与传统的业务系统，为了保障业务有效性，我们采用集群的方式来实现，减少单一固件的成本，使用云服务器搭建数据集群的方式来保证数据可用性，我们会通过在多个云服务器上一一构建Mysql8.0服务，然后整合这些Mysql服务。 数据层面上，我们主要通过运用不同类型的索引，不同的数据存储方式（不同的表类型，不同的行存储格式等）等来实现，例如，我们会将数据按照一定规则进行分片存储（从而保证索引大小可用，保证索引性能）。 检索性能上，我们将通过结合内部缓存，外部缓存实现热数据的激活（随时可用，减少磁盘检索）。同时我们还需要解决数据更新后，热数据的刷新等诸多问题。 通过以上这些设计，我们能实现目标业务系统的高效运行，而且硬件成本及研发成本都可控，从而让业务系统在对应的业务领域保持竞争力；同时，也为参与设计者积累了宝贵的行业经验。 对于未来，随着数据的体量的持续膨胀和业务发展，我们肯定需要优化数据结构，来面对将来2-3年后的百亿，千亿，甚至过兆的有效应用数据。届时一定会有新的算法和解决办法，我们期待未来从业务解决同时同步提升我们的数据处理能力！ 关键词 索引，分区，异构，热数据，数据刷新 目 录 摘要 I 引言 1 一、业务系统介绍 2 （一）面向用户模块 2 1.个人隐私及对公信息管理 2 2.自由评论管理 2 3.社交交互 2 （二）面向站长模块 2 1.站长后台(包含多个功能) 2 2.站长接入辅助 2 3.三方建站平台插件 2 二、数据分类 3 （一）用户数据 3 （二）站长数据 3 三、数据难点 4 （一）对检索的需求 4 1. 用户检索个人评论数据 4 2. 页面检索归属评论数据 4 3. 站点检索站内评论数据 4 （二）对存储的需求 4 1. 存储评论数据 4 2. 存储点赞，回复等交互数据 4 3. 存储站点个性化UI界面数据 4 （三）对备份及容灾的需求 4 （四）对冗余数据压缩的需求 4 （五）数据库选型 4 （六）数据缓存 4 四、数据难点解决 5 （一）存储解决 5 （二）索引优化解决 5 （三）备份及容灾解决 5 （四）垃圾数据清理解决 5 （五）数据库选型 5 （六）数据缓存解决 5 五、数据总结与实践 6 （一）表结构介绍 6 （二）索引介绍 6 （三）总结 6 结束语 7 参考文献 8 致谢 9
|
| 上一篇：基于移动平台的便利店购物系统设.. | 下一篇：基于JSP的网络书店设计与实现 |
| 点击查看关于 基于 Mysql8.0 用于 三方 评论 系统 数据库 结构设计 研究 的相关范文题目 | 【返回顶部】 |