浅析云环境下的大数据关键技术

分类：论文范文 发表时间：2019-07-05 10:58

　　云环境下，大数据技术的应用有利于提供丰富的数据信息资源，满足人们获取信息资源需要。同时，为促进其作用有效发挥，应该提高技术水平，确保大数据技术的安全与可靠，使其更好发挥作用。该文对云环境下的大数据关键技术进行初步的探讨和分析，并分析了大数据关键技术面临的挑战，提出相应的完善措施，希望能为实际工作开展提供启示。

　　《智能计算机与应用》办刊宗旨：刊发国内外智能计算机学术研究与技术应用成果，搭建计算机技术成果转化与学术交流的平台， 推进我国智能计算机研究与应用学科的发展。荣获1988，1991，1996，2000年黑龙江省优秀科技期刊。

　　当今世界，计算机和信息技术迅猛发展。云计算和大数据逐渐渗透到人们的日常生活和学习当中，为人们生活和工作提供便利。同时，为促进其作用有效发挥，应该把握大数据的关键技术，促进技术水平提高，促进其作用有效发挥，更好满足人们生活和工作需要，让云计算和大数据技术有效服务于人们的生活与工作。

　　1.云环境下大数据关键技术的作用

　　技術需求是大数据关键技术开发和应用首先需要明白的内容，对后续技术开发和具体应用发挥指导作用。具体是指对云环境下大数据技术在性能、功能、设计等方面的期望。需求分析的目的是阐述大数据技术的目的及意义，为大数据技术作用的发挥和有效应用提供指导。

　　1.1为大数据技术的应用创造条件

　　计算机和大数据技术在应用中，不仅推动信息技术的现代化，还能提升技术管理水平。尤其是在数据应用和处理工作中，更需要开发相应的技术系统，把握大数据的关键技术，顺应这种趋势，对大数据进行有效处理，促进工作水平提高。同时在技术开发和应用过程中，还要考虑技术的可扩展性以及与其他技术的兼容性，为技术升级和更新创造良好条件。大数据关键技术应用中，应该进行综合全面考虑，应用信息技术和互联网+技术，进行技术管理、系统管理、用户管理等各项功能操作，为大数据的有效利用，作用的充分发挥创造条件。

　　1.2促进大数据技术管理水平提高和作用的有效发挥

　　总的来说，云环境下，大数据处理流程如图1所示，其关键技术具备以下几项功能：满足技术更新和升级需要，注意技术研发和创新，大数据技术具备让管理员与用户互动的功能，采用科学管理模式促进技术管理效率提高，大数据技术满足系统开发，技术创新和发展的需要。在具备这些功能的前提下，合理进行云环境下的信息系统设计，促进大数据技术管理水平提高，为大数据技术水平提升和作用的充分发挥创造便利。

　　2.云环境下大数据关键技术的类型

　　云环境下，大数据技术的类型更加丰富，作用更为明显，能有效满足系统运行需要，为人们生活和工作提供便利。具体来说，大数据关键技术包括以下几种类型。

　　2.1JSP技术

　　大数据和云环境的具体应用中，为保证数据安全可靠，应该注重先进技术的应用，为人们使用计算机构建先进、安全、可靠的工作平台。同时也方便信息资料查阅，满足人们使用信息资源的需要。同时，在云环境大数据支持下，能够加快设备运行速度，方便信息资料查询，让使用计算机的工作流程得到简化，有利于提升工作效率。云环境下，JSP技术的组件性能较高，技术难度低，方便信息资料的使用和维护。并且系统的独立性强度，具有兼容性特征，能够重复使用，操作起来简单方便，具有良好的兼容性，可以有效满足大数据运行需要，为各项活动开展创造条件。具体工作中，JSP技术向客户端发出请求，并在服务器支持下转换和编译，高效处理发出的请求，满足人们使用的需要。

　　2.2Java Bean技术

　　JavaBean技术是一段Java小程序，利用Java语言编写，结构简单，使用方便，在系统运行中发挥积极作用，它的主要构成内容包括属性、事件、方法。每个JavaBean技术可以实现一个较为独特的功能，通过对该技术的组合和应用，可以生成新的应用程序，为人们使用计算机创造条件。JavaBean还能实现一次性编写，使用简单，操作方便，不受时间和地点束缚，为云环境下使用该技术提供便利。

　　2.3JDBC技术

　　具体是指Java数据库连接技术，主要构成内容包括接口和类，采用的是Java语言进行编写，可用于执行SQL语句。具体的程序开发和应用中，利用Java语言就可以完成数据库应用程序的编写任务。大数据环境下，JDBC技术具有重要作用，可以建立与数据库之间的密切联系，方便数据库信息传递和使用，并有效处理数据库的返回结果。通过JDBC技术的应用，能提高系统性能，确保工作平台有效开展各项活动，节约技术运行时间，提高设备综合性能，让数据库有效发挥作用。

　　2.4SQL Server数据库

　　SQL Server数据库也是大数据环境下重要的技术类型，它不仅能存储大量数据，还方便数据资料查询，满足用户使用信息资源需要，进而提高数据处理效率，确保信息技术处理效果。具体来说，云环境下，SQL Server数据库的综合性能高，系统管理工作水平高，具备强大的数据信息处理能力，能够保证数据安全，并具有强大的数据复制和管理功能。有利于提供良好的平台开发条件，方便用户操作，促进数据处理水平提升。

　　2.5节能技术

　　云环境下，节能技术扮演着十分重要的角色。它包括硬件和软件两个组成部分，硬件部分通过节能体系与节能结构来实现，软件部分通过节点动态运作方式来实现。通过该技术的应用，能有效降低云环境的能耗。

　　2.6数据容错技术

　　该技术的应用能提高大数据信息的可靠性，利用多样数据丢失后可以方便找回的特征，进而对数据进行处理。但该技术可能加大系统能耗，需要利用复制容错技术和纠删码容错技术(如图2所示)恢复和改进。

　　2.7云存储技术

　　云存储技术也是非常关键的内容，主要包括存储虚拟化技术、重复数据删除技术、分布式存储技术、数据备份技术、存储加密技术等。

　　3.云环境下大数据关键技术的保障措施

　　云环境下，为确保大数据关键技术作用的有效发挥，应该提供相应的保障措施，创造良好的硬件和系统运行环境，并加强大数据的安全管理工作。

　　3.1合理配置硬件运行环境

　　包括服务器和PC客户端，服务器由文件、数据、应用程序服务器组成。最好采用3T以上硬盘，4G内存，Core双核四线程以上处理器，选用DELL、HPJBM任意一款服务器即可，采用四核CPU、32G内存、500G硬盘，可以同时支持几百台PC机访问。PC客户端最低标准为Intel Celeron处理系统、512M内存、160G硬盘。通过保证硬件环境，满足云环境和大数据运行需要，为促进大数据技术作用的有效发挥奠定基础。

　　3.2确保系统运行环境良好

　　大数据运行环境方面，系统在Windows平台上运行，只需Windows Server2000～2003以上的操作系统即可，客户端在Win—dows XP上运行。并对开发工具进行有效利用与整合，既满足大数据运行需要，还能提高运行效率，方便大数据系统以后的更新和升级，也便利系统功能的拓展与完善。在大数据运行环境方面，选用SQL Server2000，同时还合理应用Aeeess，Oracle，Sybose，SQL Server等，以滿足系统开发需要，完善数系统功能，提高大数据工作效率。一般而言，系统运行和开发环境为：Windows 2003 Advanced Server/XP,Tomcat 6.x，主要工具为Drearnweaver&O，MyEclipe&5，同时还根据系统设计需要合理采用Tomcat6.0，SOL Server 2000，Windows XP操作系统。这样既满足大数据运行需要，还能完善系统设置，也为大数据更新和升级、功能进一步完善创造条件。

　　3.3采取相应的安全保障措施

　　一方面，为保障大数据的安全，与Internet连接设置防护墙技术，进行用户权限设置，设置安全密码，安装防病毒软件，去掉测试账号和共享账号。另一方面，为保障大数据的安全，严格限制管理权限和用户访问权限，使用安全的密码，设置强度高的密码，重视记录数据库日志的审核与管理。另外为保证权限级别安全，系统还给不同用户分配不同访问权限，禁止未注册用户访问，对用户名和密码进行校验和审核，防止非法访问，确保数据信息安全。建立并落实安全管理制度，加强云环境和大数据运行的管理，杜绝不法分子篡改数据，实现有效保障大数据安全的目的。

　　4.云环境下大数据关键技术面临的挑战及展望

　　由于管理措施不健全，一些工作人员的技术水平偏低，制约大数据关键技术作用的发挥，需要采取完善措施。

　　4.1面临的挑战

　　例如，网络发展滞后，加大数据处理难度。或者数据丢失，可能导致数据的真实性不足。此外，个性信息安全泄露也是需要解决的问题。

　　4.2展望

　　在数据存储位置对数据进行处理，做好数据评估和分析工作，从大量数据中精确定位，进而收集高质量的数据进行处理。注重数据资料收集，确保数据样本全面和真实，提高数据处理结果的可靠性。注重防护墙技术、密钥技术的应用，有效保障数据安全，避免个人信息泄露。

　　5.结束语

　　总之，云环境下，为促进大数据关键技术作用的有效发挥，应该结合具体需要，合理选择相应的技术措施，完善系统功能，并加强安全管理。作为工作人员，也要重视大数据关键技术的创新，善于总结经验，提高系统技术水平，促进大数据作用的有效发挥。

上一篇：心理健康教育在大学生思想政治教育中的应用研 下一篇：民事诉讼中的近亲属拒绝作证权