本发明涉及一种基于大数据的数据处理方法包括步骤S101,获取各数据的数据特征以对数据进行分类;步骤S102,根据各种类数据的实际数量选择发送该种类数据的数据发送通道的数量;步骤S103,根据数据种类确定发送对应种类数据的数据发送通道的数量,并传输对应种类的数据;步骤S104,获取各数据发送通道的实际传输速度,并根据各数据发送通道的实际传输速度选择性对传输的数据进行压缩。本发明通过对剩余未发送数据进行压缩,可以有效的降低数据的大小,以增加单位时间内的数据传输速度,进一步的保证了数据传输效率,并有效的提高了数据传输速度。
本申请公开了一种基于OpManager的存储监控管理方法、系统及存储介质,其涉及存储设备管理技术领域,该方法包括如下步骤获取存储设备的历史故障数据和多维度的历史数据;将所述历史数据分离为正常历史数据和突增历史数据;基于所述正常历史数据构建初始数据预测模型;基于所述历史故障数据和所述突增历史数据对所述初始数据预测模型进行优化,得到数据预测模型;通过所述数据预测模型对数据增长进行预测,并根据预测结果规划所述存储设备的存储容量。本申请具有数据中心对存储设备的管理可以应对数据存储过程导致数据突变的突发事件。
本发明实施例公开了一种基于Lua的工控私有协议检测方法及装置，其中，所述方法包括：利用UI组件以可视化的方式进行组态和Lua编程，定义工控私有协议;其中，所述工控私有协议包括协议格式和扩展的检测逻辑;触发预设的Lua虚拟机启动，并加载定义的所述工控私有协议包括的协议格式和扩展的检测逻辑;基于预设的工控DPI引擎和所述Lua虚拟机实现协议的解析和检测。采用本发明所述的基于Lua的工控私有协议检测方法，能够从工控私有协议的定义到过滤规则的生成形成一体化过程，用户无需更多的介入，大大节省了用户的精力和时间，更加直观和易用性更强，且不需要公开私有协议内容，也不需要重新编码工控DPI引擎解码和检测逻辑。
本发明实施例公开了工控DPI引擎AFL模糊测试方法、装置和设备，该方法包括：对原始DPI程序代码加入AFL测试代码，以加入解析和形成待测模块的原始数据的代码逻辑;从源码编译程序时进行插桩，以记录代码覆盖率;启动插桩后的DPI程序进行流量学习生成AFL模糊测试的原始数据;检查所述原始数据是否合法;如果所述原始数据合法，则根据所述原始数据对DPI指定模块进行所述AFL模糊测试，以测试所述DPI指定模块运行时程序是否崩溃。本发明通过流量学习快速的生成AFL的初始输入文件，提高AFL的效率。
本发明公开了一种搜索请求的处理方法及装置。其中，该方法包括：接收搜索用户的搜索请求;通过识别上述搜索请求中是否存在桶名，确认上述搜索请求的类型，其中，上述类型包括：全局搜索和指定桶搜索;基于上述搜索请求的类型，确定上述搜索请求的访问权限，其中，上述访问权限用于确定搜索范围;接收服务器基于上述搜索请求的访问权限，而返回到查询结果。本发明解决了现有技术中存在基于搜索请求来访问数据的过程中，无法灵活控制搜索范围和内容的技术问题。
本发明公开了一种分布式存储数据处理方法和装置。其中，该方法包括：在接收到来自目标客户端的数据操作请求的情况下，检测分布式存储系统中是否配置有快照模块，其中，上述数据操作请求至少包括：数据写入请求和数据读取请求;依据检测结果确定与上述数据操作请求对应的操作方式;在操作成功的情况下，返回数据操作结果至上述目标客户端。本发明解决了现有技术中分布式存储系统的数据处理方法存在快照占用的存储空间较大的技术问题。
本发明公开了一种空间回收方法、装置、存储介质以及处理器。其中，该方法包括：基于回收扫描遍历预定索引池的统计计数对象，确定统计计数对象中归并大对象的空间使用数据;依据空间使用数据，确定预定索引池关联的数据池的可回收空间;按照预设的空间回收规则对数据池的可回收空间进行空间回收。本发明解决了相关技术中的对象存储系统多线程模型进行空间回收导致线程在切换中占用资源的技术问题。
本发明公开了一种数据处理的方法和装置。其中，该方法包括：检测目标传输速率，其中，目标传输速率为客户端和服务器之间的数据传输速率;根据检测到的目标传输速率调整目标数据恢复速率的大小，其中，目标数据恢复速率为恢复服务器中已损坏数据的速率;按照调整之后的目标数据速率恢复已损坏数据。本发明解决了现有技术中由于目标数据恢复速率为恒定的速率导致的数据恢复较慢的技术问题。
