路人书

手机浏览器扫描二维码访问

第239章 幻大数据压缩研究（第1页）

任何一个随机大数据，都有两种可能，一种是可以用极少数的算式就能得出，比如1024的1024次方；另一种是可以用极少数的算式就能近似得出，也就是用一个算式，能够得出重合率达到百分之八十的数值，只需要一些不重合区域的表达式就可以还原。

按照进制，分为十进制大数据，十六进制大数据，二进制大数据。

数据的进制可以转换，而当数据足够大时，进制的转换会导致运算资源占用，也就需要有对应的进制的数据压缩方法。

二进制无理数专用处理器：生成二进制的圆周率，生成二进制的黄金分割率，生成任意正整数的以自身为开方数的数值，阶除——也就是1除以2除以3除以4除以5一直到特定中止位置的取小数部分。

随机重合排列关系专用处理器：在二进制中，随机找出一个无理数（数据卡尺）和一个有理数数据（需要被转化为最短表达式的原始数据）的数据重合部分，把这些重合表达为最短表达式，当然，一个原始数据不可能只采用一个数据卡尺。

发展下去，大数据就需要有专用的数据卡尺服务器，也就是小的数据卡尺服务器，可以常备1000多个数据卡尺，而大的数据卡尺服务器，可以常备千万亿级别的数据卡尺。

数据卡尺越多，越容易生成最短表达式。

数据卡尺的用法：

一元数据卡尺：把原始数据和数据卡尺进行比对，找出其中重合部分，把重合部分记录为数据卡尺引用段落表达式。

二元数据卡尺：把原始数据和两个数据卡尺进行比对，找出其中重合部分，把重合部分记录为数据卡尺引用段落表达式，当不重合出现时，就对数据卡尺进行偏移运算，准备从两个数据卡尺的偏移不进位加法或不进位减法中生成能和原始数据重合的段落，从而只需要记录偏移运算（两个数据卡尺的偏移数据，开始引用段落起点和结束引用段落终点）和所采用的是不进位加法还是不进位减法。

三元数据卡尺：把原始数据同长度等分为足够短的有限位段落，从而让重合率提高，可以把自身作为数据卡尺，也就是先生成1GB的还原数据，然后以这1GB的数据作为数据卡尺，以此类推。

快速压缩方式：常用于紧急数据转移。

把大数据同长度等分，然后求出其平均数，设立一个个的分组，比如第一个分组，小于4096而大于512的数，出现过多少次……，然后对一个个数据分组进行校验码记录，这种方式优点是不需要动用数据卡尺，也就不需要连接数据卡尺服务器，保密性相对较好，本身可以采用单机方式运作，可用于极限情况下的数据转移，缺点是后期还原难度相对引用数据卡尺要高，后期数据还原需要占用足够多的穷举运算资源。

一般情况下，都是采用快速压缩方式，作为备份的数据纠错或数据验算区域，作为一种保险方式，避免压缩文件被部分篡改或传输错误导致的数据不可用。

看小说，630book

请关闭浏览器阅读模式后查看本章节，否则将出现无法翻页或章节内容丢失等现象。