“全省5个综合保税区合计进出口657.1亿元,增长28.6%;安徽自由贸易试验区进出口959.3亿元,增长28.5%。综合保税区进出口更趋平衡,对外开放平台带动作用明显。”辛建民表示,将继续细化落实海关总署促进外贸保稳提质的各项措施,紧密结合安徽开放发展实际,强化监管优化服务,着力促进安徽外贸保稳提质大数据挖掘其意义不在于数据本身,而是其隐藏信息的分析和应用才是有价值的。对这些数据的充分利用和挖掘是未来企业生存的能力。通过分析大数据技术在电子商务领域的应用和关键技术,提出了大数据背景下农村电商营销策略及对策,为农村电商的发展提供了方向,
一、大数据特征
数据量大。大数据往往是对全量数据进行采集和分析,以此其产生的数据规模远远超出传统数据的采集,据估算,2025年世界上存储的数据总量达到175ZB,即175X210GB。数据类型繁多,指的是数据结构复杂,有结构化的数据、非结构化的数据和平结构化数据,其数据类型早已不是单一的文本,如网络志、多媒体信息、地理位置信息等多种类型的数据格式,对计算提出了新的要求。
数据产生速度快,包含两层意思,其一是指数据产生的快,其二是指数据处理的速度快,数据处理按“一秒钟定律”,即在秒计时间内完成数据的采集、挖掘和分析,并将有用信息推送到应用端,超过这个时间,则被认为数据失去了价值;数据价值密度低,海量数据居多,并且有些应用只是对这些大量数据中提取其中一小部分信息。大数据的应用,重点不在于堆积数据,而是在于数据的利用,以做出更好、更科学的决策,因此大数据的核心在于海量数据的分析和应用。
二、农村电商大数据关键技术
(一)大数据采集
农产品电商数据采集就是对数据进行端到端的抽取、转换、加载到目的端的操作,也称为ETL操作,它是数据分析生命周期中重要的一个环节,通过传感器、射频技术、APP数据、质量监管部门提供的数据等方式获取数据。由于数据非常复杂,需要一些采集工作进行事先处理,将数据加载到制定的数据库中。
(二)大数据预处理
通常大数据平台采集的数据较为复杂,可以认为是“脏”数据,比如缺少属性值或者仅仅包含聚集数据等,因此需要对数据进行预处理,常见的数据预处理包含如下几种方式:一是数据清洗,用来对数据进行降噪,或者对错误数据进行纠正。二是数据集成,将采集到的数据进行统一处理和存储。三是数据归约,通过聚集、删除冗余的数据降低数据存储空间。四是数据变化,把数据压缩到一个较小的范围或者区间。
(三)大数据存储
大数据的存储需要特定的设备,其具备高效率、高吞吐量、高运算、高空间的特点。为了能够快速、稳定存储有极大差别的数据,至少得磁盘阵列,同时也得通过分布式的方式将不同区域、类别、级别的数据存放于不同的磁盘阵列中。[4]在分布式存储系统中包含多个自主的处理单元,通过彼此之间的协作来完成分配的任务,其主要包含两类存储系统,分布式文件系统、分布式键值系统。