程序员转行大数据必须要懂的这些知识
wxin55 2024-11-05 12:54 12 浏览 0 评论
489034603
大家都说“我要做大数据”， 然后“你想象中的做大数据到底是做什么？”，大多数人往往说不出来。
显然，对于大数据行业的生态，未来大数据领域都有哪些发展机会、不同岗位需要具备什么能力，很多人都不了解。
大数据业务流程有4个基本环节，分别是业务理解、数据准备、数据挖掘、分析应用。在这个流程里有三个职能领域：大数据系统研发，承担整个运营系统的构建与维护、数据准备、平台与工具开发；大数据挖掘，负责关键模型应用与研究工作；大数据分析应用：既是外部需求的接入者，也是解决方案的输出者，很多时候也会承担全盘统筹的角色。
大数据抽取转换及加载过程（ETL）是大数据的一个重要处理环节，Extract即是从业务数据库中抽取数据，Transform即是根据业务逻辑规则对数据进行加工的过程，Load即是把数据加载到数据仓库的过程。
489034603
数据抽取工具实现db到hdfs数据导入功能，提供高效的分布式并行处理能力，可以采用数据库分区、按字段分区、分页方式并行批处理抽取db数据到hdfs文件系统中，能有效解决按字段分区数据导致各分区数据不均匀导致作业负载不均衡的问题。
数据采集可以是历史数据采集也可以是实时数据采集，可以采集存储在数据库这种结构化数据，也可以采集各类文本、图片、图像和音频、视频 等等非结构化数据，另外还可以采集结构变化很大的半结构化数据，数据采集完毕后可以直接存储在交通状态分析平台上（存储方式有两种：关系型存储、非关系型存储），经过处理、存储的数据可以进行批量输出、实时输出以及高并发输出接口。
1) 数据采集
支持使用传统ETL的方式从关系数据库（Oracle、DB2、SQL Server、MySQL、PostgreSQL）获取关系型数据，保存到分布式存储系统中。支持使用自主研发的适配器、组件从Excel、文本文件解析数据，保存到分布式存储，以及使用适配器采集视频、音频等。
支持从Kafka实时接收业务数据，保存到分布式存储系统中。
支持通过Flume实时获取日志数据包括从Linux console、RPC（Thrift-RPC）、文本文件、Unix tail、syslog日志系统获取日志数据，并保存到分布式数据库中。
2)分布式存储和访问
分布式存储系统用于将数据分散存储在多台独立的设备上，以避免传统的集中式存储导致系统性能、可靠性瓶颈的产生的问题，以满足大规模存储应用的需要。
支持采用HDFS（Hadoop Distribution File System）、Hive、HBase作为分布式存储系统。这些Hadoop核心组件同时也提供了底层的访问接口，用于数据访问。
3)数据处理
可为每个作业分配独立的作业任务处理工作线程和任务执行队列，作业之间互不干扰 。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理，以达到节约整体计算时间，大大提高计算效率的目的。
4)数据分享
支持以HTTP Restful接口方式、Web Service接口方式，以及JDBC/ODBC等方式分享数据。可采用批量输出、实时输出和高并发输出的形式，不同的输出形式可以使用不同的大数据组件来完成。
另外，如果小伙伴想学习大数据技术，可以加下图片下面的交流群，群里有很多学习视频都可以下载，而且每天大数据架构师马士兵老师都会在群里分享大数据的技术。。
相关推荐
- ES6中 Promise的使用场景?（es6promise用法例子）
-
一、介绍Promise，译为承诺，是异步编程的一种解决方案，比传统的解决方案（回调函数）更加合理和更加强大在以往我们如果处理多层异步操作，我们往往会像下面那样编写我们的代码doSomething(f...
- JavaScript 对 Promise 并发的处理方法
-
Promise对象代表一个未来的值，它有三种状态：pending待定，这是Promise的初始状态，它可能成功，也可能失败，前途未卜fulfilled已完成，这是一种成功的状态，此时可以获取...
- Promise的九大方法（promise的实例方法）
-
1、promise.resolv静态方法Promise.resolve(value)可以认为是newPromise方法的语法糖,比如Promise.resolve(42)可以认为是以下代码的语...
- 360前端一面~面试题解析（360前端开发面试题）
-
1.组件库按需加载怎么做的，具体打包配了什么-按需加载实现：借助打包工具（如Webpack的require.context或ES模块动态导入），在使用组件时才引入对应的代码。例如在V...
- 前端面试-Promise 的 finally 怎么实现的?如何在工作中使用?
-
Promise的finally方法是一个非常有用的工具，它无论Promise是成功（fulfilled）还是失败（rejected）都会执行，且不改变Promise的最终结果。它的实现原...
- 最简单手写Promise，30行代码理解Promise核心原理和发布订阅模式
-
看了全网手写Promise的，大部分对于新手还是比较难理解的，其中几个比较难的点：状态还未改变时通过发布订阅模式去收集事件实例化的时候通过调用构造函数里传出来的方法去修改类里面的状态，这个叫Re...
- 前端分享-Promise可以中途取消啦（promise可以取消吗）
-
传统Promise就像一台需要手动组装的设备，每次使用都要重新接线。而Promise.withResolvers的出现，相当于给开发者发了一个智能遥控器，可以随时随地控制异步操作。它解决了三大...
- 手写 Promise（手写输入法 中文）
-
前言都2020年了，Promise大家肯定都在用了，但是估计很多人对其原理还是一知半解，今天就让我们一起实现一个符合PromiseA+规范的Promise。附PromiseA+规范地址...
- 什么是 Promise.allSettled()!新手老手都要会?
-
Promise.allSettled()方法返回一个在所有给定的promise都已经fulfilled或rejected后的promise，并带有一个对象数组，每个对象表示对应的pr...
- 前端面试-关于Promise解析与高频面试题示范
-
Promise是啥，直接上图：Promise就是处理异步函数的API，它可以包裹一个异步函数，在异步函数完成时抛出完成状态，让代码结束远古时无限回掉的窘境。配合async/await语法糖，可...
- 宇宙厂:为什么前端离不开 Promise.withResolvers() ?
-
大家好，很高兴又见面了，我是"高级前端进阶"，由我带着大家一起关注前端前沿、深入前端底层技术，大家一起进步，也欢迎大家关注、点赞、收藏、转发。1.为什么需要Promise.with...
- Promise 新增了一个超实用的 API!
-
在JavaScript的世界里，Promise一直是处理异步操作的神器。而现在，随着ES2025的发布，Promise又迎来了一个超实用的新成员——Promise.try()！这个新方法简...
- 一次搞懂 Promise 异步处理（promise 异步顺序执行）
-
PromisePromise就像这个词的表面意识一样，表示一种承诺、许诺，会在后面给出一个结果，成功或者失败。现在已经成为了主流的异步编程的操作方式，写进了标准里面。状态Promise有且仅有...
- Promise 核心机制详解（promise机制的实现原理）
-
一、Promise的核心状态机Promise本质上是一个状态机，其行为由内部状态严格管控。每个Promise实例在创建时处于Pending（等待）状态，此时异步操作尚未完成。当异步操作成功...
- javascript——Promise（js实现promise）
-
1.PromiseES6开始支持，Promise对象用于一个异步操作的最终完成（包括成功和失败）及结果值的表示。简单说就是处理异步请求的。之所以叫Promise，就是我承诺，如果成功则怎么处理，失败怎...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- ES6中 Promise的使用场景?（es6promise用法例子）
- JavaScript 对 Promise 并发的处理方法
- Promise的九大方法（promise的实例方法）
- 360前端一面~面试题解析（360前端开发面试题）
- 前端面试-Promise 的 finally 怎么实现的?如何在工作中使用?
- 最简单手写Promise，30行代码理解Promise核心原理和发布订阅模式
- 前端分享-Promise可以中途取消啦（promise可以取消吗）
- 手写 Promise（手写输入法 中文）
- 什么是 Promise.allSettled()!新手老手都要会?
- 前端面试-关于Promise解析与高频面试题示范
- 标签列表
-
- hive行转列函数 (63)
- sourcemap文件是什么 (54)
- display none 隐藏后怎么显示 (56)
- 共享锁和排他锁的区别 (51)
- httpservletrequest 获取参数 (64)
- jstl包 (64)
- qsharedmemory (50)
- watch computed (53)
- java中switch (68)
- date.now (55)
- git-bash (56)
- 盒子垂直居中 (68)
- npm是什么命令 (62)
- python中+=代表什么 (70)
- fsimage (51)
- nginx break (61)
- mysql分区表的优缺点 (53)
- centos7切换到图形界面 (55)
- 前端深拷贝 (62)
- kmp模式匹配算法 (57)
- jsjson字符串转json对象 (53)
- jdbc connection (61)
- javascript字符串转换为数字 (54)
- mybatis 使用 (73)
- 安装mysql数据库 (55)