哲学原理27.Linux-DM9000C网卡移植(详解)

by admin on 2018年9月25日

直达一致节约 我们念了:  

引言

每当直达平等篇 深数量上系列之四 —–
Hadoop+Hive环境多建筑图文详解(单机)
和之前的酷数量上系列之二 —–
HBase环境搭建(单机)
中成功搭建了Hive和HBase的环境,并展开了对应的测试。本文主要出口的是怎么用Hive和HBase进行整合。

网卡驱动介绍和做虚拟网卡驱动:  http://www.cnblogs.com/lifexy/p/7763352.html

Hive和HBase的通信意图

Hive与HBase整合的实现是应用两者本身对外的API接口互相通信来形成的,其实际工作到由Hive的lib目录中之hive-hbase-handler-*.jar工具类来贯彻,通信原理如下图所示。
哲学原理 1

对接下去本节,学习网卡芯片DM9000C,如何编写移植DM9000C网卡驱动程序。

Hive整合HBase后的下状况:

(一)通过Hive把数据加载到HBase中,数据源可以是文本为得以是Hive中的表明。
(二)通过做,让HBase支持JOIN、GROUP等SQL查询语法。
(三)通过整合,不仅只是得HBase的多少实时查询,也堪下Hive查询HBase中之数据就复杂的数量解析。

 

同一、环境选择


1,服务器选择

当地虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G

 

2,配置选

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)
HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)

1.率先来拘禁DM9000C原理图

3,下载地址

官网地址
JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/
HBase:
http://mirror.bit.edu.cn/apache/hbase/

百度云盘
链接:https://pan.baidu.com/s/1jIemIDC 密码:uycu

如下图所示:

亚、服务器的连锁安排

在部署Hadoop+Hive+HBase之前,应该先行开一下布局。
开这些安排为有利于,使用root权限。

 哲学原理 2

1,更改主机名

率先更改主机名,目的是为方便管理。
输入:

hostname 

查看本机的号
然后改变主机名也master
输入:

hostnamectl set-hostname master

注:主机名称改成后,要更开(reboot)才会收效。

  (#:表示没有电平有效)

2,做IP和主机名的照耀

改hosts文件,做涉嫌映射
输入

vim /etc/hosts

添加
长机的ip 和 主机名称

192.168.238.128 master
  • SD0~15: 16号数据线,有CMD引脚决定访问类型
  • CMD:      命令线,当CMD为胜,表示SD
    传输的是数,CMD为小表示传输的是地方
  • INT:      
      
    停顿引脚,接在2440底GPF7下上
  • IOR#:    
     
    读引脚,接在2440的nOE脚上
  • IOW#:  
      
    写引脚,接在2440的nWE脚上
  • CS#:    
      
    片选,放在2440之bank4的片选上面

3,关闭防火墙

关门防火墙,方便访问。
CentOS 7版本以下输入:
闭馆防火墙

service   iptables stop

CentOS 7 以上之本子输入:

systemctl stop firewalld.service

1.1内部2440手册的bank4地址区间如下图:

4,时间设置

翻看时时
输入:

date

查看服务器时间是否一致,若未相同则改
变更时间命令

date -s ‘MMDDhhmmYYYY.ss’

 哲学原理 3

5,整体的条件布置

/etc/profile 的整体部署

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2


# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive

# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4

# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2

# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

哲学原理 4

流淌:具体的安排为自己之吗依照,没有的永不配置。

bank4的间隔在: 0X20000000~0X28000000,当我们看这个距离的地点,内存控制器便会使能网卡DM9000C的设能下,所以我们的DM9000C的io基地址=0X20000000

其三、Hadoop的条件布置

Hadoop的现实安排当良数额上系列之一 —–
Hadoop环境搭建(单机)
中介绍得老大详细了。所以本文就大致介绍一下。
流动:具体部署为友好之呢按照。

其中DM9000C的CMD引脚接在bank4的LADDR2上面

1,环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

布文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

因此当以地址0X2000 0000及宣读写多少经常,表示读写的多寡是DM9000C的地方

2,配置文件更改

预先切换至 /home/hadoop/hadoop2.8/etc/hadoop/ 目下

走访的地址0X2000 0100臻宣读写多少常常,表示读写的多少是DM9000C的多寡

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

 

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改也协调的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/home/java/jdk1.8

1.2
DM9000C收发过程

3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在添加:

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

当DM9000C收到外部的数额后,会暂存到内地址被,然后发一个升沿中断,等待2440读取数据

3.2.4 修改mapred-site.xml

倘无 mapred-site.xml
该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:

vim mapred-site.xml

改者新建的mapred-site.xml文件,在节点内投入配置:

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

当DM9000C将2440之数转发出来后,也会发生一个升起沿中断给2440

3,Hadoop启动

启航前用先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop  namenode  -format

格式化成功后,再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

启动成功后,输入jsp查看是否启动成功
于浏览器输入 ip+8088 和ip +50070 界面查看是否会顾
可知科学访问则启动成功

正如图所示,DM9000C的刹车引脚位于pin34底下

季、Hive的条件布置

Hive环境之求实部署在自身的即首那个数量上系列的四 —–
Hadoop+Hive环境多建筑图文详解(单机)
以及介绍得稀详细了。本篇就横介绍下。

 哲学原理 5

修改hive-site.xml

切换到 /opt/hive/hive2.1/conf 目录下
拿hive-default.xml.template 拷贝一份,并重命名为hive-site.xml
然后编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件,在 中添加:

<!-- 指定HDFS中的hive仓库地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 该属性为空表示嵌入模式或本地模式,否则为远程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的连接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驱动类 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用户名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密码 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

接下来拿布文件被兼有的

${system:java.io.tmpdir}

改为 /opt/hive/tmp (如果没有拖欠公文则开创),
并以是文件夹赋予读写权限,将
${system:user.name}
更改为 root

例如:
变更之前的:
哲学原理 6
变动后:
哲学原理 7

配置图:
哲学原理 8

流淌: 由于hive-site.xml
文件被之安排了多,可以经FTP将它下载下来进行编制。也足以直接配置好所用的,其他的得去除。
MySQL的连日地址被之master是主机的号,可以转移成ip。

哲学原理 9

修改 hive-env.sh

改hive-env.sh 文件,没有就复制 hive-env.sh.template
,并重命名为hive-env.sh

以是布局文件被补充加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

通在2440底GPF7引起脚上,使用的间歇为EINT7

补加 数据驱动包

鉴于Hive 默认自带的数据库是以mysql,所以这块就是之所以mysql
拿mysql 的使包 上传 /opt/hive/hive2.1/lib

 

五、HBase的条件布置

HBase环境的切实安排在自之马上首很数目上系列之二 —–
HBase环境搭建(单机)
以及介绍得稀详细了。本篇就大致介绍下。

连着下就是来修改厂家提供的DM9000C源代码

修改 hbase-env.sh

编制 hbase-env.sh 文件,添加以下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

说明:配置的不二法门为协调的吗依照。HBASE_MANAGES_ZK=false
是无启用HBase自带的Zookeeper集群。

2.发觉她的init_module()入口函数前发个规格编译

修改 hbase-site.xml

编排hbase-site.xml 文件,在增长如下配置

<!-- 存储目录 -->
<property>  
 <name>hbase.rootdir</name>  
 <value>hdfs://test1:9000/hbase</value>  
 <description>The directory shared byregion servers.</description>  
</property>  
<!-- hbase的端口 -->
<property>  
 <name>hbase.zookeeper.property.clientPort</name>  
 <value>2181</value>  
 <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.  
 </description>  
</property>  
<!--  超时时间 -->
<property>  
 <name>zookeeper.session.timeout</name>  
 <value>120000</value>  
</property>  
<!--  zookeeper 集群配置。如果是集群,则添加其它的主机地址 -->
<property>  
 <name>hbase.zookeeper.quorum</name>  
 <value>test1</value>  
</property>  
<property>  
 <name>hbase.tmp.dir</name>  
 <value>/root/hbase/tmp</value>  
</property>  
<!-- false是单机模式,true是分布式模式  -->
<property>  
 <name>hbase.cluster.distributed</name>  
 <value>false</value>  
</property>

征:hbase.rootdir:这个目录是region server的共享目录,用来持久化Hbase
。hbase.cluster.distributed
:Hbase的周转模式。false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在跟一个JVM里面。

哲学原理 10

六、Hive整合HBase的条件布置与测试

为此若诠释掉 “#ifdef MODULE” 和 “#endif”

1,环境布置

因为Hive与HBase整合的落实是采用两者本身对外的API接口互相通信来成功的,其切实做事暨由Hive的lib目录中的hive-hbase-handler-.jar工具类来实现。所以特需要拿hive的
hive-hbase-handler-
.jar 复制到hbase/lib中即好了。
切换到hive/lib目录下
输入:

cp hive-hbase-handler-*.jar /opt/hbase/hbase1.2/lib

哲学原理 11
横流:
如果当hive整合hbase中,出现版本之类的题材,那么为hbase的本为主,将hbase中之jar包覆盖hive的jar包。

3.改动入口出口函数称呼,并修饰它们(修改函数誉为避免和根本的其它函数重名)

2,hive和hbase测试

当展开测试的早晚,确保hadoop、hbase、hive环境已经成功搭建筑好,并且还成启动了。
开辟xshell的有数单命窗口
一个进来hive,一个进来hbase

 哲学原理 12

6.2.1于hive中开创映射hbase的发明

以hive中开创一个映射hbase的申,为了便利,设置两限的表名都也t_student,存储的阐发也是此。
在hive中输入:

create table t_student(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:name") tblproperties("hbase.table.name"="t_student","hbase.mapred.output.outputtable" = "t_student");

说明:第一个t_student
是hive表中的称呼,第二只t_student是概念在hbase的table名称
,第三单t_student 是储存数据表的名称(“hbase.mapred.output.outputtable”
= “t_student”这个可以绝不,表数据就囤于亚独表中了) 。
(id int,name string)
这个是hive表结构。如果如多字段,就因为这种格式增加。如果一旦追加字段的诠释,那么以字段后面添加comment
‘你一旦描述的’。
例如:
create table t_student(id int comment ‘StudentId’,name string comment
‘StudentName’)
org.apache.hadoop.hive.hbase.HBaseStorageHandler 这个是点名的存储器。
hbase.columns.mapping 是概念在hbase的列族。
如:st1就是列族,name就是排。在hive中开创表t_student,这个发明包括个别只字段(int型的id和string型的name)。
映射为hbase中之表t_student,key对应hbase的rowkey,value对应hbase的st1:name列。

说明成功开创之后
以hive、hbase分别中查看表和发明结构
hive中输入

show tables;
describe t_student;

hbase输入:

list
describe ‘t_student’

哲学原理 13

哲学原理 14
可以看出表已经成功之缔造了

哲学原理 15

6.2.2多少并测试

进入hbase之后
在t_student中补充加少长达数据 然后查询该表

put 't_student','1001','st1:name','zhangsan'
put 't_student','1002','st1:name','lisi'
scan 't_student'

哲学原理 16

接下来切换至hive中
询问该表
输入:

select * from t_student;

哲学原理 17

下一场在hive中剔除该表
流淌:因为做测试要扣结果,所以将表删除了。如果同学等如果举行测试的话语,是没必要去该表的,因为以后头还会见采用该表。

然后查hive和hbase中的阐发是否去了
输入:

drop table t_student;

哲学原理 18

哲学原理 19
经过这些可以看来hive和hbase之间的多寡成功并!

哲学原理 20

6.2.3事关查询测试

 

hive外部表测试

先以hbase中构筑同等张t_student_info表,添加两个列族
接下来查看表结构
输入:

create 't_student_info','st1','st2'
describe 't_student_info'

哲学原理 21

然后以hive中创造外部表
证实:创建外部表要使用EXTERNAL 关键字
输入:

create external table t_student_info(id int,age int,sex string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:age,st2:sex") tblproperties("hbase.table.name"="t_student_info");

哲学原理 22

然后在t_student_info 中上加多少

put 't_student_info','1001','st2:sex','man'
put 't_student_info','1001','st1:age','20'
put 't_student_info','1002','st1:age','18'
put 't_student_info','1002','st2:sex','woman'

哲学原理 23

下一场于hive中查询该表
输入:

select * from t_student_info;

哲学原理 24

询问及多少以后,然后将t_student 和t_student_info进行关联查询。
输入:

select * from t_student t join t_student ti where t.id=ti.id ;

哲学原理 25
证明:通过涉及查询,可以得出表之间是得提到查询的。但是明显看到hive
使用默认的mapreduce 作为引擎是多么的迟缓。。。

另外证明:
是因为投机的虚拟机配置实在太渣,即使调大reduce内存,限制每个reduce处理的数据量,还是大,最后没办法使企业之测试服务拓展测试。
当询问同一张表的早晚,hive没有以引擎,因此相对较快,如果是进展了干查询之类的,就会下引擎,由于hive默认的引擎是mr,所以会见生缓慢,也同安排有必然关联,hive2.x以后官方就未建议采用mr了。

正文到此结束,谢谢阅读!
版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
村办博客出处:http://www.panchengming.com
原创是,转载请标明出处,谢谢!

4.改动驱动的硬件相异性(设置基地址,寄存器,中断等)

4.1预先来寻觅找代码在何初始化DM9000C硬件的

进入dm9000c_init()

       ->
dmfe_probe()

其中dmfe_probe()函数如下:

struct net_device * __init dmfe_probe(void)
{
struct net_device *dev;

dev= alloc_etherdev(sizeof(struct board_info));          //分配一个net_device结构体
... ...

err = dmfe_probe1(dev);                                 //调用dmfe_probe1()函数
... ...

err = register_netdev(dev);                            //向内核注册net_device结构体
... ...
}

显然dmfe_probe1()函数就是故来初始化DM9000C硬件及设置net_device结构体的成员用之

 

4.2
进入dmfe_probe1()函数

正如图,这个iobase
变量就是咱DM9000C的io基地址0x20000000

 哲学原理 26

 

iobase的作用:

而达到图,
读一破DM9000C的VID低字节之前,需要先用地址与为0x20000000,也即是将DM9000C的CMD置0,然后向0x20000000形容副如果读之DM9KS_VID_L地址值

末段又用地方+4,也不怕是赋为0x20000100,将CMD置1,然后读出0x20000100之价,也便是DM9000C的VID低字节

DM9000C的读写方式都是这般的,先以CMD置0,写入DM9000C的地方,然后再以CMD置1,来读写多少

 

4.3于是在init函数中就又设置iobase
变量,其中iobase是int型

 哲学原理 27

并在exit出口函数中,添加iounmp()

 哲学原理 28

4.4
继续进入dmfe_probe1()函数,往下看

如下图所示,屏蔽红框里的代码,该代码用来甄别版本,我们的DM9000C版本号不相同,所以要屏蔽

哲学原理 29

4.5
在init函数中,修改中断名,将irq改吗IRQ_EINT7

 哲学原理 30

4.6
修改中断

当用了register_netdev()注册了网卡驱动net_device后,在基本中采用ifconfig就见面跻身net_device->open成员函数申请中断,激活队列等

所以我们而修改open成员函数的提请中断函数,将沾中断改呢“IRQT_RISING”,上升沿触发

 哲学原理 31

5.接下来就是起安装2440之囤积控制寄存器

安2440之bank4的硬件位富有,时序,因为不同之硬件,涉及的数目收发都不比,

5.1装置BWSCON总线宽度控制寄存器

俺们就设置BANK4的情,所以只有脚3个(BANK0的个宽由OM[1:0]
硬件设置)

 哲学原理 32

安ST4=0,不采取UB/LB(UB/LB:表示高字节与低字节数据是否分手传输)

安WS4=0,其中WAIT引脚为PE4,而我辈DM9000C没有引脚接抱PE4,所以禁止

安DW4=0x01,我们的DM9000C的数据线为16各

5.2安BANKCON4操寄存器

 哲学原理 33

 设置这些时序之前,首先来拘禁DM9000C芯片手册时序图和2440的时序图

 哲学原理 34

参考上图,得出BANKCON4
寄存器设置如下(HCLK=100MHZ,1单时钟等于10ns)

  • 安Tacs=0,因为CS和CMD可以以终止(bank4地址(也便是CMD)稳定多久后,CS片选才开动)
  • 装Tcos=T1=0(CS片选后,多久才会要能读写)

  • 装Tacc=T2>=10ns=1,表示2单时钟 (access cycle
    ,读写如能后,多久才会访问数)

  • 安Tcoh=T4>=3ns=1,表示1个时钟
    ,因为当DM9000底描摹信号取消后,数据线上之数目还欲至少3ns才没有(nOE读写取消后,片选需要保障多长时间)
  • 装Tcah=0,因为 CS和CMD可以而且终止 (CS片选取消后,地址(也即是CMD)需要保持多长时间)

 

代码如下图,在init入口函数中设置

 哲学原理 35

与硬件相关的一些已改好了,接下开始编译

6.编翻译测试

编译之前,首先补充加该驱动需要之内核头文件:

#include <asm/delay.h>
#include <asm/irq.h>
#include <linux/irq.h>
#include <asm/io.h>
#include <asm/arch-s3c2410/regs-mem.h>

 

编译无误后,便起测试DM9000C驱动程序:

1)将dm9dev9000c.c放到内核的drivers/net目录下,来替换原来基本的DM9000C

2) 修改drivers/net/Makefile 


obj-$(CONFIG_DM9000) +=
dm9000.o
改为(如下图所示)
obj-$(CONFIG_DM9000) +=
dm9dev9000c.o

 哲学原理 36

 

3) make
uImage

正如图,说明新的叫已编译进基本

 哲学原理 37

 

4) 下初水源启动

ifconfig eth0 192.168.2.107

ping 192.168.2.1

如下图,可以ping通,说明移植成功

 哲学原理 38

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图