golang hdfs连接方式

Go的HDFS

成都创新互联公司长期为上千多家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为大庆企业提供专业的做网站、成都网站制作，大庆网站改版等技术服务。拥有十多年丰富建站经验和众多成功案例,为您定制开发。

这是hdfs的本地golang客户端。 它使用协议缓冲区API直接连接到namenode。

它尝试通过在可能的情况下对stdlib os包进行os.FileInfo来使其成为惯用语言，并从中实现接口，包括os.FileInfo和os.PathError 。

这是实际的样子：

client , _ := hdfs . New ( "namenode:8020" )

file , _ := client . Open ( "/mobydick.txt" )

buf := make ([] byte , 59 )

file . ReadAt ( buf , 48847 )

fmt . Println ( string ( buf ))

// = Abominable are the tumblers into which he pours his poison.

有关完整的文档，请查阅 。

hdfs二进制

除库外，此存储库还包含HDFS的命令行客户端。 像库一样，它的主要目的是通过启用您喜欢的unix动词来实现惯用语：

$ hdfs --help

golang 进程创建，fork，以及热重启（无缝升级）

一般来说，进程的操作使用的是一些系统的命令，所以go内部使用os包，进行一些运行系统命令的操作

os 包及其子包 os/exec 提供了创建进程的方法。

一般的，应该优先使用 os/exec 包。因为 os/exec 包依赖 os 包中关键创建进程的 API，为了便于理解，我们先探讨 os 包中和进程相关的部分。

Unix :fork创建一个进程，（及其一些变种，如 vfork、clone）。

Go:Linux 下创建进程使用的系统调用是 clone。

允许一进程（父进程）创建一新进程（子进程）。具体做法是，新的子进程几近于对父进程的翻版：子进程获得父进程的栈、数据段、堆和执行文本段的拷贝。可将此视为把父进程一分为二。

终止一进程，将进程占用的所有资源（内存、文件描述符等）归还内核，交其进行再次分配。参数 status 为一整型变量，表示进程的退出状态。父进程可使用系统调用 wait() 来获取该状态。

目的有二：其一，如果子进程尚未调用 exit() 终止，那么 wait 会挂起父进程直至子进程终止；其二，子进程的终止状态通过 wait 的 status 参数返回。

加载一个新程序（路径名为 pathname，参数列表为 argv，环境变量列表为 envp）到当前进程的内存。这将丢弃现存的程序文本段，并为新程序重新创建栈、数据段以及堆。通常将这一动作称为执行一个新程序。

没有直接提供 fork 系统调用的封装，而是将 fork 和 execve 合二为一，提供了 syscall.ForkExec。如果想只调用 fork，得自己通过 syscall.Syscall(syscall.SYS_FORK, 0, 0, 0) 实现。

os.Process 存储了通过 StartProcess 创建的进程的相关信息。

一般通过 StartProcess 创建 Process 的实例，函数声明如下：

它使用提供的程序名、命令行参数、属性开始一个新进程。StartProcess 是一个低级别的接口。os/exec 包提供了高级别的接口，一般应该尽量使用 os/exec 包。如果出错，错误的类型会是 *PathError。

属性定义如下：

FindProcess 可以通过 pid 查找一个运行中的进程。该函数返回的 Process 对象可以用于获取关于底层操作系统进程的信息。在 Unix 系统中，此函数总是成功，即使 pid 对应的进程不存在。

Process 提供了四个方法：Kill、Signal、Wait 和 Release。其中 Kill 和 Signal 跟信号相关，而 Kill 实际上就是调用 Signal，发送了 SIGKILL 信号，强制进程退出，关于信号，后续章节会专门讲解。

Release 方法用于释放 Process 对象相关的资源，以便将来可以被再使用。该方法只有在确定没有调用 Wait 时才需要调用。Unix 中，该方法的内部实现只是将 Process 的 pid 置为 -1。

通过 os 包可以做到运行外部命令，如前面的例子。不过，Go 标准库为我们封装了更好用的包： os/exec，运行外部命令，应该优先使用它，它包装了 os.StartProcess 函数以便更容易的重定向标准输入和输出，使用管道连接 I/O，以及作其它的一些调整。

exec.LookPath 函数在 PATH 指定目录中搜索可执行程序，如 file 中有 /，则只在当前目录搜索。该函数返回完整路径或相对于当前路径的一个相对路径。

func LookPath(file string) (string, error)

如果在 PATH 中没有找到可执行文件，则返回 exec.ErrNotFound。

Cmd 结构代表一个正在准备或者在执行中的外部命令，调用了 Run、Output 或 CombinedOutput 后，Cmd 实例不能被重用。

一般的，应该通过 exec.Command 函数产生 Cmd 实例：

用法

得到 * Cmd 实例后，接下来一般有两种写法：

前面讲到，通过 Cmd 实例后，有两种方式运行命令。有时候，我们不只是简单的运行命令，还希望能控制命令的输入和输出。通过上面的 API 介绍，控制输入输出有几种方法：

参考资料：

Go语言os标准库常用方法Getwd/Getenv/Chdir

1. os.Getwd()函数

原型：func Getwd()(pwd string, err error)

作用：获取当前文件路径

返回：当前文件路径的字符串和一个err信息

示例：

输出：

当前路径： D:ProjectsGomGoLab01

2. os.Getenv()函数

原型：func Getenv(key string) string

作用：获取系统环境变量的值

参数：key - 系统环境变量名

返回：系统环境变量的值

示例：

输出：

环境变量GOPATH的值是： D:/Projects/Go

3. os.Chdir()函数

原型：func Chdir(dir string) error

作用：将当前文件路径改变为目标路径（非真实改变）

参数：dir - 目标路径（即改变之后的路径）

返回：修改成功，返回 nil；修改失败（如：目标路径不存在的情况），返回错误信息。

示例一：

输出：

起始路径： D:ProjectsGomGoLab01

修改后的路径： D:ProjectsGoDemo02

示例二：

输出：

起始路径： D:ProjectsGomGoLab01

error: chdir D:ProjectsGoDemo03: The system cannot find the file specified.

注：文件路径，Window 系统下默认是“”，写在代码中时要用“”或“/”代替。

名称栏目：go语言里os包 go语言的包
文章源于：http://kswjz.com/article/dojosds.html