扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
首先以一个简单的示例开始：用Spark Streaming对从TCP连接中接收的文本进行单词计数。
10年积累的成都网站设计、网站建设经验，可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你，你也不认识我。但先网站设计后付款的网站建设流程，更有桃源免费网站建设让你可以放心的选择与我们合作。
/**
* 功能：用spark streaming实现的针对流式数据进行单词计数的程序。
* 该程序只是对数据流中的每一批数据进行单独的计数，而没有进行增量计数。
* 环境：spark 1.6.1, scala 2.10.4
*/
// 引入相关类库
import org.apache.spark._
import org.apache.spark.streaming._
object NetworkWordCount {
def main(args: Array[String]) {
// Spark Streaming程序以StreamingContext为起点，其内部维持了一个SparkContext的实例。
// 这里我们创建一个带有两个本地线程的StreamingContext，并设置批处理间隔为1秒。
val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
val ssc = new StreamingContext(conf, Seconds(1))
// 在一个Spark应用中默认只允许有一个SparkContext，默认地spark-shell已经为我们创建好了
// SparkContext，名为sc。因此在spark-shell中应该以下述方式创建StreamingContext，以
// 避免创建再次创建SparkContext而引起错误：
// val ssc = new StreamingContext(sc, Seconds(1))
// 创建一个从TCP连接获取流数据的DStream，其每条记录是一行文本
val lines = ssc.socketTextStream("localhost", 9999)
// 对DStream进行转换，最终得到计算结果
val res = lines.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
// 打印该DStream中每个RDD中的前十个元素
res.print()
// 执行完上面代码，Spark Streaming并没有真正开始处理数据，而只是记录需在数据上执行的操作。
// 当我们设置好所有需要在数据上执行的操作以后，我们就可以开始真正地处理数据了。如下：
ssc.start() // 开始计算
ssc.awaitTermination() // 等待计算终止
}
}
为了测试程序，我们得有TCP数据源作为输入，这可以使用Netcat(一般linux系统中都有，如果是windows系统，则推荐你使用 Ncat ，Ncat是一个改进版的Netcat)。如下使用Netcat监听指定本地端口：
nc -lk 9999
如果是使用Ncat，则对应命令如下：
ncat -lk 9999
在IntelliJ IDEA或Eclipse中可以本地运行测试上述Spark Streaming程序，该程序会连接到Netcat(或Ncat)监听的端口，你可以在运行Netcat(或Ncat)的终端中输入东东并回车，然后就可以看到该Spark Streaming程序会马上输出处理结果，并且这个处理是不停的、流式的。
注意：上述示例只是对数据流中的每一批数据进行单独的计数，而没有进行增量计数。
老规矩，先说结论：
或者：
注意：由于 macOS 版 Ncat 的 7.90 和 7.91 版本的 bug，上述方式不再生效。起码 7.91 版本在 macOS 10.15.7 上是不行的。此问题在 7.92 版本中已经解决。
具体原因参见：
但 Linux 上没问题。所以增加个 socat 的替补方案：
Scout 本身很强大，但对代理的支持这部分貌似差一些，只支持 SOCKSv4 和 HTTP Proxy，不支持 SOCKS5。详情参考 《socat 初窥门径》 。
有些时候，由于网络限制等原因，不能直接连通过 SSH 连到指定服务器，需要经过代理进行连接。例如如下场景：
其中，
client.net 不能直接访问 server.net
client.net 可以访问 proxy.net
proxy.net 可以访问 server.net
使用 SSH 的 ProxyCommand 选项，配合 nc/Ncat 命令，实现 client.net 通过代理 proxy.net ，以 SSH 访问 server.net 。
（1） nc
macOS 上常用这种方案。但是 nc 不支持需要认证的代理。
常用参数：
（2） Ncat
Ncat 在 macOS 上通过代理连接时会出现连接断开的情况。
常用参数：
以 nc 为例，如使用 Ncat 可以自行替换。
默认为 Socket5 代理，这时可以省略 -X 参数
或者采用另一种写法：
SSH 配置文件位置：
增加如下两行内容：以 nc 为例，如使用 Ncat 可以自行替换。
使用配置文件之后，就不需要在命令行中进行代理配置了。
对于大部分情况，都可以直接使用 nc 或者 Ncat 解决。但对于一些复杂情况，也可以通过其它方案完成。如在 macOS 上想通过需要认证的代理连接，用 nc 不支持代理认证， Ncat 又有些问题。
对于代理类型的问题，可以通过 Brook 来进行类型转换。
1、 corkscrew
只支持 HTTP 代理
如需要访问带认证的代理服务器：
~/.ssh/myauth 的内容：
2、 proxytunnel
只支持 HTTP 代理
命令行里只填用户名，会提示输入密码，或者通过环境变量传入。
（完）
nc是netcat的简写，有着网络界的瑞士军刀美誉。因为它短小精悍、功能实用，被设计为一个简单、可靠的网络工具。比如大家很熟悉使用telnet测试tcp端口，而nc可以支持测试linux的tcp和udp端口，而且也经常被用于端口扫描，甚至把nc作为server以TCP或UDP方式侦听指定端口做简单的模拟测试。
2020年10月07日 - 初稿
阅读原文 -
ncat 或者说 nc 是一款功能类似 cat 的工具，但是是用于网络的。它是一款拥有多种功能的 CLI 工具，可以用来在网络上读、写以及重定向数据。 它被设计成可以被脚本或其他程序调用的可靠的后端工具。同时由于它能创建任意所需的连接，因此也是一个很好的网络调试工具。
ncat / nc 既是一个端口扫描工具，也是一款安全工具，还能是一款监测工具，甚至可以做为一个简单的 TCP 代理。 由于有这么多的功能，它被誉为是网络界的瑞士军刀。 这是每个系统管理员都应该知道并且掌握它。
在大多数 Debian 发行版中， nc 是默认可用的，它会在安装系统的过程中自动被安装。 但是在 CentOS 7 / RHEL 7 的最小化安装中， nc 并不会默认被安装。 你需要用下列命令手工安装。
nc的作用：
nc的控制参数不少，常用的几个参数如下所列：
用于指定nc将处于侦听模式。指定该参数，则意味着nc被当作server，侦听并接受连接，而非向其它地址发起连接。
暂未用到（老版本的nc可能需要在端口号前加-p参数）
指定发送数据的源IP地址，适用于多网卡机
指定nc使用UDP协议，默认为TCP
输出交互或出错信息，新手调试时尤为有用
6）-w
超时秒数，后面跟数字
7）-z
表示zero，表示扫描时不发送任何数据
作用：批量端口扫描，可根据扫描主机的配置调整后台扫描进程数量（手动执行后根据统计的执行时间调整脚本中关于进程数量的参数），通过定时任务作为简单的服务监控（可修改脚本添加其他报警功能，例如邮件等）
实现：使用nc指令扫描端口，使用管道特性控制后台扫描进程数量
不足：仅仅对扫描端口状态为down的信息做记录，并没有其他报警操作
使用：
10 useful ncat (nc) Command Examples for Linux Systems
nc命令用法举例
我们在检测远程服务是否正常时，经常会用一些工具（命令）来检测端口是否开启，来确定服务是否正常。通常可用于检测的工具有nc、socat、nmap等，基本思想是向远端指定端口发送数据，看其状态。
远端：192.168.0.15
本端：192.168.0.10
单向检测（适用于无法登录远端服务查看的情况）
如果返回succeeded，则说明相应的UDP端口访问正常。
如果无任何返回信息，则说明相应的UDP端口访问失败。
nc -uvz $IP $Port. //UDP
nc -vz $IP $Port //TCP
远端不监听1777端口情况
# nc -uvz 192.168.0.15 1777
#
远端监听1777端口
# nc -ul 1777
XXXXX
# nc -uvz 192.168.0.15 1777
Connection to 192.168.0.15 1777 port [udp/powerguardian] succeeded!
如果succeeded，则无任何返回，如果failed则返回Connection refused。
echo "This socat udp test." | socat - udp-connect:$IP:$Port
远端不监听1777端口，本端发送udp数据至远端指定端口。
# echo "This socat udp test." | socat - udp-connect:192.168.0.15:1777
2017/06/18 14:26:39 socat[22195] E read(3, 0xb48a20, 8192): Connection refused
远端开启监听，本端再次发送。
# nc -ul 1777
This socat udp test.
# echo "This socat udp test." | socat - udp-connect:192.168.0.15:1777
#
用指定协议扫描远端指定端口
nmap -sU -p $Port $IP
# nmap -sU -p 1777 192.168.0.15
Starting Nmap 5.51 ( ) at 2017-06-18 14:35 CST
Nmap scan report for host-192-168-0-15 (192.168.0.15)
Host is up (0.00098s latency).
PORT STATE SERVICE
1777/udp closed unknown
MAC Address: FA:16:3E:1A:54:30 (Unknown)
Nmap done: 1 IP address (1 host up) scanned in 0.05 seconds
可以通过传输文本及文件来测试UDP端口是否正常（先开监听，再发送）
远端：nc -ul $Port
本端: nc -u $IP $Port
在本端键入任意字符，看远端是否可以收到。
远端：nc -l $Port $Filename
本端：nc $IP $Port $Filename
可以执行md5sum看两端的文件md5是否相同
注：如果是检测tcp协议端口，上述nc命令中，去掉参数-u即可。另外，也可以使用telnet $IP $Port来完成
$ nc -vzw 2 180.76.148.122 22-81 //显示详细信息，包含失败的
$ nc -zw 2 180.76.148.122 22-81 //不显示详细信息，只包含成功的，如果检测udp端口，可用"vzw"参数，"z"参数表示连接成功后立即关闭连接
Connection to 180.76.148.122 port 22 [tcp/ssh] succeeded!
Connection to 180.76.148.122 port 80 [tcp/http] succeeded!
附全面的ncat使用方法：
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网