Spark如何处理中文字符串-成都快上网建站

Spark如何处理中文字符串

最近工作中需要用spark对中文的字符提取,由于环境一直是英文的,发现打印出来是乱码。后经研究,需要做一个UTF-8的转换
大概如下:

val data_file = sc.textFile(“test.txt”)
val item1 = data_file.map(p => new String(p.getBytes, 0, p.getLength, "UTF-8")).map{
    item => XXX
    }

本文名称:Spark如何处理中文字符串
标题链接:http://kswjz.com/article/ghghgc.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流