开发技术学习

hadoop环境问题：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pl.

在spark操作hadoop文件复制的时候报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pl解决方法就是在hadoop-env.sh文件末加上：export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"  重新运行，没有报这个问题了，查阅资料：http://www.cnblogs.com/likui360/p/6558749.htmlhttp://www.cnblogs.com/wuren/p/3962511.html...

配置hadoop免登录.

配置ssh免密码登录ssh localhost这里需要输入密码不是很方便，所以要取消。输入ssh-keygen -t rsa然后四个回车，然后复制密钥到本机shell > ssh-copy-id localhost好了，试一下刚才的命令：ssh localhost不需要输入密码可以登录了。ssh 免登录配置：root@8ef06706f88d:/# cd ~/ root@8ef06706f88d:~# ssh-keygen -t rsa -P '' -f ~/.ssh/id_dsa root@8ef06706f88d:~# cd .ssh root@8ef06706f88d:~/.ssh# cat id_dsa.pub >> authorized_keys...