minio support

Jump to bottom

Yukihiro Okada edited this page Mar 16, 2018 · 1 revision

            // NOTE: static setting
            // https://github.com/minio/minio/issues/5232
            // conf.set("fs.s3n.connection.ssl.enabled", "true");
            // conf.set("fs.s3n.path.style.access", "true");
            // conf.set("fs.s3n.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem");
            // https://github.com/minio/cookbook/blob/master/docs/apache-spark-with-minio.md

AWS SDK 2.8.xからのサポートされるパラメータのためSDKを上げて検証する必要がある。

conf.set("fs.s3n.path.style.access", "true");