ADWにgoogle colaboratoryから接続する (JPOUG Advent Calendar2021 & Oracle Cloud Infrastructure Advent Calendar 2021 3日目)

この記事は

JPOUG Advent Calendar 2021

Oracle Cloud Infrastructure Advent Calendar 2021

の3日目の記事です。

 

JPOUG Advent Calendar 2021 の2日目の記事はwrcsus4さんの PDBのUnPlugとPlug でした。

Oracle Cloud Infrastructure Advent Calendar 2021 の2日目の記事はwrcsus4さんのitokazuさんのOracle Cloud で OS のログ監視を実装する  でした。

 

最近、機械学習(とpython)のお勉強でGoogle colaboratoryを使用しているのですが、データの処理※1や保存※2をDBで行いたいと思うケースが多々あり、Google colaboratoryからADWに接続する方法を調べてみました。

 

結論としては、以下のURLで手順が公開されていますので、手っ取り早く試したい方は以下をどうぞ。

Connection to Oracle Cloud from Google Colab Notebook

 

使う分には上記の手順で全く問題ないのですが、以下が気になりました。

oracle instant client導入に関して、非rpm系のライブラリが用意されているのに、無理やりalienコマンドでrpmパッケージを入れている。(google Colab はubuntu)

 

というわけでrpmパッケージを使用しない方法を試してみました。

解凍して配置&ldconfigを使用する以外、ほとんど元の記事と違いはないのですが、

ldconfigでかなりハマりました。通常、導入したライブラリ(xx.so)は環境変数LD_LIBRARY_PATHで認識してくれるはずなのですが、認識してくれず、ldconfigで対応しています。(colabはコンテナ(docker?)で実行されているようなので、そこが関係しているのか、、、、調べきれず)今回は動かしておしまいです。

 

※1 pandasで処理自体はできるのですが、SQLで処理したらもっと早く処理できるよね。と思うことがしばしば。あとは、pandas慣れしてないので、ちょっとした処理でも小一時間かかる。。。(SQLの集計処理とかPL/SQLならすぐわかるのに。。。とか)

 

※2 google driveと連携すれば、処理結果を保存できます。