tweeeetyのぶろぐ的めも

アウトプットが少なかったダメな自分をアウトプット<br>\(^o^)/

gcp

【BigQuery】GolangでGCSのCSVデータからBigQueryにデータを取り込むメモ

はじめに GolangでBigQueryをざつに扱っています。 GolangでGCSにおいたCSVデータをBigQueryに取り込むメモです。 この記事のサンプルコードは以下においてあります。 https://github.com/tweeeety/go-gcs_csv-to-bigquery-sample アジェンダ はじめに アジ…

【BigQuery】bq コマンドでtableのschemaを取得するメモ

はじめに 掲題のとおりですが、bqコマンドにてBigQueryのtable schemaを取得するときの自分用メモです。 bq showコマンド schemaの取得は以下のように行います。 $ bq show \ --schema \ --format=prettyjson \ project_id:dataset.table > path_to_file ス…

【BigQuery】GolangでBigQueryのTable Create時のSchema指定方法 - bigquery.Schema, bigquery.InferSchema, bigquery.SchemaFromJSON

はじめに GolangでBigQueryをざつに扱っています。 GolangでBigQueryのtableを作成時のSchema指定方法についての自分メモです。 この記事のサンプルコードは以下においてあります。 https://github.com/tweeeety/go-bigquery-schema-sample アジェンダ はじ…

【BigQuery】bqコマンドでdataset/table/partitionの作成から確認まで試すメモ

はじめに 最近、BigQueryを触っています。 bqコマンドでコマンドラインからアクセスする際の自分メモです。 この記事で使うschemaやcsvファイルは以下のリポジトリにおいてあります。 * https://github.com/tweeeety/bq-command-sample アジェンダ はじめに …

【BigQuery】BigQueryへのDATA型のINSERT時に`Could not parse'20210101' as DATE for field partition_date`と怒られるエラー

はじめに 表題のとおりですが、bqコマンドなんかを使用してDATE型の値をINSERTしようとすると以下のようなエラーになりました。 この原因と対処法について。 どういうエラーか まず、INSERTするSchemaとdataです。 schema $ cat ./schema.json [ { "mode": "…

Golang x Gin(ジン)を5分でためす

はじめに GolangでGin(ジン)を5分で試すサンプルです。 本記事では以下の3要素のみ扱います。 Golang Go Modules Gin アジェンダ はじめに アジェンダ 1. Ginとは 2. Go Moduleで環境用意 ローカル環境 Go Modules 3. Ginを試す Ginいれる GinでGolang書い…

【GAE】appengine(app-engine-go)をhomebrew経由でinstallするgo1.6.3 (appengine-1.9.48)から、cloud sdk経由でinstallするgo version 1.8.5 (appengine-1.9.68) にupdateするメモ

はじめに GAE goな環境を使っています。 結構長いことgo1.6.3 (appengine-1.9.48)で困った事はなかったのですが、 goのversionの関係でtestingパッケージのt.Run()が使えなかったりとあったのでupdateしました。 以前は、homebrew経由でinstallおよびアップ…

【GAE】Google Cloud SDKとgcloudとコンポーネント(components)とgoappをおさらい

はじめに GAE goな環境を利用しています。 最初に環境構築して以来、google-cloud-sdk 周りにはあまり触れていませんでした。 とある事がきっかけで、 google-cloud-sdkとgcloudとgoappってそれぞれなにするやつ? gcloudとコンポーネントとgoappってどうい…

【GAE】goappコマンドについて簡単にまとめてみた

はじめに GAE goな環境で開発しているときに、 $ goapp serve app.yaml という感じで使うわけですが、そもそもgoappってなんぞやという事を軽くまとめてみました。 アジェンダ goappコマンドの簡単な紹介 goappコマンドとは goappコマンドのinstall goapp se…

【GCP】Google Cloud Platformとは? からのGCPサービス全体増、特徴、メリットを書籍を読んで自分まとめ

gcp

はじめに 最近gcp関連を触ることがあったので、google cloud platformについて全体的に俯瞰して知りたいなーということで 以下の書籍を読んでみました。 仕事で使える! Google Cloud Platform 最新クラウドインフラ導入マニュアル (仕事で使える! シリーズ(N…