マルチバイトもいけるし簡単なデータも入る。
jsonは直では無理。
だけど、なんか動作が不安定。
起動しなおせばいいのだが、インポート失敗するとバグるっぽ。
簡単なデータでもテーブル作らないと、最初の1件はキーだとしても、2件目が入らなかったり、失敗したりする事があった。
<インポート失敗するデータ>
そんなにデカくない、50kぐらいのデータが入らんかった。
NULLがあると失敗するくさい。ちゃんと調べてないけど。
わけわからんので、適当に成形したら入った。
マルチバイトもいけるし簡単なデータも入る。
jsonは直では無理。
だけど、なんか動作が不安定。
起動しなおせばいいのだが、インポート失敗するとバグるっぽ。
簡単なデータでもテーブル作らないと、最初の1件はキーだとしても、2件目が入らなかったり、失敗したりする事があった。
<インポート失敗するデータ>
そんなにデカくない、50kぐらいのデータが入らんかった。
NULLがあると失敗するくさい。ちゃんと調べてないけど。
わけわからんので、適当に成形したら入った。
www.tv-asahi.co.jp
で使ってるサーバ屋
https://www.fastly.com/jp/signup/
これ無料で使えるっぽ。
wwwなしはAWS
紆余曲折メモ
rustでgeojsonからpolygonに変換して、並列処理ベンチマークしたら0.5~2.0秒で処理が終わる。そんなに最適化してないのに!
こいつをVPS入れたらメモリ足らなくて困り果てた。(プラン上げるのはイヤだ!なんとかしたい)
<やりたい事>
空間インデックスなくても、ちょっと工夫したら処理できる内容で、常に計算し続けるのでストレージアクセスをしたくない。
geojsonが500Mなので、すべてオンメモリで動作しようとしたが、パース処理でメモリを3ギガ以上食う。
<手法1 パース結果をバイナリで保存>
メインマシンでデータを作って、サーバサイドはそれを使えばいいと思った。
くっちゃくちゃになって頭パー!!
<手法2 パースの仕方を変える>
すべてオンメモリにしてからパースするのが良くないのであって、
構造上1行ずづ処理できる。
最初の4行が不要で、データは1種類で可変構造なので、jsonを無理やり1行ずづ処理できる。
だけど、ぐちゃぐちゃになって頭パー!!になってもうた!なんかrustだと凄い大変なことになってしもた。
連続して頭パー!!AIに込み入ったの作らせるとわけわからんの作り出す。
なんとなくgpt-4oよりgpt-4の方が正確性が高いような気がする・・・
ほどんとが4o使ったとき、くっちゃくちゃにぶっ壊されてた気がする。
対して難しい処理じゃないのに、AIないと組めない体になってしまった・・・年かな?
<そうだ!AI時代にふさわしいDBを使おう!>
考えたくないので、surrealDBにgeojsonを放り込んだ方が楽じゃないかと思い始めてきた。
空間インデックス使えるんだよね?知らんけど。
雑運用するから、フロントからこいつに直で叩けばよかろうもんなのでは?!
https://surrealdb.com/docs/surrealdb/installation/windows
ここに入るから、環境変数のPATHを通しとけ。
"C:\Users\user\SurrealDB\surreal.exe"
ちょっといじってみた
https://console.shuttle.rs/new-project
結論から書くとゴミみたいなテンプレートばかりで使い物にならない(動かないものが多すぎ)
自分で書いた方が早いまである。
shuttleのテンプレートは1個ずづなので、使いたい機能をプラグインで選択できたらいいのに・・・
Win+shit+Tだと文字化けしてしもたので、
win+shift+SでGPTに放り込んだ結果が下記。
cargo shuttle init --create-env
Select template ›
Clerk authentication — Fullstack Rust+React with auth provider logic (clerk)
Cookie Authentication — Use JWT to authenticate API endpoints (actix-web)
Custom Tracing Subscriber — How to use a custom tracing-subscriber on Shuttle (actix-web)
File server — Hello World page that serves static HTML and JS files (actix-web)
File server — Hello World page that serves static HTML files (rocket)
File server — Hello World static file server with tower-http (axum)
Fullstack SaaS — Opinionated fullstack web app with pre-made routes and assets (nextjs)
HTMX — Simple CRUD app using HTMX and Askama (htmx)
Handlebars dynamic templates — HTML templating with Handlebars (rocket)
Image Rescaler — Use the image library to rescale the Shuttle logo (salvo)
JWT authentication — Use JWT to authenticate API endpoints (rocket)
JWT authentication — Use JWT to authenticate API endpoints (axum)
MongoDB — Todo List with a MongoDB database (mongodb)
OAuth authentication — Use Google OAuth to authenticate API endpoints (axum)
OpenDAL in-memory store — A key-value store using OpenDAL (opendal)
Postgres — Todo list with a Postgres database (postgres)
Postgres — Todo list Discord bot with a Postgres database (serenity)
Postgres — Todo list with a Postgres database (postgres)
Postgres — Todo list with a Postgres database (postgres)
Qdrant — Connecting to Qdrant cloud with shuttle-qdrant (qdrant)
Request Scheduler — Schedule requests with a cron schedule (axum)
Shuttle custom Cron service — Schedule tasks on a cron schedule with apalis (axum)
Turso — Connect to a Turso DB with shuttle-turso (turso)
URL shortener — Save long URLs behind a short one, with Postgres storage (rocket)
Weather Bot — Weather forecast Discord bot using the Accuweather API (serenity)
Websockets — Health monitoring service using websockets (actix-web)
Websockets Actorless — Health monitoring service using websockets (axum)
500Mのjsonデータを処理するとき、プログレスバーの最後が止まる現象があった。
良く調べると以下のような事らしい。
GPT-4oいわく、3種類やり方があるらしい。
SSH key追加する方法を最初に出してこないのか・・・
GitHubは2021年8月13日以降、パスワードによる認証を廃止し、代わりにパーソナルアクセストークン(PAT)やSSHキーを使用した認証を推奨しています。以下の手順に従って、パーソナルアクセストークンを使用してプライベートリポジトリをクローンする方法を説明します。
WSL2のUbuntu端末で以下のコマンドを使用してリポジトリをクローンします。パスワードの代わりに生成したパーソナルアクセストークンを使用します。
git clone https://<github account>:<Your-PAT>@github.com/firemio/test01.git
GitHub CLI(gh
)を使用すると、より便利に認証を行うことができます。以下の手順でGitHub CLIをインストールし、認証を行います。
bashsudo apt install gh
bashgh auth login
指示に従って認証方法を選択し、パーソナルアクセストークンを使用してログインします。
認証後、通常のgit clone
コマンドを使用してリポジトリをクローンします。
bashgit clone https://github.com/<Your-GitHub-Username>/<Your-Repository-Name>.git
SSHキーを使用した認証も可能です。以下の手順でSSHキーを生成し、GitHubに追加します。
bashssh-keygen -t rsa -b 4096 -C "your_email@example.com"
公開鍵をGitHubに追加します。生成されたSSH公開鍵(~/.ssh/id_rsa.pub
)の内容をコピーします。
GitHubにログインし、右上のプロフィールアイコンをクリックし、「Settings」を選択します。
左側のメニューから「SSH and GPG keys」を選択し、「New SSH key」をクリックします。
公開鍵を貼り付け、「Add SSH key」をクリックします。
SSH経由でリポジトリをクローンします。
bashgit clone git@github.com:<Your-GitHub-Username>/<Your-Repository-Name>.git
以上の方法で、GitHubのプライベートリポジトリをクローンすることができます。
プライベートリポジトリに所属しているメンバーが使用するのにおすすめの方法は、SSHキーを使用する方法です。これは一度セットアップすれば、パスワードやトークンを毎回入力する手間がなく、セキュリティも高いからです。以下にSSHキーを使用した手順を詳しく説明します。
まず、各メンバーが自分のマシンでSSHキーを生成します。
bashssh-keygen -t rsa -b 4096 -C "your_email@example.com"
ここで生成されたファイル(例: ~/.ssh/id_rsa
と ~/.ssh/id_rsa.pub
)のパスフレーズはオプションですが、セキュリティを強化するために設定することをおすすめします。
生成された公開鍵(例: ~/.ssh/id_rsa.pub
)をコピーします。
bashcat ~/.ssh/id_rsa.pub
その内容をクリップボードにコピーし、GitHubの設定で登録します。
GitHubに公開鍵を登録したら、SSHを使ってリポジトリをクローンします。
bashgit clone git@github.com:<Your-GitHub-Username>/<Your-Repository-Name>.git
この方法を使用することで、チーム全体でセキュリティと利便性を両立させることができます。
<問題>
cursor 34.5~34.6(build vscode 1.89)をアップデートするとSSHに繋がらなくなった
<原因>
どうやら.ssh/configの設定ファイルでダブルクォーテーションがエスケープされるみたい。
<解決法>
ダブコン消す
誤:IdentityFile "C:\Users\user\.ssh\privkey.pem"
正:IdentityFile C:\Users\user\.ssh\privkey.pem
環境:Windows11、vscode、powershell
以下だと安定して動作する。
@shopify/cli@3.60.0
ruby+devkitは3.0系(セキュリティーソフトは切っておく、3.0系以上だと動作不可)
powershellの実行ポリシーを下記に設定
Set-ExecutionPolicy RemoteSigned -Scope CurrentUser
<微妙にバグある>
npm i -g @shopify/cli@3.59.0
theme devが遅かったり、ちゃんと同期とれなかったり・・・
<正常動作する>
npm i -g @shopify/cli@3.60.0
https://shopify.dev/docs/api/shopify-cli
https://shopify.dev/docs/storefronts/themes/getting-started/create
==== 以下メモ書き ==== tokky
Node.js version 18.16.0 or higher
※↓実際に動いた環境↓
Node v18.17.1
Git version 2.28.0 or higher
※↓実際に動いた環境↓
git version 2.45.1.windows.1
ruby ver3.0//rubyはバージョンが高くても問題が起こったので、現状は3.0推奨
https://rubyinstaller.org/downloads/
ダウンロードパッケージ→Ruby+Devkit 3.0.7-1 (x64)
オプションで、 MSYS2 component と MSYS2 base をオプションでインストール
gem 3.2.33
Bundler ver 2.5.11
Shopify CLI version: 3.61.0//今はこのバージョンで動いているけど、ログイン時にエラーが起こった。
===========================
このバージョンだと、ログイン時にトラブルがあるみたいなので、その際は
バージョンを下げる。
参考
https://stackoverflow.com/questions/78563193/running-npm-run-dev-shows-an-error-called-the-requested-scope-is-invalid-unkno
新しいバージョン (v3.61.0) は認証フローのどこかで壊れているようです。以前のバージョン (例: 3.60.1) をインストールするだけで、今のところは動作するはずです。
===========================
とにかくバージョンを合わせる事。高すぎても低すぎても動かない可能性あり。
vsCodeのPowerShellで実行
==============================
※マニュアル
インストール
https://shopify.dev/docs/api/shopify-cli
テーマ設定
https://shopify.dev/docs/storefronts/themes/getting-started/create
==============================
実際に打つコマンド
①手順ローカルでは無く、グローバルにshopifyCLIをインストール
npm install -g @shopify/cli
ヘルプをしたい時はこのコマンド
shopify help
②npm install @shopify/cli -g
③shopify theme init
→テーマ名を作る(例)test-theme
④cd "test-theme"
作ったテーマに移動
⑤shopifyのテーマの開発環境を起動
shopify theme dev --store {store-name}
※初回は起動時にログインを求められます。
store-nameは管理画面から取得