越境ECトレンド分析におけるデータパイプラインと利益モデリング

越境ECの商品選定や市場トレンド分析において、単一の売れ筋ランキングや断片的なメディア情報のみに依存することは、情報源の不透明性、為替変動の欠落、物流費用の過小評価といった重大なリスクを招きます。出所、為替レート、および諸費用控除の計算根拠が追跡できなければ、仕入れや広告投資の客観的な判断基準として機能しません。

本システム（Cross-Border Trend Analytics）は、分散するプラットフォームデータを日次で収集・正規化し、すべての推薦商品について生データURL、適用為替レート、費用明細を遡及監査できるデータ基盤を提供します。

マルチソース収集とアダプター層の設計

本システムは、Google Trends RSS、公開WooCommerceカタログ、Frankfurter為替レートAPI、ならびに認証連携に基づく楽天市場、Yahoo!ショッピング、Rainforestなどのデータソースを統合しています。各商品候補について、元URL、商品名、画像URL、対象市場、通貨単位、および収集日時を確実に永続化し、下流工程における追跡性を担保します。

データソースごとの通信プロトコル、認証方式、レート制限の違いを吸収するため、収集層には SourceAdapter インターフェースを導入しています。認証署名、ページネーション、スキーマ変換をアダプター内部に隠蔽し、上位のスケジューラーや重複排除ロジックには統一されたバッチ取得メソッドのみを公開します。

タスク実行はDB駆動の動的スケジューリングにより制御されます。重複排除には source + external_product_id + target_market による複合キーを用い、同一サイクル内の重複収集によるランキング偏向を防止します。

各収集タスクの実行結果は CollectionRun エンティティとして明示的に記録されます：

CollectionRun 監査エンティティ
  ├─ source        データ提供元（Rakuten / Yahoo / WooCommerce 等）
  ├─ startedAt     収集開始日時
  ├─ fetched       当回取得件数
  ├─ status        SUCCESS | PARTIAL | FAILED
  └─ note          診断ログ / レート制限 / 認証ステータス

バックエンドはSpring Bootで構築され、アダプター管理、為替換算、利益モデル計算を担当します。MySQLにはシグナル、商品プール、日次レポート、監査ログを保持し、Vue 3フロントエンドにて選定コックピットと管理画面を提供します。

決定論的ルールフォールバックを備えたLLM標準化

各ECサイトの商品タイトルには、プロモーション文句、ブランド略称、多言語テキストが混在しています。本システムでは大規模言語モデル（DeepSeek等）を活用してタイトル正規化、標準カテゴリマッピング、および順位付け理由の生成を行いますが、その入力は収集済みの実データに限定され、架空のデータを生成することはありません。

高可用性を確保するため、LLMのタイムアウトやエラー発生時には、ローカルのキーワード辞書と正規表現ルールによる決定論的カテゴリ分類へ自動フォールバックします。

候補商品の標準化フロー:
  IF LLMサービス正常:
      生タイトル → 標準化タイトル、カテゴリ分類、推薦理由の生成
  ELSE (タイムアウト / エラー / 未設定):
      生タイトル → キーワード辞書による確定的一致
      ランキング → 既定の加重ルールによる決定論的ソート
  ※ いずれの経路も normalizedBy = ai | rule を付与してDBへ保存

この二系統アーキテクチャにより、外部AI APIの障害時にも基幹機能の停止を回避できます。

利益ウォーターフォールモデルと複数市場シミュレーション

商品の閲覧需要が高いことと、事業としての収益性は同義ではありません。本システムの日次レポートでは、仕入れ原価、為替差損益、国際配送料、プラットフォーム販売手数料、決済手数料、関税・消費税、および想定顧客獲得コスト（CAC）を統合した利益ウォーターフォールモデルを適用します。

粗利計算式：

粗利益       = 現地販売価格
             − 仕入れ原価
             − 為替換算差損益
             − 国際配送料
             − プラットフォーム手数料
             − 決済手数料
             − 関税・輸入消費税
             − 想定CAC
粗利益率     = 粗利益 / 現地販売価格

同一商品であっても、展開市場ごとの販売相場、決済通貨、カテゴリ手数料率、関税率の違いにより、利益構造は大きく変動します：

管理画面から各市場の送料区分、手数料率、税率、CAC前提値を柔軟に更新可能であり、市場環境の変化に応じた再シミュレーションを迅速に実行できます。

管理機能とセキュリティ監査

管理コンソールでは、RBACユーザー権限、マルチテナント/市場設定、カテゴリ体系、データソース接続設定、および収集間隔の管理を提供します。本番環境ではJWT認証およびBCryptによるパスワードハッシュ化を適用し、重要なパラメータ変更や削除操作はすべて監査ログに記録されます。

軽量インフラにおけるリソース制約

2GB RAMの限られた環境において、重量級のメッセージキューや分散キャッシュを排し、軽量な動的スケジューラーと適切なDB接続プール制御により、省メモリで安定した常時稼働を実現しています。

稼働中の分析ダッシュボードは /crossBorderTrend/ で公開されています。