コンテンツへスキップ

データ管理者ガイド

データセットは**下書き(draft)**として作成し、リソースとメタデータが揃ってから公開します。 下書きは公開するまで検索結果・データセット一覧には一切表示されません。

  1. ダッシュボードにログイン
  2. 「下書きを作成」をクリック(ファイルをドロップしても下書きが作成され、そのままリソースとして追加されます)— 名前(URL 識別子)・組織・ライセンスは後から設定できます
  3. 編集ページでリソースを追加(ファイルアップロード / 外部 URL)— パイプライン処理は下書きの間も実行されるため、公開前にプレビューを確認できます
  4. メタデータを整えて「保存して公開」をクリック
項目 説明 公開時必須
名前(URL スラッグ) 英数字・ハイフン・アンダースコア・ピリオド ○
タイトル 表示用のタイトル -
説明 データセットの詳細な説明 -
組織 データを所有する組織 ○
ライセンス データのライセンス ○
公開 / 非公開 非公開にすると組織メンバーのみ閲覧可 -

「公開時必須」の項目は下書きの間は未設定でもかまいませんが、3 つすべてが設定されるまで公開できません。 名前を入力しない間は自動生成の識別子が仮に使われます(そのままでは公開できません)。

タグを追加してデータセットを分類できます。 既存のタグから選択するか、新しいタグを作成できます。

タグごとに一覧のページ(/tag/<タグ名>)ができ、タグ名がそのまま URL になります。 そのため、空・「.」・「..」はタグ名にできません(URL のパスとして扱えないため)。 また、カンマ(「,」「、」)はタグの区切りとして扱うため、タグ名には使えません。 これらの制限より前に登録された該当タグは一覧のページを正しく開けず、そのデータセットを編集して保存するときにタグの削除を求められます。

下書きはダッシュボードの「下書き」タブで管理します。編集できるのは作成者とサイト管理者、 組織を設定した後はその組織の編集者以上です。

下書きの削除はゴミ箱を経由せず、リソースのファイルごと完全に削除されます(復元不可)。 削除処理が途中で失敗した場合、その下書きは「削除未完了」として一覧に残り、 「削除を再試行」で完全削除をやり直せます。

リソースはデータセットに紐づくファイルや URL です。

  • ファイルアップロード — ブラウザから直接アップロード(最大 100 MB)
  • 外部 URL — 外部サイトのファイル URL を指定

リソースの追加・編集・削除・差し替えは、その場で保存されます。並び順の変更だけは「並び順を保存」で確定します。

リソースが多いときは、セクションの見出しでまとめられます。リソース一覧の 「セクションを追加」で名前を付けると、末尾に空の見出しができます。

  • 見出しは区切り線です。 ドラッグで置いた位置から次の見出しの手前までのリソースが そのセクションに入ります。見出しを動かしてもリソースの並び順は変わりません
  • 見出しを下げると通り過ぎたリソースは上のセクションに移り(上が無ければルートに出て)、 上げると通り過ぎたリソースが入ります。別のセクションの途中に置くとそこで分割され、見出しの真上に置いた場合は 何も取りません
  • リソースをドラッグすると、直上のリソースと同じセクションに入ります。見出しの上に 落とすとそのセクションの先頭になり、一覧の先頭に置くとどのセクションにも入りません
  • 名前の変更と解除(解除してもリソースは残ります)は見出しのボタンから行います。 同じ名前のセクションはデータセット内に 1 つだけです
  • メンバーのいない見出しは保存されず、リソースが入った時点で保存されます。末尾に追加した リソースやドロップしたファイルは、末尾のセクションに入ります
  • 並び順と同じく、「並び順を保存」で確定します

セクションはデータセットページの表示上の区切りで、公開範囲は変わりません。名前に / を 含めると公開ページでは階層見出しになります(2024/東京都 は「2024」の下に「東京都」、 3 階層まで)。セクション名は検索の対象です。

CSV、TSV、JSON、GeoJSON、XML、PDF、Excel、一太郎など多数のフォーマットに対応しています。

アップロードされたファイルは自動的にパイプライン処理され、以下が実行されます。

  • テキストファイルのエンコーディング検出・変換
  • CSV/TSV と、レコードの一覧として読める JSON/GeoJSON の Parquet 変換(テーブルプレビュー用)
  • ZIP ファイルのマニフェスト生成
  • 版の記録(バージョン管理)
  • 検索用のテキスト抽出(ファイルの中身が検索で一致するようになります)
  • AI による説明の生成(サイトで有効な場合。AI による説明)

テーブルプレビューを持つリソースは、そのまま OData フィードとして BI ツールへ配信されます(利用者ガイド)。公開のための操作はありません。配信されないのは次の場合で、リソースページの「OData」ボタンを押すと理由が出ます。

  • データセットが非公開または下書き — 配信されるのは公開データセットのリソースだけです
  • 見出しに使えない文字がある — 括弧・空白・記号・ピリオドなどを含む列名は OData の識別子になりません。人口(人) を 人口_人 にするなど、見出しを直して差し替えると配信できるようになります
  • 同じ名前の列が複数ある — どちらを指しているか表せません。見出しを分けてください
  • 1 行が極端に大きい — 列数が多い、1 つのセルに長い文章が入るといった表は、読み出しの途中でメモリに収まらず配信できないことがあります。ボタンを押したときに注意が出るので、その場合はダウンロードを案内してください

主キーを指定してあると、その列が行の同定に使われ、KUKAN が足す RowId 列が出ません(主キーを指定する)。

表形式のリソースでは、列ごとに「名称」「カテゴリ」「自由記述」「識別子」「数値・日付」「文字列表記数値」といった役割を、列の値と項目名から自動で判定します。役割は、その列の値を検索でどう使うかを決めます。名称とカテゴリの列は値で、自由記述の列は文として検索に使われ、それ以外の列は検索に使われません。

公開ページのフィールド一覧には役割だけが出ます。管理画面のリソースの編集画面には、役割とあわせて判定の根拠(「値の 92% が数値の形」など)が出ます。「文字列表記数値」の列には数値として読めない値も添えるので、データを直すときの手がかりにしてください。

リソースのファイルが差し替わるたびに、差し替え前の内容が版として保存されます。 過去の版はダウンロードでき、表形式(CSV/TSV と表として読める JSON/GeoJSON)なら版の間で何行増減したか — 主キーを指定していれば どの行がどう書き換わったか — を確認できます。

版が作られるのは、内容が実際に変わったときだけです。外部 URL を再取得しても中身が 同じなら版は増えず、リソースの処理状況に「内容が同じため、新しい版は作成されていません」と 表示されます。

リソースの編集画面に「バージョン履歴」があります。新しい版が上に並び、各行に版番号・ 作成日時・サイズ・取得元(アップロード / URL 取得 / v○ を再公開)と、その版が 取り込まれたときの主キーが出ます。

各版はその時点のファイルをそのままダウンロードできます。ファイル名には版番号が付きます。

リソースの編集画面の「主キー」で、版どうしを比べるときに同じ行を対応付ける列を 指定できます(複数列の組み合わせも可)。指定すると、差分で「変更 N 行」が数えられる ようになります。

  • 選んだ列(複数なら組み合わせ)は、内容にその列があること・空の値が無いこと・行ごとに 値が重複しないことの 3 つを満たす必要があります。満たさない場合は、適用する前に理由が 表示されます
  • 「数値」(浮動小数点)と推定された列は選べません。 1.0 と 1 が同じ値になるため、 ファイルが書き分けている 2 つの表記が 1 つの主キーに潰れ、書き出した値がそのまま 読み戻る保証もありません。行を同定する列としては成立しないため、「整数」や「文字列」の 列を選んでください
  • 適用すると版が 1 つ作られ、以後の版がこの主キーで取り込まれます。過去の版の差分は 後から変わりません
  • 主キーを満たさない内容が届くと、その版は行レベル差分の対象外になります。理由(列が無い・ 空の値がある・行が一意に定まらない)は版の一覧と差分表示に出ます
  • 公開のたびに振り直される連番など、同じ行を指し続けない列は主キーに向きません。 そのような列しか無い場合は、指定しないほうが確実です — 1 行の書き換えは「追加 1 行 + 削除 1 行」になりますが、別物どうしを同じ行として扱うことはありません
  • 主キーは BI ツール向けの配信(OData)でも使われます。条件を満たしていれば、その列が 行を同定するキーになり、KUKAN が足す RowId 列が出なくなります。満たさない場合は RowId が付き、理由はリソースページの「OData」ボタンに出ます

版の行の「差分」から、直前の版との差分をその場で取得できます(開いたときに計算されるので、 一覧を開くだけでは走りません)。

  • 追加 N 行 / 削除 N 行と、それぞれの代表的な行が表示されます
  • 主キーを指定している場合は、さらに「変更 N 行」と、変更前 → 変更後の代表的な行が 表示されます。指定していない場合、1 行の書き換えは「追加 1 行 + 削除 1 行」として現れます。 推測で変更履歴を作らない方針です
  • 列構成が変わった場合(列の増減・型の変化・並び替え)は、行を突き合わせられないため 「列構成が変わったため、行単位の差分は取得できません」と表示されます

差分を取得できるのは **表形式(CSV/TSV と表として読める JSON/GeoJSON、100 MB 以下)**の版どうしだけです。取得できない場合は理由が 表示されます。

表示 意味
最初の版のため、比較対象がありません。 v1 には比較相手がありません
v○ には行レベルのスナップショットが無いため、比較できません。 PDF 等の表形式でない版、または機能導入前に取得された版です
一方の版が削除済みのため、差分を取得できません。 どちらかの版が削除済みです
v○ に主キー列が無いため行を同定できず、差分を取得できません。 主キーに指定した列がその版の内容にありません
v○ の主キー列に空の値があるため行を同定できず、差分を取得できません。 主キー列に空の値が混じっています
v○ の主キーが行を一意に定めないため、差分を取得できません。 主キーの値が重複する行があります
v○ の行レベル取り込みが繰り返し失敗したため、差分を取得できません。 その版の差分表示への取り込みが繰り返し失敗しました

主キー起因の 3 つは、主キーの指定を直すと以後の版から適用されます。対象外になった版が 取り込まれ直すことはありません。

差し替えたファイルが間違っていたときのために、破壊の度合いが違う操作が 3 段あります。 それぞれ明示的に選びます。

操作 現在の内容 版 権限
中止 そのまま そのまま 組織 editor
中止して巻き戻す 直近の保存済みの版の内容に戻る 戻した内容が新しい版として発行される 組織 editor
この版を削除 配信中の版なら残りの最新版に戻る 内容を消去し記録だけ残る サイト管理者

中止して巻き戻すは、差し替え後のファイルを直近の保存済みの版の内容へ戻します。 戻した内容は新しい版として発行されるため、バージョン履歴には取得元「v○ を再公開」の 行が増え、過去の版はそのまま残ります。前の版が無い場合、リソースはファイルを持たない 状態になります(メタデータは残ります)。

プレビューと検索用の内容は、巻き戻しと同時に破棄され、戻した内容から自動で作り直されます (作り直しはバックグラウンドで走るため、反映まで少し時間がかかります)。破棄か作り直しの 開始に失敗したときだけ警告が表示されるので、その場合は「プレビューと索引を再構築」で 仕上げてください。

個人情報の混入など、内容そのものを取得できなくしなければならない場合に使います。 サイト管理者のみが実行でき、理由の入力が必須で監査ログに記録されます。

  • この版を取得できなくし、正本ファイルを削除します。版管理の内部ストレージには行が残る ことがあり、そちらの削除は保証されません(別のリソースが保持している履歴が同じファイルを 参照しているためです)
  • 同じ内容を持つ版が他にもある場合、その内容は消えません。 版はそれぞれ自分の複製を持つため、 1 つを削除しても他の版はその内容を配り続けます。配信中の版を削除して別の版に戻ったとき、 その版が同じ内容ならリソースが同じ内容を配り直します。確認ダイアログが該当する版番号を 示すので、そちらも消す必要があれば個別に削除してください
  • ストレージのバージョニングを使う環境では、退避された旧オブジェクトがその保持期間 (既定 30 日)の経過後に消滅します
  • 配信中の版を削除すると、リソースの内容は残っている版のうち最新のものに戻ります。 他に版が無い場合はファイルのない状態になります。配信中でない版の削除は、配信中の内容・ プレビュー・検索インデックスに影響しません
  • 履歴には「削除済み」の行と日時が残ります。入力した削除理由は履歴には表示されず、API も 返しません — 監査ログに入り、現時点ではデータベースからしか読めません。運用者向けのメモと考え、 消すべき内容を理由欄に書き写さないでください
  • 取り消せません

バージョン管理を導入した直後は、それ以前からあるリソースに版が付いていません。 サイト管理者のダッシュボードに「バージョンの補完」が表示されるので、実行してください。

  • 層 1: 版を持たないリソースの現在のファイルを v1 として記録します(再取得・再インデックスは 行いません)
  • 層 2: 表形式リソースの版を差分表示に取り込みます。取り込むと、次の更新から 差分を確認できます。以前のリリースで取り込んだ差分を、新しい形式(リソースごとのカタログ)へ移す 処理も兼ね、移すまでその差分は表示できません(「行レベルのスナップショットが無い」と表示されます)
  • 巻き戻しの変換: 以前の方式の巻き戻しが脇へ避けた版が残っているリソースを変換し、 最新バージョンの表示と配信中の内容を一致させます

残件がすべて 0 になると、この項目は表示されなくなります。実行しないまま差し替えると、 それ以前の内容は版として残らずに失われます。

リソースを追加してパイプライン処理が完了すると、編集画面の「AI にメタデータを提案させる」ボタンから、タイトル・説明・タグ・カテゴリー(下書きでは URL 識別子も)や各リソースの名前・説明を AI に提案させられます(サイトで AI 機能が有効な場合のみ。システム管理者ガイド参照)。

  • 前提: パイプライン処理が完了したリソースが 1 つ以上あり、かつ処理中のリソースが無いこと。満たさない場合はボタンが無効になります。処理が完了すると「提案を生成」ボタン付きの案内が表示されます。
  • 使い方:
    1. 編集画面で「AI にメタデータを提案させる」をクリックします(生成に数十秒〜数分かかることがあります)
    2. ダイアログで「データセット」「リソース」のセクションごとに、現在値と AI の提案を並べて確認します
    3. 採用したいフィールドの採用トグルを ON にします(初期状態はすべて OFF。既存の値を上書きするかは任意です)
    4. 必要なら、採用した提案値をその場で編集できます
    5. 「選択したフィールドを採用」をクリックします
  • 反映のされ方: 採用したフィールドは採用と同時に保存されます(公開の操作は伴わず、下書きは下書きのまま保存されます。入力エラーがある場合は保存されずフォームに残るので、直して保存してください)。リソースの名前・説明も採用と同時に保存されます。タグとカテゴリーは追加だけで、既存の値が外れることはありません。
  • 提案の材料: CSV/TSV は列と先頭データ、テキストファイルは冒頭、PDF や Office 文書(docx・xlsx・pptx、2007 より前の doc・xls・ppt など)や一太郎(jtd・jtt)は抽出したテキストの冒頭、ZIP は収録ファイル名から提案します。それ以外はファイル名・フォーマットから提案します。生成される文章の言語は表示言語に従います。
  • 提案内容はどこにも保存されません(採用した値だけが通常の更新として保存されます)。乱用防止のため 1 ユーザーあたりの実行回数に上限があります。

サイトで有効になっていれば、リソースを登録するたびに、そのファイルの内容を読んだ 短い説明が自動で生成され、リソースページに表示されます(システム管理者ガイド参照)。 メタデータ提案と違って採用の操作は要りません — パイプライン処理の最後に書かれ、 そのまま公開されます。ファイルを差し替えれば、新しい内容から書き直されます。 有効にする前からあるリソースの説明は、システム管理者が生成AI管理画面の「AI による説明の一括生成」で作成します。

説明は検索にも使われます。利用者が「新しくオープンした美容室を知りたい」のように 探したとき、この説明が手掛かりになって該当のファイルが見つかります。

  • AI が読むのは内容だけです。 列の型も、主キーも、ヘッダー行の位置も AI は決めません。 生成されるのは説明文だけで、データそのものは一切書き換えられません。
  • 読む範囲は形式によります。 表は列の構成と先頭の行、PDF は非常に長いものを除き全体、 画像は全体、テキストファイルは冒頭、Office 文書などは抽出したテキストの冒頭、ZIP は収録 ファイル名。どこまで読んだかはリソースページに必ず明記されます。
  • 人が書いた説明は上書きされません。 リソースの「説明」欄とは別枠で表示されます。

生成されなかった場合は、リソースページに理由が表示されます。

理由 対処
サイズ上限を超えている 対象外です。分割して登録すれば生成されます
AI が一度に読み取れる量を超えた 同上
AI が読み取れない形式 対象外の形式です
登録された形式と中身が違う 配信元のリンク切れの可能性があります。 PDF として登録されているのに中身がエラーページ、といった場合に出ます。URL を確認してください
説明の材料が取れない パイプライン処理が本文もスキーマも取り出せなかったファイルです
AI を利用できない設定 サイト側の設定です。システム管理者に連絡してください

差し替えたのに説明が古いとき

Section titled “差し替えたのに説明が古いとき”

ファイルを差し替えると新しい版から書き直されますが、生成が終わるまでの間は前の版の 説明が残ります。その間はリソースページに「このファイルは現在 v3 です。説明は更新されて いません」と表示されるので、利用者が古い説明を最新と誤解することはありません。

組織はデータセットの所有単位です。

組織の管理者は、メンバーの追加・削除・役割変更ができます。

役割 データセット閲覧 データセット編集 削除 復活 / 完全削除 メンバー管理
メンバー ○ - - - -
編集者 ○ ○ ○ - -
管理者 ○ ○ ○ ○ ○

削除済みデータセットはダッシュボードの「削除済」タブで組織メンバーが閲覧できます。復活・完全削除は管理者のみ実行可能です。

組織管理ページでは「公開」「削除済」のカードで表示を切り替えられます(「削除済」の閲覧はサイト管理者のみ)。

  • 削除(論理削除): 組織をゴミ箱へ移動します。配下にアクティブなデータセットが無いことが条件で、残っている場合は先に削除または別組織へ移管してください(残っている間は削除ボタンが無効になります)。
  • 復元: 「削除済」の組織を元に戻します(サイト管理者のみ)。
  • 完全削除(パージ): 組織と、そのゴミ箱内の削除済みデータセットをファイルごと完全に消去します(取り消し不可。サイト管理者のみ)。処理はバックグラウンドのジョブで非同期に実行されるため、完了するまで一覧に残って見えることがあります。

カテゴリーは組織を横断してデータセットを分類する仕組みです。 データセット作成時にカテゴリーを指定できます。

カテゴリーにもメンバー管理があり、組織と同様の役割構成です。

役割 カテゴリー閲覧 データセット追加 メンバー管理
メンバー ○ - -
編集者 ○ ○ -
管理者 ○ ○ ○