(はじめに) Who we are - IPOC は素朴にデータ処理を考え,行う集団です
この記事を読んでいただきたい方
* Excel が苦手な人
* Excel で事務をバリバリこなしている人
* 事務データを処理する基幹システムに携わっている人
* データサイエンティスト
…
つまり,業務でデータ処理をしなければならない方全般です.
※ 画像,音声といったバイナリデータは除きます
IPOC の活動
はじめまして.IPOC の中井と申します.CTO としてソフトウェア開発とお客様のデータ処理プロジェクトを指揮しています.IPOC株式会社が発足して,そして私がこの業に携わってまる3年が経ちました.これから数回にわたり,その3年で得られたデータについての考えや活動を書いていきたいと思いますのでお付き合いください.
現在,IPOC ではデータ処理プラットフォームを自社開発し,そのプラットフォームを利用したデータ処理ソフトウェア製品を開発し,さらにその製品を用いて,お客様が必要なデータ処理を実装しています.具体的な製品名等を加えて仕事の柱を箇条書きにすると,以下の通りです.
1. データ処理プラットフォーム Etlantis®︎ の開発
2. Etlantis を利用したノーコードのデータ処理ソフトウェア ALZETA®︎ の開発(株式会社アイネスさんとの共同開発)
3. ALZETA を用いたデータ処理実装支援
データ処理ソフトウェアを自身で開発するとともに,そのソフトウェアを使用して実際にデータ処理も行っていることが特徴かと思います(そのこともあり,自分で製品の至らなさに歯痒い思いをすることも,少なからず…というところです).
さて,一口に「データ処理」といっても色々ありますが,Etlantis,ALZETA は,企業のビジネスデータを一括処理(バッチ処理)する製品です.Excel で作成されるようなデータ,RDB に格納されているようなデータ,いずれも表形式のデータですが,こういうデータに
* 集計
* 抽出
* 結合
* 文字列加工
* 演算
といった処理を加えて,業務に必要なデータを作成することができます.
IPOC の考え
ここまで読まれた方は,「そんなことは,情シスに頼めばいい」「そんなことは Excel でもできる.俺は VBA できるんだぜ」「それって,ETL だろ.同じような機能を持った製品はいくらでもある」と思われるかもしれません.あるいは,「データ処理といえば今は python だ.python を習得して企業のデータ処理を全て解決するのだ!」と息巻いておられる方もいらっしゃると思います(python かどうかは別にして,実は私もそのクチです).私は,そのような感想をお持ちの方々にこそ,ぜひ我々の考えを知っていただきたいと思っています.
IPOC (一部私個人)のデータについての考えを,以下の要点に整理したいと思います.
* はじめにデータありき(データ設計は後)
* やりたいことは徐々に明らかになる(要件定義は後)
* プログラムは書かない
* データは動かしてナンボ
また,その考えに基づくデータ処理を実現する手法として,以下を採用しています.
* 不定長フィールドフラットファイルによるデータの保持
* 単機能処理ノード(Processing Module: PM)の実装
* 複数 PM の接続によるパイプラインデータ処理の実装
また,こういったトップダウンの(上っ面になりかねない)方針もさることながら,実業務のデータ処理の問題を,お客様と一緒に地道に解くことを重視しています.「地道に」と,あえて修飾語を加えたのは,データの問題を解くには根本的には忍耐を要すると考えているからです.近年大流行の機械学習やその他の AI が銀の弾丸になってくれる業務ももちろんあると思いますが,その華々しい仕事と成果はデータサイエンティストの方々の領域です(データサイエンティストの仕事に忍耐が不要とは言っていません).それに対して,データを素朴なやり方で処理していくのが我々のやり方で,仕事の完遂にはその手法の素朴さゆえの忍耐が必要です.ただその忍耐の中で,先述の考えが「ハマる」場面にでくわし,我々の活動に勇気を与えてくれることが少なくないことを告白して,緒言を閉じることにします.
おそらく,最初は CTO らしく(?)テクニカルな,だが素朴すぎる話から始めると思います.よろしくお付き合いください.
補足(用語など)
Etlantis®︎: IPOC のデータ処理プラットフォーム(https://www.ipoc.co.jp/about-etlantis/)
ALZETA®︎: 株式会社アイネスのノーコードデータ処理基盤ソフトウェア(https://www.ines.co.jp/service/alzeta.html)