コンピュータビジョン，パターン認識， バイオイメージインフォマティクス，バイオメディカル画像解析，画像認識，行動認識，画像処理
キーワード：コンピュータビジョン，パターン認識， バイオイメージインフォマティクス，バイオメディカル画像解析，画像認識，行動認識，画像処理
2017.04～2019.03.

AMED： 診断・治療適用のための光超音波3Dイメージングによる革新的画像診断装置の開発
2019.09～2024.03, 代表者：八木　隆行, Luxonus, Luxonus
脈管（血管、リンパ管）は、癌の増殖・転移、肝炎などの慢性炎症、虚血性心疾患、生活習慣病などに係わる重要疾患において、その発症と病勢を支配する極めて重要な要素である。特に、がん薬物治療の効果評価や、がんによって失われた機能を回復する再建術、がん術後後遺症であるリンパ浮腫外科治療の手技の向上において、微細な血管やリンパ管の「見える化」における必要度が一層高まっているが、既存の医療画像装置はこのニーズに応えるには機能や解像度の点で不十分であった。
本研究開発課題では、光超音波3Dイメージング技術を開発することで、脈管を無被ばくかつ簡便に高解像度で三次元可視化する画像診断ソリューションを実現する事を目的としている。これまで三次元の可視化が困難であった0.2ｍｍの細血管とリンパ管を画像化することで、高いスキルの必要なマイクロサージェリーによる再建術やリンパ浮腫外科治療等の診断・治療を確実かつ迅速に実施できる診断画像を提供し、さらに術後の外科的治療効果や乳がん薬物治療効果の評価モニタリングを実現するものである。.

医療ビッグデータ利活用を促進するクラウド基盤・AI画像解析に関する研究
2019.04～2021.03, 代表者：合田　憲人, 国立情報学研究所, 国立研究開発法人日本医療研究開発機構
クラウド基盤の整備では、提案者らがこれまでに構築した既存のクラウド基盤を最大限に活用することにより、研究期間開始当初から、大量の医療画像データを収集・解析することを可能とする。本クラウド基盤では、学術団体が収集する匿名化された医療画像データを学術団体のデータベースからSINET5を経由してクラウド基盤へ高速に転送することが可能である。提案者らは、2018年度までに実施した臨床研究等ICT基盤構築研究事業の研究において、学術団体からのニーズ調査を実施しており、これらのニーズを満足する医療画像データの受入機能を提供する。また、AMEDが支援する学術団体が新たに追加された場合には、当該団体のニーズを調査し、クラウド基盤の機能拡張を行う。医療画像データの解析では、画像解析研究者が自ら開発した解析プログラムをクラウド基盤に持ち込み、医療画像データを解析することを可能とする。近年のAIを用いた画像解析では、深層学習を用いた方式が主流であるが、計算量が非常に大きいことが問題となる。クラウド基盤では、大量の計算を並列化して高速実行可能な高性能GPUを搭載したサーバを活用することでこの問題を解決する。
AI画像解析技術の開発は、本提案にまつわるAI開発研究チームと、AMEDが支援する学術団体等と有機的に連携し、AI研究者と医学系研究者、さらには臨床現場も組み入れたPDCAサイクルに基づく手法をとる。こうした手法に基づき、戦略設計、タスク設定、学習データ整備、技術開発等を実施する。戦略設計においては、本提案にまつわる研究グループが主導的に開発課題の戦略設計を行い、各課題解決においてすべてのプロジェクトのシナジー効果を狙う。各参画機関は、国立情報学研究所では全体取りまとめを行い、同時に深層学習を中心とした機械学習技術の応用による医療画像解析についての検討を行う。東京大学は、深層学習を用いた医療画像解析、特に病変部分の高精度の検出手法について検討を行う。名古屋大学は、高度医用画像認識、特に画像中の撮影部位の分類やセグメンテーション等の検討を行う。九州大学では深層学習を含むパターン認識技術を用いた医用画像解析について検討を行う。奈良先端大学では、特に技術の応用面について検討し、具体的には手術支援技術について検討を行う.

新学術領域（公募班）：「動画中の多物体同時追跡技術」を用いた細胞社会のダイナミクスと広がりの定量的把握
2018.05～2018.05, 代表者：備瀬竜馬, 九州大学
組織・臓器内のダイバーシティに富む細胞間の相互作用解析による生命現象の原理の解明や数理解析による理論構築といった研究において，自動定量技術は重要である．従来の細胞検出・追跡手法等の定量化技術は，単一種の細胞を仮定している場合が多く，本領域のようなダイバーシティに富む環境においては課題が残る．そこで，本研究課題では，細胞社会のような複数の細胞種が同時に存在しうる多様な環境を対象とした「動画中の多物体同時最適技術」と「多様なデータ解析技術」を用いた細胞社会のダイナミクスと広がりの定量的把握と知識発見を目的とする（図１）．代表者保有の細胞検出・追跡技術を発展させ，新たに複数種の細胞を対象とした機械学習，細胞種（形状類似度）による対応付け制約等を導入した最適化対応付け手法を提案・導入することで，複数の細胞種が混在するダイバーシティに富む環境でもロバストに精度よく検出・追跡可能な手法を実現する．そして，個々の細胞の位置情報を示す「細胞社会における個々の細胞の広がり」，どこにどんな細胞種の集合が分布しているかといった「細胞社会全体の空間的広がり」，動的データから，個々の細胞が「いつ・どの細胞が・どう動いたか」「分裂・細胞死したか」の情報を示す「細胞社会構成員の個々のダイナミクス」，細胞社会の中で，どんな細胞種が集団としてどのように移動して，いつ遺伝子発現を行ったかを示す「細胞社会全体のダイナミクス」の定量化，及び「４方向それぞれの定量化結果からの知識発見」に必要な画像処理技術を新規に研究開発する．さらに，本領域の他の研究テーマに対して応用展開することで，知識発見に貢献する．.

新学術領域：公募班「超高密度環境でロバスト性と汎用性を実現した多物体追跡の研究開発と応用」
2018.04～2020.03, 代表者：備瀬竜馬, 九州大学
生体内・組織内における分子・細胞レベルでの静止画像・動画像・4D(3D+時間)画像の観測による生命現象の解明に関する研究において，より生体内に近い状態での画像定量化技術及びデータ解析技術は非常に重要になる．これまでのディッシュ上での観察と比べ，生体内では，細胞や分子等の観察対象が超高密度・大量に分布しており，画像データからの自動定量評価が難しいという課題があり，生物学分野における定量化研究の障壁となっている．
本研究課題では，「対象物体が超高密度で大量分布している環境においてロバスト性と汎用性を実現する多物体追跡技術」と「群としての対象挙動指標の解析技術による知識発見」を開発・提供することで，客観的な評価・膨大なデータへのスケールアップを可能とし，これらの技術とバイオイメージング技術とのシナジーを起こし，生物学分野への技術革新起に貢献することを目的とする．.

ImPACT「イノベーティブな可視化技術による新成長」
2017.04～2019.03, 代表者：八木　隆行, JST, JST
高齢化社会の到来に伴い、健康長寿で豊かな生活を実現し、病気や介護への不安を解消させる技術サポートが求められています。NIIは、病気の早期診断や超精密検査の実現を目指すImPACTに参加し、生体や物体内部を非侵襲・非破壊でリアルタイム三次元可視化する光超音波イメージングの高度化を行っています。光超音波システムは、レーザー照射により発生する超音波を検出し可視化する最先端計測技術です。この技術は、非侵襲・非破壊である上に、透過して深部まで照射できる光と超音波の両方の特性を活かし、肉眼では見えない様々な対象の可視化を可能にします。本研究では、コンピュータビジョン技術により、鮮明な画像を得るイメージング技術の高度化や、様々な情報を用いた画像解析による診断支援を行っています。例えば、撮影中の患者の体動による画質劣化に対して、画像の位置合わせにより患者の動きを補正し、画質改善した診断しやすい画像を提供できるようになります。また、疾病に関係が深い血管状態を把握するため、血管構造の自動抽出技術の開発を進めています。.

主要著書

主要原著論文

1.	H. Cho, K. Nishimura, K. Watanabe, and R. Bise, Effective Pseudo-Labeling based on Heatmap for Unsupervised Domain Adaptation in Cell Detection, Medical Image Analysis, 10.1016/j.media.2022.102436, 102436-102449, 2022.04.
2.	Nishimura Kazuya, Wang, K.C., Watanabe, Bise Ryoma, Weakly Supervised Cell Instance Segmentation Under Various Conditions, Medical Image Analysis, https://doi.org/10.1016/j.media.2021.102182, 2021.10, Cell instance segmentation is important in biomedical research. For living cell analysis, microscopy images are captured under various conditions (e.g., the type of microscopy and type of cell). Deep-learning-based methods can be used to perform instance segmentation if sufficient annotations of individual cell boundaries are prepared as training data. Generally, annotations are required for each condition, which is very time-consuming and labor-intensive. To reduce the annotation cost, we propose a weakly supervised cell instance segmentation method that can segment individual cell regions under various conditions by only using rough cell centroid positions as training data. This method dramatically reduces the annotation cost compared with the standard annotation method of supervised segmentation. We demonstrated the efficacy of our method on various cell images; it outperformed several of the conventional weakly-supervised methods on average. In addition, we demonstrated that our method can perform instance cell segmentation without any manual annotation by using pairs of phase contrast and fluorescence images in which cell nuclei are stained as training data..
3.	Shota Harada, Ryoma Bise, Hideaki Hayashi, Kiyohito Tanaka, and Seiichi Uchida, Soft and Self Constrained Clustering for Group-Based Labeling, Medical Image Analysis, https://doi.org/10.1016/j.media.2021.102097, 2021.05, When using deep neural networks in medical image classification tasks, it is mandatory to prepare a large-scale labeled image set, and this often requires significant effort by medical experts. One strategy to reduce the labeling cost is group-based labeling, where image samples are clustered and then a label is attached to each cluster. The efficiency of this strategy depends on the purity of the clusters. Constrained clustering is an effective way to improve the purity of the clusters if we can give appropriate must-links and cannot-links as constraints. However, for medical image clustering, the conventional constrained clustering methods encounter two issues. The first issue is that constraints are not always appropriate due to the gap between semantic and visual similarities. The second issue is that attaching constraints requires extra effort from medical experts. To deal with the first issue, we propose a novel soft-constrained clustering method, which has the ability to ignore inappropriate constraints. To deal with the second issue, we propose a self-constrained clustering method that utilizes prior knowledge about the target images to set the constraints automatically. Experiments with the endoscopic image datasets demonstrated that the proposed methods give clustering results with higher purity..
4.	K. Nishimura, J. Hayashida, C. Wang, D.F.E. Ker, and R. Bise, Weakly-Supervised Cell Tracking via Backward-and-Forward Propagation, 16th European Conference on Computer Vision (ECCV2020), 2020, https://doi.org/10.1007/978-3-030-58610-2_7, pp.104-pp.121, 2020.08, We propose a weakly-supervised cell tracking method that can train a convolutional neural network (CNN) by using only the annotation of “cell detection” (i.e., the coordinates of cell positions) without association information, in which cell positions can be easily obtained by nuclear staining. First, we train co-detection CNN that detects cells in successive frames by using weak-labels. Our key assumption is that co-detection CNN implicitly learns association in addition to detection. To obtain the association, we propose a backward-and-forward propagation method that analyzes the correspondence of cell positions in the outputs of co-detection CNN. Experiments demonstrated that the proposed method can associate cells by analyzing co-detection CNN. Even though the method uses only weak supervision, the performance of our method was almost the same as the state-of-the-art supervised method. Code is publicly available in https://github.com/naivete5656/WSCTBFP..
5.	H. Tokunaga, B.K. Iwana, Y. Teramoto, A. Yoshizawa, and R. Bise, Negative Pseudo Labeling using Class Proportion for Semantic Segmentation in Pathology, 16th European Conference on Computer Vision (ECCV2020), 2020, 2020.08, We propose a weakly-supervised cell tracking method that can train a convolutional neural network (CNN) by using only the annotation of "cell detection" (i.e., the coordinates of cell positions) without association information, in which cell positions can be easily obtained by nuclear staining. First, we train a co-detection CNN that detects cells in successive frames by using weak-labels. Our key assumption is that the co-detection CNN implicitly learns association in addition to detection. To obtain the association information, we propose a backward-and-forward propagation method that analyzes the correspondence of cell positions in the detection maps output of the co-detection CNN. Experiments demonstrated that the proposed method can match positions by analyzing the co-detection CNN. Even though the method uses only weak supervision, the performance of our method was almost the same as the state-of-the-art supervised method..
6.	J. Hayashida, K. Nishimura and R. Bise, MPM: Joint Representation of Motion and Position Map for Cell Tracking, IEEE CVPR2020, https://doi.org/10.1109/CVPR42600.2020.00388, 3822-3831, 2020.06, Conventional cell tracking methods detect multiple cells in each frame (detection) and then associate the detection results in successive time-frames (association). Most cell tracking methods perform the association task independently from the detection task. However, there is no guarantee of preserving coherence between these tasks, and lack of coherence may adversely affect tracking performance. In this paper, we propose the Motion and Position Map (MPM) that jointly represents both detection and association for not only migration but also cell division. It guarantees coherence such that if a cell is detected, the corresponding motion flow can always be obtained. It is a simple but powerful method for multi-object tracking in dense environments. We compared the proposed method with current tracking methods under various conditions in real biological images and found that it outperformed the state-of-the-art (+5.2\% improvement compared to the second-best)..
7.	H. Tokunaga, Y. Teramoto, A. Yoshizawa, R. Bise, Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology, IEEE CVPR2019, 10.1109/CVPR.2019.01288, 2019.06.
8.	Ryoma Bise, Yoichi Sato, Cell Detection From Redundant Candidate Regions Under Nonoverlapping Constraints, IEEE Transactions on Medical Imaging, 10.1109/TMI.2015.2391095, 34, 7, 1417-1427, 2015.07, [URL], Cell detection in microscopy images is essential for automated cell behavior analysis including cell shape analysis and cell tracking. Robust cell detection in high-density and low-contrast images is still challenging since cells often touch and partially overlap, forming a cell cluster with blurry intercellular boundaries. In such cases, current methods tend to detect multiple cells as a cluster. If the control parameters are adjusted to separate the touching cells, other problems often occur: a single cell may be segmented into several regions, and cells in low-intensity regions may not be detected. To solve these problems, we first detect redundant candidate regions, which include many false positives but in turn very few false negatives, by allowing candidate regions to overlap with each other. Next, the score for how likely the candidate region contains the main part of a single cell is computed for each cell candidate using supervised learning. Then we select an optimal set of cell regions from the redundant regions under nonoverlapping constraints, where each selected region looks like a single cell and the selected regions do not overlap. We formulate this problem of optimal region selection as a binary linear programming problem under nonoverlapping constraints. We demonstrated the effectiveness of our method for several types of cells in microscopy images. Our method performed better than five representative methods, achieving an F-measure of over 0.9 for all data sets. Experimental application of the proposed method to 3-D images demonstrated that also works well for 3-D cell detection..

主要総説, 論評, 解説, 書評, 報告書等

主要学会発表等

1.	J. Hayashida, R. Bise, Cell Tracking with Deep Learning for Cell Detection and Motion Estimation in Low-Frame-Rate, International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI2019), 2019.10.
2.	K. Nishimura, E.D. Ker, R. Bise, Weakly Supervised Cell Segmentation in Dense by Propagating from Detection Map, International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI2019), 2019.10.
3.	H. Tokunaga, Y. Teramoto, A. Yoshizawa, R. Bise, Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology, IEEE Conference on Computer Vision and Pattern Recognition, 2019.06.
4.	Lin Gu, Yinqiang Zheng, Ryoma Bise, Imari Sato, Nobuaki Imanishi, Sadakazu Aiso, Semi-supervised learning for biomedical image segmentation via forest oriented super pixels(voxels), 20th International Conference on Medical Image Computing and Computer-Assisted Intervention, MICCAI 2017, 2017.09, In this paper, we focus on semi-supervised learning for biomedical image segmentation, so as to take advantage of huge unlabelled data. We observe that there usually exist some homogeneous connected areas of low confidence in biomedical images, which tend to confuse the classifier trained with limited labelled samples. To cope with this difficulty, we propose to construct forest oriented super pixels(voxels) to augment the standard random forest classifier, in which super pixels(voxels) are built upon the forest based code. Compared to the state-of-the-art, our proposed method shows superior segmentation performance on challenging 2D/3D biomedical images. The full implementation (based on Matlab) is available at https://github.com/lingucv/ssl_superpixels..
5.	Mihoko Shimano, Ryoma Bise, Yinqiang Zheng, Imari Sato, Separation of transmitted light and scattering components in transmitted microscopy, 20th International Conference on Medical Image Computing and Computer-Assisted Intervention, MICCAI 2017, 2017.09, In transmitted light microscopy, a specimen tends to be observed as unclear. This is caused by a phenomenon that an image sensor captures the sum of these scattered light rays traveled from different paths due to scattering. To cope with this problem, we propose a novel computational photography approach for separating directly transmitted light from the scattering light in a transmitted light microscope by using high-frequency lighting. We first investigated light paths and clarified what types of light overlap in transmitted light microscopy. The scattered light can be simply represented and removed by using the difference in observations between focused and unfocused conditions, where the high-frequency illumination becomes homogeneous. Our method makes a novel spatial multiple-spectral absorption analysis possible, which requires absorption coefficients to be measured in each spectrum at each position. Experiments on real biological tissues demonstrated the effectiveness of our method..

特許出願・取得

所属学会名

学協会役員等への就任

学会大会・会議・シンポジウム等における役割

学術論文等の審査