<div dir="ltr">Ok Jonatan,<div><br></div><div>There are 2 reviews - both require major changes. I am copying the relevant text below.  If more appear, I will let you know, yet I only got this message today although the reviews are dated a few days ago. </div><div><br></div><div>Reviewer 1: </div><div><strong style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px">Recommendation for the Editor: </strong><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">Substantial revision is required</span><br></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px"><br></span></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;font-weight:700;background-color:rgb(242,242,242)">Please list your revision requests for the authors and provide your detailed comments, including highlighting limitations and strengths of the review. If you have additional comments based on Q2 and Q3 you can add them as well.</span><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px"><br></span></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;font-weight:700;background-color:rgb(242,242,242)"><br></span></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">Karr and co-authors made an interesting and exaustive point about the reproducibility crisis that leads to inability to reuse and integrate models, especially about COVID-19 disease.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">Within the manuscript some typos and missing information are present.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">I'd suggest the authors to revise the entire manuscript especially in terms of the state of the art, revising and updating the most relevant examples of computational models dealing with COVID-19 and in general about some semi-standardised proposals about the pipeline to follow for the verification and validation of model credibility. In particular, the authors failed to mention and cite some major results on in silico modeling about COVID-19 up to now. See for example:</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">a."In silico trial to test COVID-19 candidate vaccines: a case study with UISS platform", Russo, G., Pennisi, M., Fichera, E., ...Viceconti, M., Pappalardo, F., BMC Bioinformatics, 2020, 21, 527.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">b. Russo G, Di Salvatore V, Sgroi G, Parasiliti Palumbo GA, Reche PA, Pappalardo F. "A multi-step and multi-scale bioinformatic protocol to investigate potential SARS-CoV-2 vaccine targets" [published online ahead of print, 2021 Oct 5]. Brief Bioinform. 2021;bbab403. doi:10.1093/bib/bbab403.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">Moreover, when the authors mention ASME V&V40 procedure, it could be useful to spend few words about the model credibility pipeline drawn for predictive models in biomedicine, such as the one suggested in "Credibility of in Silico Trial Technologies-A Theoretical Framing", Viceconti, M., Juarez, M.A., Curreli, C., ...Russo, G., Pappalardo, F., IEEE Journal of Biomedical and Health Informatics, 2020, 24(1), pp. 4–13, 8884189.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">For this specific aspect, the authors should talk about "specific question of interest" and not "specific purpose" in the paragraph called "Credibility of Models" to follow in such a way a standardised language.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">Moreover, the authors should refer to COVID-19 also in the title, with a specific mention about the fact that the main topic of model integration in computational biology will be discussed inside the COVID-19 context.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">Furthermore, for the model key concepts such as Reusability-Extensibility-Extractability-Portability the authors should described and outlined through a graphical sketch or visual representation that summarises these key point.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">The authors should also fix some grammar and writing typos present in the "Contribution to the field" section.</span><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;font-weight:700;background-color:rgb(242,242,242)"><br></span></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px"><br></span></div><div><div class="gmail-answers" style="border-top:1px solid rgb(217,217,217);color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><div class="gmail-answer" style="padding-top:15px;outline:0px"><div class="gmail-content" style="outline:0px">a. Is the quality of the figures and tables satisfactory?<br style="outline:0px">- No<br style="outline:0px"><br style="outline:0px">b. Does the reference list cover the relevant literature adequately and in an unbiased manner?<br style="outline:0px">- No<br style="outline:0px"><br style="outline:0px">c. Does this manuscript refer only to published data? (unpublished or original data is not allowed for this article type)<br style="outline:0px">- Yes<br style="outline:0px"><br style="outline:0px">d. Does the review include a balanced, comprehensive, and critical view of the research area?<br style="outline:0px">- Yes</div></div><div class="gmail-uploaded-document gmail-uploadedFiles_7672" id="gmail-7672" style="outline:0px"><div class="gmail-divDocumentUploader" style="padding:5px 0px 5px 5px;outline:0px"><div class="gmail-divUploadButton" style="outline:0px"></div></div></div></div><div class="gmail-actions" style="height:20px;margin-top:10px;margin-left:20px;color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><br class="gmail-Apple-interchange-newline"></div></div><div class="gmail-actions" style="height:20px;margin-top:10px;margin-left:20px;color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><br></div><div class="gmail-actions" style="height:20px;margin-top:10px;margin-left:20px;color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px">Reviewer 2</div><div class="gmail-actions" style="height:20px;margin-top:10px;margin-left:20px;color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><br></div><div class="gmail-actions" style="height:20px;margin-top:10px;margin-left:20px;color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="font-weight:700;background-color:rgb(242,242,242)">Please list your revision requests for the authors and provide your detailed comments, including highlighting limitations and strengths of the review. If you have additional comments based on Q2 and Q3 you can add them as well.</span><br></div><div class="gmail-actions" style="height:20px;margin-top:10px;margin-left:20px;color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><br></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px"><br></span></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">The article often reads as a stream-of-consciousness account of the discussions that took place but lacks a clear thesis or recommendations. It is not clear what, if anything, the authors are advocating for. It is not always clear why the issues being discussed are problematic, or that they can be reasonably addressed. Some of the issues raised are indeed important and should be discussed, but the paper lacks focus and does not tell a cohesive story. I believe this manuscript requires a major re-write to be suitable for publication. The authors should consider narrowing the scope of the discussion and focusing on a cohesive set of recommendations or open questions. More specifically, I make a few suggestions below:</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">Major comments</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">1. The introduction is long and repeats itself (e.g., “much less is known about how viral infections spread throughout the body…” is repeated verbatim). It is not clear from the introduction what the main goal of the paper is or why the “reproducibility crisis” is truly a crisis. Why is the discussion of composition and black/white box models relevant to the introduction? Further, this section is subtitled “the promise of modeling”, which does not seem to match the content.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">2. The Reproducibility Crisis: “Computational biomedical modeling… was expected to be less affected by the reproducibility crisis.” Is this true, and why would it be so? One would think that more complex models would suffer more from a lack of reproducibility. It may be helpful to define what exactly the “reproducibility crisis” refers to.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">3. Models are Hard to Locate: Are the authors suggesting that entire simulation workflows, from model construction to analysis, should be publicly available? At what point does one consider intellectual property? Do the authors advocate for such extensive publishing for all models, or only ones that are intended to be widely re-used?</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">4. Unit standardization: The conversion from PFU or TCID50 to individual virions is likely to differ across viruses – are the authors focused on COVID here? Are the authors advocating for a standard conversion factor? It is not clear what the purpose of this discussion is. As the authors mention, different scales require different units. Even at a single scale, different models may require different units for numerical reasons. It is not clear what the authors are advocating for here.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">5. Data availability and measurement definitions: This section seems to outline limitations of available data, but again makes no recommendations or proposed solution to any of the issues raised. Is this the intention? Most of the issues raised here reflect limitations of experimental science or data privacy, which likely cannot be meaningfully addressed by the modeling community.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">6. Models are Not Consistently Licensed…: Are the authors implying here that all modeling work should be published with no rights reserved? Is it reasonable to expect modelers to make their work freely usable by others for profit? Is it reasonable for institutions to allow this? How much does this really contribute to reproducibility and utility?</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">7. Model Application and Implementation Barriers: This section seems unnecessary and out of place.</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">8. There are grammar and punctuation errors scattered throughout; please edit carefully.</span><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px"><br></span></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px"><br></span></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px"><br></span></div><div><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">a. Is the quality of the figures and tables satisfactory?</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">- Not Applicable</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">b. Does the reference list cover the relevant literature adequately and in an unbiased manner?</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">- Yes</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">c. Does this manuscript refer only to published data? (unpublished or original data is not allowed for this article type)</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">- Yes</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">d. Does the review include a balanced, comprehensive, and critical view of the research area?</span><br style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px;outline:0px"><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px">No answer given.</span><span style="color:rgb(62,61,64);font-family:"Lucida Grande","Trebuchet MS",Arial,sans-serif;font-size:12px"><br></span></div><div><br></div><div><br></div><div>=========</div><div><br></div><div>Those were individual reviewers. I have not seen any editorial recommendations. - The title says interactive review so I guess we can write back to the reviewers. Macella might know better since she knows the Journal </div><div><br></div><div>We did go over the paper multiple times and reviewers still point out errors - so either I copied the wrong version when we submitted, or we missed something major that disrupts both reviewers - can someone see any grammatical  errors the reviewers are pointing to? </div><div><br></div><div>The first reviewer seems to focus on  more literature and his requests are fairly easy to accommodate to my understanding .  The second reviewer goes into detail and calls for some necessary discussion points - I actually think we should discuss his points in more detail in the group - the discussion itself is worth it to clarify details - beyond any publication.  I am especially interested in the license issue he discussed - We had some discussion about it in the past, it is time to do it again and answer the reviewer. Yet I assume some of you may want to discuss other points. </div><div><br></div><div>I am not sure if everyone has access to the system to comment internally, so I suggest we have our discussions in this group publicly and I will periodically copy those responses to the submission system if allowed - another option is to withdraw the paper,  have our discussions and send a revised version. If we decide to revise we will need another approval round. I am unsure of the best course of action so let us start discussions. </div><div><br></div><div>The thing is, if we revise we need to go through another long approval round - the last 2 times it took us 3 weeks only to get all approvals in place and I assume it is the time it will take if we need to do it again. </div><div><br></div><div>So the sooner we discuss the situation, the better.</div><div><br></div><div>                  Jacob</div><div><br></div><div><br></div><div><br></div><div><br></div><div> </div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 16, 2021 at 8:44 PM Jonathan Karr <<a href="mailto:jonrkarr@gmail.com">jonrkarr@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto">I haven't seen anything. If there's feedback, can you share?<div dir="auto"><br></div><div dir="auto">Jonathan</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 16, 2021, 8:56 PM Torres, Marcella <<a href="mailto:mtorres@richmond.edu" target="_blank">mtorres@richmond.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Hi all,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Just checking in: am I the only one seeing the reviewer's comments on the manuscript?</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Thanks,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Marcella</div>
<div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div id="gmail-m_-5304957853415655609m_-7912615488448379584Signature">
<div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<div style="margin:0px;font-size:14px;font-family:Calibri,sans-serif;color:rgb(32,31,30);text-align:start;background-color:rgb(255,255,255)">
Marcella Torres, Ph.D.</div>
<div style="margin:0px;font-size:14px;font-family:Calibri,sans-serif;color:rgb(32,31,30);text-align:start;background-color:rgb(255,255,255)">
Director of Mathematical Studies</div>
<div style="margin:0px;font-size:14px;font-family:Calibri,sans-serif;color:rgb(32,31,30);text-align:start;background-color:rgb(255,255,255)">
University of Richmond</div>
<div style="margin:0px;font-size:14px;font-family:Calibri,sans-serif;color:rgb(32,31,30);text-align:start;background-color:rgb(255,255,255)">
Jepson Hall Room 212</div>
<div style="margin:0px;font-size:14px;font-family:Calibri,sans-serif;color:rgb(32,31,30);text-align:start;background-color:rgb(255,255,255)">
221 Richmond Way</div>
<div style="margin:0px;font-size:14px;font-family:Calibri,sans-serif;color:rgb(32,31,30);text-align:start;background-color:rgb(255,255,255)">
Richmond, VA 23173</div>
<div style="margin:0px;font-size:14px;font-family:Calibri,sans-serif;color:rgb(32,31,30);text-align:start;background-color:rgb(255,255,255)">
(804) 289-8081</div>
<div style="margin:0px;font-size:14px;font-family:Calibri,sans-serif;color:rgb(32,31,30);text-align:start;background-color:rgb(255,255,255)">
Pronouns:  she/her</div>
<br>
</div>
</div>
</div>
</div>
<div id="gmail-m_-5304957853415655609m_-7912615488448379584appendonsend"></div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_-5304957853415655609m_-7912615488448379584divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> Vp-reproduce-subgroup <<a href="mailto:vp-reproduce-subgroup-bounces@lists.simtk.org" rel="noreferrer" target="_blank">vp-reproduce-subgroup-bounces@lists.simtk.org</a>> on behalf of Jacob Barhak <<a href="mailto:jacob.barhak@gmail.com" rel="noreferrer" target="_blank">jacob.barhak@gmail.com</a>><br>
<b>Sent:</b> Monday, November 29, 2021 2:39 AM<br>
<b>To:</b> James A Glazier <<a href="mailto:jaglazier@gmail.com" rel="noreferrer" target="_blank">jaglazier@gmail.com</a>><br>
<b>Cc:</b> Thompson, Robin <<a href="mailto:Robin.N.Thompson@warwick.ac.uk" rel="noreferrer" target="_blank">Robin.N.Thompson@warwick.ac.uk</a>>; <a href="mailto:vp-reproduce-subgroup@lists.simtk.org" rel="noreferrer" target="_blank">vp-reproduce-subgroup@lists.simtk.org</a> <<a href="mailto:vp-reproduce-subgroup@lists.simtk.org" rel="noreferrer" target="_blank">vp-reproduce-subgroup@lists.simtk.org</a>>; <a href="mailto:vp-integration-subgroup@lists.simtk.org" rel="noreferrer" target="_blank">vp-integration-subgroup@lists.simtk.org</a> <<a href="mailto:vp-integration-subgroup@lists.simtk.org" rel="noreferrer" target="_blank">vp-integration-subgroup@lists.simtk.org</a>>; Jonathan Karr <<a href="mailto:jonrkarr@gmail.com" rel="noreferrer" target="_blank">jonrkarr@gmail.com</a>>;
 John Gennari <<a href="mailto:gennari@uw.edu" rel="noreferrer" target="_blank">gennari@uw.edu</a>>; Winston Garira <<a href="mailto:Winston.Garira@univen.ac.za" rel="noreferrer" target="_blank">Winston.Garira@univen.ac.za</a>>; Faeder, James R <<a href="mailto:faeder@pitt.edu" rel="noreferrer" target="_blank">faeder@pitt.edu</a>><br>
<b>Subject:</b> Re: [Vp-reproduce-subgroup] [Vp-integration-subgroup] Shayn Peirce-Cottler via Frontiers: Manuscript</font>
<div> </div>
</div>
<div>
<div style="font-family:Arial,Helvetica,sans-serif;font-size:10pt;border:1pt solid red;padding:2pt;background:yellow">
<span style="color:red"><b>External Email:</b></span><span style="color:black"> Use caution in opening links, attachments, and buying gift cards.</span></div>
<br>
<div>
<div dir="ltr">Thanks James, And thanks to all contributors,
<div><br>
</div>
<div>The paper was submitted on Thanksgiving evening and confirmation was received.</div>
<div><br>
</div>
<div>Hopefully it will be processed quickly.</div>
<div><br>
</div>
<div>          Jacob</div>
<div><br>
</div>
<div><br>
</div>
</div>
<br>
<div>
<div dir="ltr">On Wed, Nov 24, 2021 at 12:22 PM James A Glazier <<a href="mailto:jaglazier@gmail.com" rel="noreferrer" target="_blank">jaglazier@gmail.com</a>> wrote:<br>
</div>
<blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div>
<p>Dear Jacob:</p>
<p>Thank you for all your hard work and patience on this paper. I know you have made a lot of effort to integrate so many differing ideas and voices.</p>
<p>JAG<br>
</p>
<div>On 11/24/2021 9:14 AM, Jacob Barhak wrote:<br>
</div>
<blockquote type="cite">
<div dir="ltr">Thanks James,
<div><br>
</div>
<div>Unless there are any last minute objections, I will submit the paper this holiday weekend.</div>
<div><br>
</div>
<div>I will update you all on progress.</div>
<div><br>
</div>
<div>Hopefully it will be smooth.</div>
<div><br>
</div>
<div>Happy thanksgiving.</div>
<div><br>
</div>
<div>           Jacob</div>
</div>
<br>
<div>
<div dir="ltr">On Wed, Nov 24, 2021 at 8:09 AM Faeder, James R <<a href="mailto:faeder@pitt.edu" rel="noreferrer" target="_blank">faeder@pitt.edu</a>> wrote:<br>
</div>
<blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div lang="EN-US">
<div>
<p>APPROVE. I apologize for the delay. These messages were being routed to a folder that I do not check frequently. I finally found out from a voicemail message. Thanks everyone for the efforts you have put into this work and especially
 Jacob for all of the work organizing on top of it. Good luck with the submission and Happy Thanksgiving!</p>
<p> </p>
<p>Jim</p>
<p> </p>
<div style="border-right:none;border-bottom:none;border-left:none;border-top:1pt solid rgb(181,196,223);padding:3pt 0in 0in">
<p style="margin-bottom:12pt"><b><span style="font-size:12pt;color:black">From:
</span></b><span style="font-size:12pt;color:black">Jacob Barhak <<a href="mailto:jacob.barhak@gmail.com" rel="noreferrer" target="_blank">jacob.barhak@gmail.com</a>><br>
<b>Date: </b>Wednesday, November 24, 2021 at 6:47 AM<br>
<b>To: </b>John Rice <<a href="mailto:john.rice@noboxes.org" rel="noreferrer" target="_blank">john.rice@noboxes.org</a>>, Jonathan Karr <<a href="mailto:jonrkarr@gmail.com" rel="noreferrer" target="_blank">jonrkarr@gmail.com</a>>, William Waites <<a href="mailto:wwaites@ieee.org" rel="noreferrer" target="_blank">wwaites@ieee.org</a>>,
 Tingting Tang <<a href="mailto:ttang2@sdsu.edu" rel="noreferrer" target="_blank">ttang2@sdsu.edu</a>>,
<a href="mailto:vp-reproduce-subgroup@lists.simtk.org" rel="noreferrer" target="_blank">vp-reproduce-subgroup@lists.simtk.org</a> <<a href="mailto:vp-reproduce-subgroup@lists.simtk.org" rel="noreferrer" target="_blank">vp-reproduce-subgroup@lists.simtk.org</a>>, James A Glazier <<a href="mailto:jaglazier@gmail.com" rel="noreferrer" target="_blank">jaglazier@gmail.com</a>>,
<a href="mailto:vp-integration-subgroup@lists.simtk.org" rel="noreferrer" target="_blank">vp-integration-subgroup@lists.simtk.org</a> <<a href="mailto:vp-integration-subgroup@lists.simtk.org" rel="noreferrer" target="_blank">vp-integration-subgroup@lists.simtk.org</a>>, John Gennari <<a href="mailto:gennari@uw.edu" rel="noreferrer" target="_blank">gennari@uw.edu</a>>,
 Winston Garira <<a href="mailto:Winston.Garira@univen.ac.za" rel="noreferrer" target="_blank">Winston.Garira@univen.ac.za</a>>, Faeder, James R <<a href="mailto:faeder@pitt.edu" rel="noreferrer" target="_blank">faeder@pitt.edu</a>>, Thompson, Robin <<a href="mailto:Robin.N.Thompson@warwick.ac.uk" rel="noreferrer" target="_blank">Robin.N.Thompson@warwick.ac.uk</a>><br>
<b>Subject: </b>Re: [Vp-integration-subgroup] [Vp-reproduce-subgroup] Shayn Peirce-Cottler via Frontiers: Manuscript</span></p>
</div>
<div>
<p>Greetings James Faeder,</p>
<div>
<p> </p>
</div>
<div>
<p>You are the last one that needs to Approve. DISAPPROVE , or ABSTAIN from submission of the paper. </p>
</div>
<div>
<p> </p>
</div>
<div>
<p>I apologize if you already sent a response yet I have not located any response from you- it may be my error, yet I need your public response before I can continue to submit the paper.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>17 of us already approved submission and you are the last one on my list.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>I tried to contact your department in the last few days and left voice messages to your administrators since I could not locate your direct phone. </p>
</div>
<div>
<p> </p>
</div>
<div>
<p>I will really appreciate it if someone can contact you and make sure you get this message.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>I really hope we get an answer so I can process the paper by thanksgiving weekend.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>                  Jacob</p>
</div>
<div>
<p> </p>
</div>
<div>
<p> </p>
</div>
</div>
<p> </p>
<div>
<div>
<p>On Fri, Nov 19, 2021 at 12:22 AM Jacob Barhak <<a href="mailto:jacob.barhak@gmail.com" rel="noreferrer" target="_blank">jacob.barhak@gmail.com</a>> wrote:</p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<p>Thanks John, Hi James Faedar, </p>
<div>
<p> </p>
</div>
<div>
<p>John, with your approval below we only need James Faedar to respond so I can proceed. </p>
</div>
<div>
<p> </p>
</div>
<div>
<p>Can someone contact him to make sure he saw this correspondence? He should receive these messages, yet if someone is in contact with him regularly, please ask him to respond so we can move on.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>One last thing before submission. If there is anyone who thinks this paper should not be published, I would ask them to write to this mailing list publicly - if there is any error or omission that anyone thinks is important, we want to
 know about it before submitting the article. This request is public and not targeted at the authors - if there is something we missed, we want to know it before submission.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>Hopefully James Feedar will respond quickly and there will be no public objection and we can get this paper published quickly.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>              Jacob</p>
</div>
<div>
<p> </p>
</div>
<div>
<p> </p>
</div>
</div>
<p> </p>
<div>
<div>
<p>On Thu, Nov 18, 2021 at 4:34 PM John Rice <<a href="mailto:john.rice@noboxes.org" rel="noreferrer" target="_blank">john.rice@noboxes.org</a>> wrote:</p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<p style="margin-bottom:12pt">I approve submission.</p>
<div>
<p>Typed with two thumbs on my iPhone.  (757) 318-0671</p>
<div>
<p> </p>
</div>
<div>
<div>
<p>“Upon this gifted age, in its dark hour,</p>
</div>
<div>
<p>Rains from the sky a meteoric shower</p>
</div>
<div>
<p>Of facts . . . they lie unquestioned, uncombined.</p>
</div>
<div>
<p>Wisdom enough to leech us of our ill</p>
</div>
<div>
<p>Is daily spun; but there exists no loom</p>
</div>
<div>
<p>To weave it into fabric.”</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>–Edna St. Vincent Millay,</p>
</div>
<div>
<p> </p>
</div>
<div>
<p> </p>
</div>
</div>
</div>
<div>
<p style="margin-bottom:12pt"><br>
On Nov 17, 2021, at 22:04, Jacob Barhak <<a href="mailto:jacob.barhak@gmail.com" rel="noreferrer" target="_blank">jacob.barhak@gmail.com</a>> wrote:</p>
</div>
<div>
<p></p>
<div>
<p>Hi James Faedar, Hi John Rice,</p>
<div>
<p> </p>
</div>
<div>
<p>Please check the manuscript and declare by REPLY ALL if you APPROVE, DISAPPROVE or ABSTAIN.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>James, if you responded and I did not get the email, I apologize - there are some communication hiccups occasionally. Yet I need your public approval to proceed and use your name.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>John, I know you allowed us to send the paper, yet you need to be specific and declare if you want to be included as an Author or just moved to acknowledgements. You did have a major contribution, so I hope you will APPROVE. </p>
</div>
<div>
<p> </p>
</div>
<div>
<p>Once I have your answer I can proceed. Hopefully you will both APPROVE quickly.</p>
</div>
<div>
<p> </p>
</div>
<div>
<p>               Jacob</p>
</div>
</div>
<p> </p>
<div>
<div>
<p>On Wed, Nov 17, 2021 at 3:02 PM sheriff <<a href="mailto:sheriff@ebi.ac.uk" rel="noreferrer" target="_blank">sheriff@ebi.ac.uk</a>> wrote:</p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Hi Jacob and all,</span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">I approve the submission of the manuscript. </span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Please update the citation Tiwari et 2020 Preprint to </span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Tiwari K, Kananathan S, Roberts MG, Meyer JP, Sharif Shohan MU, Xavier A, Maire M, Zyoud A, Men J, Ng S, Nguyen TVN, Glont M, Hermjakob H, Malik-Sheriff RS. Reproducibility in systems biology modelling.
 Mol Syst Biol. 2021 Feb;17(2):e9982. doi: 10.15252/msb.20209982. PMID: 33620773; PMCID: PMC7901289.</span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Also my name and affiliation below</span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Rahuman S. <u>Malik Sheriff</u></span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">European Molecular Biology Laboratory, European Bioinformatics Institute (EMBL-EBI), Wellcome Genome Campus, Hinxton, Cambridge, UK</span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Thanks for pushing this work forward</span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Best regards</span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Sheriff</span></p>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
<p id="gmail-m_-5304957853415655609m_-7912615488448379584x_gmail-m_5903472748620074431gmail-m_-816442842227439560gmail-m_-1664506982640354478gmail-m_2983802147113687999gmail-m_3056082822452168104gmail-m_5776642796092585345reply-intro">
<span style="font-size:10pt;font-family:Verdana,sans-serif">On 2021-11-17 18:58, Jonathan Karr wrote:</span></p>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1.5pt solid rgb(16,16,255);padding:0in 0in 0in 5pt;margin-left:0in;margin-right:0in">
<div id="gmail-m_-5304957853415655609m_-7912615488448379584x_gmail-m_5903472748620074431gmail-m_-816442842227439560gmail-m_-1664506982640354478gmail-m_2983802147113687999gmail-m_3056082822452168104gmail-m_5776642796092585345replybody1">
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Hi Jacob,
</span></p>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Thank you again for spearheading this effort.</span></p>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">I approve the submission. I think the paper organizes a variety of important issues toward more credible models, and the content is sound.</span></p>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">My affiliation is Department of Genetics and Genomic Sciences, Icahn School of Medicine at Mount Sinai, New York, NY, USA.</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">As others have mentioned, I think the paper would be more impactful with further editing to make the paper easier to read:</span></p>
</div>
<div>
<ul type="disc">
<li><span style="font-size:10pt;font-family:Verdana,sans-serif">More clearly articulate the goals/motivation for more credible models</span></li><li><span style="font-size:10pt;font-family:Verdana,sans-serif">Be more concise and focused</span></li><li><span style="font-size:10pt;font-family:Verdana,sans-serif">Remove redundancies by grouping related text</span></li><li><span style="font-size:10pt;font-family:Verdana,sans-serif">Fill in the gaps in logic in the introduction with more transitions, less extraneous information, and/or a brief outline.</span></li><li><span style="font-size:10pt;font-family:Verdana,sans-serif">Change the title of the "Utility of models" section to something like "Challenges with using multiscale models" (James' suggestion)</span></li><li><span style="font-size:10pt;font-family:Verdana,sans-serif">Order the "Utility of models" subsections to be easier to follow, perhaps from model construction through to reuse</span></li><li><span style="font-size:10pt;font-family:Verdana,sans-serif">Rephrase the titles of the  "Utility of models" subsections to focus on opportunities for improvement rather than current problems</span></li></ul>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Regards,</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Jonathan</span></p>
</div>
</div>
</div>
</div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
<div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">On Wed, Nov 10, 2021 at 11:25 PM Jacob Barhak <<a href="mailto:jacob.barhak@gmail.com" rel="noreferrer" target="_blank">jacob.barhak@gmail.com</a>> wrote:</span></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Thanks to all contributors who answered,
</span></p>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Most contributors approved by now.</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">James and Wiliam, I am not sure how many more revisions there will be for this publication. I did not add several important references of my own in this revision. Frankly I
 wanted to keep reference changes to a minimum and kept it as close as possible to the origin . However, we are transferring the paper to the publisher under CC license, so it will not be hard to create another derived version with all sorts of additions and
 modifications in the future where people can edit it as they see fit and add whatever references they want - so after it gets published you can continue working on other versions as you see fit. For now I ask we focus on publishing this version alone and I
 really hope the editors will not put us through another revision round since it makes no sense at this point - any change is not substantial compared to what we have already and any delay is more damaging than productive.</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">To be productive I ask that the following people who did not answer so far take the time to APPROVE, DISAPPROVE, or ABSTAIN.:</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Robin Thompson</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">James R. Faeder</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">Jonathan Karr<br>
Rahuman Sheriff</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">John Rice</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">John Rice - thanks for your support, yet you will have to be specific: You can either choose APPROVE or ABSTAIN - both of these options will move the paper forwards. APPROVE
 will add your name to the list of authors with all responsibilities and privileges listed or implied , ABSTAIN will put you in acknowledgements without any obligation. So John, please choose if you want your name on the paper or not in this specific version
 - any decision you make will be ok. </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">I hope we can father all support quickly so I can move forward and submit the paper.</span></p>
</div>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">                      Jacob</span></p>
</div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
</div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
<div>
<div>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">On Tue, Nov 9, 2021 at 5:46 AM William Waites <<a href="mailto:wwaites@ieee.org" rel="noreferrer" target="_blank">wwaites@ieee.org</a>> wrote:</span></p>
</div>
<blockquote style="border-top:none;border-right:none;border-bottom:none;border-left:1pt solid rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<p><span style="font-size:10pt;font-family:Verdana,sans-serif">I'm just chasing down references for use in another context and I notice that the Ke et al paper is still a pre-print after more than a year. There is no problem in my opinion
 citing preprints but it is suspect in this case: there's been a ton of work on SARS-CoV-2 infectiousness, why didn't this get published? Probably not best to rely on it as an example of practice. Perhaps to fix on revision.<br>
<br>
-w<br>
<br>
_______________________________________________<br>
Vp-integration-subgroup mailing list<br>
<a href="mailto:Vp-integration-subgroup@lists.simtk.org" rel="noreferrer" target="_blank">Vp-integration-subgroup@lists.simtk.org</a><br>
<a href="https://nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Flists.simtk.org%2Fmailman%2Flistinfo%2Fvp-integration-subgroup&data=04%7C01%7Cfaeder%40pitt.edu%7Ca2976628735e4c785b7c08d9af401018%7C9ef9f489e0a04eeb87cc3a526112fd0d%7C1%7C0%7C637733512383015705%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000&sdata=z6LRVCOqE9rXT2%2BQvwuNdmgWM4uodEUNGMP5VO0C5to%3D&reserved=0" rel="noreferrer" target="_blank">https://lists.simtk.org/mailman/listinfo/vp-integration-subgroup</a></span></p>
</blockquote>
</div>
</blockquote>
</div>
</div>
</blockquote>
<p><span style="font-size:10pt;font-family:Verdana,sans-serif"> </span></p>
</div>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</blockquote>
<pre cols="72">-- 
James A. Glazier, PhD
Professor of Intelligent Systems Engineering, Adjunct Professor of Physics
Director, Biocomplexity Institute
Indiana University, Bloomington
(812) 391-2159 (cell)</pre>
</div>
</blockquote>
</div>
</div>
</div>
</div>

</blockquote></div>
</blockquote></div>